JP2016040163A - 撮像装置、撮像表示装置、及び、車両 - Google Patents

撮像装置、撮像表示装置、及び、車両 Download PDF

Info

Publication number
JP2016040163A
JP2016040163A JP2015136740A JP2015136740A JP2016040163A JP 2016040163 A JP2016040163 A JP 2016040163A JP 2015136740 A JP2015136740 A JP 2015136740A JP 2015136740 A JP2015136740 A JP 2015136740A JP 2016040163 A JP2016040163 A JP 2016040163A
Authority
JP
Japan
Prior art keywords
image
display
image signal
signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015136740A
Other languages
English (en)
Other versions
JP6582644B2 (ja
Inventor
塩原　隆一
Ryuichi Shiobara
隆一 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015136740A priority Critical patent/JP6582644B2/ja
Priority to CN201580035395.1A priority patent/CN106537903B/zh
Priority to US15/502,399 priority patent/US10389920B2/en
Priority to PCT/JP2015/003985 priority patent/WO2016024396A1/ja
Publication of JP2016040163A publication Critical patent/JP2016040163A/ja
Application granted granted Critical
Publication of JP6582644B2 publication Critical patent/JP6582644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B60K35/10—
    • B60K35/213—
    • B60K35/22—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/1438—
    • B60K2360/21—
    • B60K2360/31—
    • B60K2360/334—
    • B60K2360/77—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Abstract

【課題】撮像から表示までの遅延時間を短縮する。
【解決手段】被写体を撮像して撮像信号を出力する複数の撮像素子を具備する撮像部と、複数の撮像素子に対応する複数の表示領域を具備する表示部と、各撮像素子が出力する撮像信号に基づき、各表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、複数の部分画像信号からなり表示部の各ラインで表示すべき画像を示す画像信号を表示部に出力する画像信号生成部と、表示部に対する出力が完了した画像信号に対応するラインが表示対象ラインに先行して画像を表示するラインを示し、且つ、画像信号生成部が生成した部分画像信号に対応するラインのうち最後に画像を表示するラインが表示対象ライン以後に画像を表示するラインを示す場合に、表示対象ラインで表示すべき画像を示す画像信号を出力するように画像信号生成部を制御するタイミング制御部と、を備えることを特徴する撮像装置。
【選択図】図５

Description

本発明は、撮像装置、撮像表示装置、及び、車両に関する。
従来から、複数の映像信号の示す画像を合成して表示領域に表示する技術が知られている（例えば、特許文献１）。
このような、複数の映像信号を合成して表示する技術は、車両外部の様子を示す画像を車両室内に表示して車両の運転を補助する撮像表示装置として活用されている。例えば、特許文献２には、車両外部を撮像する複数のイメージセンサー（撮像素子）が出力する複数の撮像信号の示す画像を合成して、合成した画像を車両内部に設けられた表示部に表示させる技術が開示されている。
特開２００５−２８４０２９号公報 特開２００９−０７５９８８号公報
ところで、表示する画像が動画である場合には、イメージセンサーの撮像結果をリアルタイムで表示する必要性が高い。特に、車両用の撮像表示装置においては、安全な車両の走行のために、リアルタイムに撮像結果を表示することが厳格に求められる。
しかしながら、イメージセンサーと表示部とは異なる装置であるため、異なる基準信号に同期して動作するのが通常である。このため、撮像信号のフレームの開始と画像信号のフレームの開始とがずれ、遅延時間が大きくなる場合がある。例えば、画像信号のフレームが開始された直後に撮像信号のフレームが開始されると、画像信号の１フレーム期間以上の遅延時間が発生することになる。
また、複数のイメージセンサーが出力する複数の撮像信号の示す画像を合成して表示する場合、単一のイメージセンサーが出力する撮像信号の示す画像を表示する場合と比較して、撮像から表示までの遅延時間が長くなる場合が多い。
本発明は、上述した事情に鑑みてなされたものであり、複数のイメージセンサーが出力する複数の撮像信号に基づく画像を表示する場合において、撮像から表示までの遅延時間を短縮することを、解決課題の一つとする。
以上の課題を解決するために、本発明に係る撮像装置は、被写体を撮像して撮像信号を出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備する表示部と、前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部の各ラインで表示すべき画像を示す画像信号を、前記表示部に出力する画像信号生成部と、前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した部分画像信号に対応するラインのうち、最後に画像を表示するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備え、前記タイミング制御部は、前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴する。
この発明によれば、表示対象ラインの画像信号を構成する全ての部分画像信号が生成されている場合には、表示対象ラインに先行して画像を表示する先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号を出力することができる。一方、先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号の生成がされていない場合には、表示対象ラインの画像信号が生成されたタイミングにおいて、表示対象ラインの画像信号を出力することができる。すなわち、この発明によれば、表示対象ラインの画像信号の出力が可能となったタイミングにおいて、表示対象ラインの画像信号を出力することが可能となる。このため、ライン毎の画像処理時間に応じて、各ラインの画像信号を表示部に対して出力するタイミングを制御することが可能となる。従って、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像部による撮像から表示部における表示までの遅延を小さくすることができる。
また、上述した撮像装置において、前記表示部は、一定周期で出力される表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記表示水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記表示水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
この態様によれば、表示水平同期パルスにより定められる水平走査期間の精度で、各ラインの画像信号の出力タイミングを制御することができる。このため、撮像から表示までの間隔が、例えば、１フレーム期間以上の期間となるような、大きな遅延の発生を防止することができる。
また、上述した撮像装置において、前記表示部は、表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記表示水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記表示水平同期パルスを可変な周期で出力可能であり、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
この態様によれば、表示水平同期パルスにより定められる水平走査期間の時間長が、各ラインの画像信号の出力が可能となるタイミングに応じて定められる。このため、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となり、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
また、本発明に係る撮像装置は、被写体を撮像して撮像結果を示す撮像信号を撮像同期信号に同期させて出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備し、表示同期信号に同期して、前記撮像部よりも高いフレームレートで画像表示が可能な表示部と、前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域で表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部で表示すべき画像を示す画像信号を、前記表示同期信号に同期させて前記表示部に出力する画像信号生成部と、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備え、前記撮像同期信号のフレームの開始から前記表示同期信号のフレームの開始までの時間を位相差とし、前記撮像部のフレームレートを第１フレームレートとし、前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、前記タイミング制御部は、前記位相差が、所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、ことを特徴とする。
本発明では、撮像部と表示部の位相差が、所定時間よりも長い場合には、撮像部よりも高いフレームレートである第２フレームレートで画像信号を出力することで、表示部のフレーム期間と撮像部のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、表示部のフレームレートが撮像部のフレームレートである第１フレームレートとなるようにすることで、画像信号を撮像信号に同期させて出力する。
このため、位相差が、所定時間よりも大きい場合において、位相差を所定時間以下となるまで段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。これにより、撮像から表示までの遅延時間が最小化された状態を維持することができる。
なお、所定時間とは、例えば、表示部の１ライン分に相当する画像信号の生成に要する時間に基づいて定められる時間であってもよい。
また、上述した撮像装置において、前記タイミング制御部は、前記位相差が前記所定時間より長い場合には、前記Ｋ個の部分画像信号を生成した後、前記Ｋ個の部分画像信号の示す画像が前記表示部で表示可能となるまで待機して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、ことを特徴としてもよい。
この態様によれば、表示部が画像信号の示す画像を表示可能となるまで待機することで、表示部のフレームレートが第２フレームレートとなるように画像信号を出力するため、撮像部及び表示部の位相差を、段階的に短縮することができる。
また、上述した撮像装置において、前記表示同期信号は、一定周期の表示水平同期パルスを含み、前記タイミング制御部は、前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、前記画像信号生成時刻の後に最初に出力される表示水平同期パルスに同期して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、ことを特徴としてもよい。
この態様によれば、画像信号の生成から出力までの間隔を、表示水平同期パルスにより定められる水平走査期間以下とすることができる。つまり、表示水平同期パルスにより定められる水平走査期間の精度で、画像信号の出力タイミングを制御することができる。このため、画像処理の完了に応じたタイミングで、画像信号を表示部に対して出力することが可能となり、画像処理時間の変動を考慮せずに画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
また、上述した撮像装置において、前記タイミング制御部は、可変な周期の表示水平同期パルスを含む前記表示同期信号を出力し、前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、前記画像信号生成時刻までは、前記表示水平同期パルスの出力を停止するとともに、前記Ｋ個の部分画像信号からなる画像信号の出力を停止し、前記画像信号生成時刻の後は、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記Ｋ個の部分画像信号からなる画像信号を出力する、ことを特徴としてもよい。
この態様によれば、表示水平同期パルスにより定められる水平走査期間の時間長が、画像信号の出力が可能となるタイミングに応じて定められる。このため、画像処理の完了に応じたタイミングで、画像信号を表示部に対して出力することが可能となり、画像処理時間の変動を考慮せずに画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
また、上述した撮像装置において、前記表示部は、車両の内部に設けられ、前記撮像素子は、前記車両の外部を撮像する、ことを特徴としてもよい。
この態様によれば、車両内部の表示部に、車両の外部の様子がリアルタイムで表示することができるため、車両の安全な走行が可能となる。
また、上述した撮像装置において、前記撮像部が具備するＫ個の撮像素子は、前記車両の後方の被写体を撮像する第１の撮像素子と、前記車両の左後方の被写体を撮像する第２の撮像素子と、前記車両の右後方の被写体を撮像する第３の撮像素子と、を含み、前記表示部が具備するＫ個の表示領域は、前記第１の撮像素子に対応する第１の表示領域と、前記第２の撮像素子に対応し、前期第１の表示領域よりも左側に設けられる第２の表示領域と、前記第３の撮像素子に対応し、前期第１の表示領域よりも右側に設けられる第３の表示領域と、を含む、ことを特徴としてもよい。
この態様に係る撮像装置は、バックミラー、サイドミラー等の代わりに用いることが可能であり、車両の安全な運転に必要な車両外部の様子を運転者が視認することが可能となる。これにより、意匠性に富んだ車両（車内）デザインが可能となるとともに、サイドミラー等を車体外面に取り付ける必要がなくなるので、走行時の風圧も低減される。
また、本発明に係る撮像表示装置は、上述した表示部と、上述した撮像装置と、を備える、ことを特徴とする。また、本発明に係る車両は、上述した撮像表示装置を備える、ことを特徴とする。
本発明の第１実施形態に係る車両用撮像表示装置１の構成を示すブロック図である。 左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rの配置例を示す説明図である。 表示領域ＡDの表示する画像の車両αの車内における表示位置を説明するための説明図である。 表示領域ＡDの表示する画像の車両αの車内における表示位置を説明するための説明図である。 表示部４０の構成例を示す図である。 車両用撮像表示装置１の構成を示すブロック図である。 撮像信号ＤSと表示領域ＡDとの関係を説明するための説明図である。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 表示領域ＡDと、表示部に表示領域ADを表示するためのタイミングチャートと、を説明するための説明図である。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 表示部４０の構成を示すブロック図である。 部分画像処理部２１Jの構成を示すブロック図である。 歪曲補正処理を説明するための説明図である。 トリミング処理を説明するための説明図である。 トリミング処理後の画像の一例を示す図である。 左右反転処理によって生成された画像の一例を示す図である。 縮小・拡大処理を説明するための説明図である。 水平方向縮小・拡大処理を説明するための説明図である。 垂直方向縮小・拡大処理を説明するための説明図である。 縮小・拡大処理後の画像の一例を示す図である。 縮小・拡大処理後の画像の一例を示す図である。 縮小・拡大処理を説明するための説明図である。 画像信号Ｄ[m]と撮像信号ＤS-J[pJ]との関係を説明するためのタイミングチャートである。 撮像信号ＤSの出力タイミングを説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 本発明の第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。 第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。 第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。
本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
＜Ａ．第１実施形態＞
以下、第１実施形態では、「撮像表示装置」として、車両用撮像表示装置１を例示して説明する。
＜１．車両用撮像表示装置の全体構成＞
図１は、車両用撮像表示装置１の構成の概略を示すブロック図である。車両用撮像表示装置１は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示する装置である。
図1に示すように、車両用撮像表示装置１は、車両の外部を撮像して撮像信号ＤSを出力する撮像部１０と、撮像部１０から出力された撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理回路１００と、画像信号Ｄの示す画像を表示する表示部４０と、撮像信号ＤSの画像処理に関する指示等を入力するための操作部６０と、車両用撮像表示装置１の全体の動作を制御する制御部５０と、を備える。
車両用撮像表示装置１のうち、撮像部１０と、画像処理回路１００と、制御部５０とは、「撮像装置」の一例である。
撮像部１０は、車両の左側後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Lを出力する左後方用イメージセンサー１２Lと、車両の後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Cを出力する中央後方用イメージセンサー１２Cと、車両の右側後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Rを出力する右側後方用イメージセンサー１２Rと、を備える。すなわち、本実施形態に係る撮像部１０が出力する撮像信号ＤSは、撮像信号ＤS-L、撮像信号ＤS-C、及び、撮像信号ＤS-Rを含む。
なお、中央後方用イメージセンサー１２Cは「第１の撮像素子」の一例であり、左後方用イメージセンサー１２Lは「第２の撮像素子」の一例であり、右側後方用イメージセンサー１２Rは「第３の撮像素子」の一例である。また、第１撮像素子、第２撮像素子、及び、第３の撮像素子を、「撮像素子」と総称する。すなわち、本実施形態に係る車両用撮像表示装置１は、３個の撮像素子を備える。
図２は、車両αにおける、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rの配置例を示す説明図である。
図２に示すように、左後方用イメージセンサー１２Lは、車両αの左側フロントピラー部の外側表面付近（図示の例では従来の左サイドミラーが設けられる位置）に配置され、車両αの左側後方領域ＬRを撮像する。右側後方用イメージセンサー１２Rは、車両αの右側フロントピラー部の外側表面付近（図示の例では従来の右サイドミラーが設けられた位置）に配置され、車両αの右側後方領域ＲRを撮像する。中央後方用イメージセンサー１２Cは、車両αの後方端の車両幅方向における中点位置付近（図示の例ではバックウィンドウの下側）に配置され、車両の後方領域ＢRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。
画像処理回路１００は、撮像信号ＤS-Lに対して画像処理を施して部分画像信号Ｄ-Lを生成し、撮像信号ＤS-Cに対して画像処理を施して部分画像信号Ｄ-Cを生成し、撮像信号ＤS-Rに対して画像処理を施して部分画像信号Ｄ-Rを生成する。そして、画像処理回路１００は、生成した、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rからなる画像信号Ｄを、表示部４０に対して出力する。すなわち、本実施形態に係る画像処理回路１００が出力する画像信号Ｄは、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rを含む。
表示部４０は、画像信号Ｄの示す画像を表示する表示領域ＡDを具備する液晶パネル４２を備える。
液晶パネル４２が具備する表示領域ＡDは、画像信号Ｄのうち部分画像信号Ｄ-Cが示す画像を表示するための中央表示領域ＡD-C（第１の表示領域）と、部分画像信号Ｄ-Lが示す画像を表示するための左側表示領域ＡD-L（第２の表示領域）と、部分画像信号Ｄ-Rが示す画像を表示するための右側表示領域ＡD-R（第３の表示領域）と、を含む。すなわち、中央表示領域ＡD-Cは従来のバックミラーの代わりに後方領域ＢRの画像を表示し、左側表示領域ＡD-Lは従来の左サイドミラーの代わりに左側後方領域ＬRの画像を表示し、右側表示領域ＡD-Rは従来の右サイドミラーの代わりに右側後方領域ＲRの画像を表示する。
なお、以下では、説明の便宜上、各種符号に付される添え字「Ｌ」、「Ｃ」、「Ｒ」のうち、任意の一つの添え字を、「Ｊ」で表すことがある。
具体的には、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rを区別する必要がないときは、これらのうち任意の一つを、「イメージセンサー１２J」と総称する。また、撮像信号ＤS-L、撮像信号ＤS-C、及び、撮像信号ＤS-Rを区別する必要がないときは、これらのうち任意の一つを、「撮像信号ＤS-J」と総称する。また、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rを区別する必要がないときは、これらのうち任意の一つを、「部分画像信号Ｄ-J」と総称する。左側表示領域ＡD-L、中央表示領域ＡD-C、及び、右側表示領域ＡD-Rを区別する必要がないときは、これらのうち任意の一つを、「表示領域ＡD-J」と総称する。
図３Ａに、表示領域ＡDの表示する画像の、車両αの車内における表示位置を示す。この図に示すように、左側表示領域ＡD-Lに表示される画像は、拡大表示領域Ａrea-Lに拡大表示され、中央表示領域ＡD-Cに表示される画像は、拡大表示領域Ａrea-Cに拡大表示され、右側表示領域ＡD-Rに表示される画像は、拡大表示領域Ａrea-Rに拡大表示される。なお、左側表示領域ＡD-Lと拡大表示領域Ａrea-Lが一致し、中央表示領域ＡD-Cと拡大表示領域Ａrea-Cとが一致し、右側表示領域ＡD-Rと拡大表示領域Ａrea-Rとが一致するものであってもよい。
拡大表示領域Ａrea-L、拡大表示領域Ａrea-C、及び、拡大表示領域Ａrea-Rは、表示領域ＡDに含まれる各表示領域ＡD-J（ＡD-L、ＡD-C、ＡD-R）によって表示される画像が運転者によって視認されやすいように、運転席の前方に配置されている。また、運転者から見て、拡大表示領域Ａrea-Lは拡大表示領域Ａrea-Cよりも左側となるように配置され、拡大表示領域Ａrea-Rは拡大表示領域Ａrea-Cよりも右側となるように配置される。すなわち、運転者から見て、拡大表示領域Ａrea-L、拡大表示領域Ａrea-C、及び、拡大表示領域Ａrea-Rは、従来の右サイドミラー、バックミラー、及び、左サイドミラーの順番で並ぶ。このため、従来の右サイドミラー、バックミラー、及び、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
図３Ａに示す例では、液晶パネル４２が、運転席前方のフロントウィンドウ下のダッシュボード内に配置され、画像信号Ｄに応じた画像が、フロントガラス下部の帯状の拡大表示領域（Ａrea-L、Ａrea-C、Ａrea-R）にて視認されるように表示される。
なお、図３Ａに示す拡大表示領域を含む液晶パネル４２の配置は一例に過ぎず、例えば、拡大表示領域を、車両αの従来の計器パネル（クラスターパネル）が設けられる領域に配置してもよい。あるいは、拡大表示領域を含む液晶パネル４２は、図３Ｂに例示するように、車両αの従来の計器パネル（クラスターパネル）の上部部分でフロントガラスの下側に図３Ａに比較して横幅の狭い形状で設けられても良い。あるいは、拡大表示領域は、車両αの従来のバックミラーの部分に液晶パネルや有機ELパネルとして設けられても良い。
なお、図３Ａ及び図３Ｂに例示したように、本実施形態に係る車両用撮像表示装置１では、車両αの左側後方領域ＬR、車両αの後方領域ＢR、及び、車両αの右側後方領域ＲRを撮像し、運転者の見える場所に表示する場合に、左側後方領域ＬRを示す画像は後方領域ＢRを示す画像の左側になり、右側後方領域ＲRを示す画像は後方領域ＢRを示す画像の右側になり、また、後方領域ＢRを示す画像は左側後方領域ＬRを示す画像の右側であって且つ右側後方領域ＲRを示す画像の左側になるように配置する。これにより、運転者が、車両αの左後方、車両αの中央後方、及び、車両αの右後方を、直感的に認識できるように、各画像を配置する。
なお、図３Ａ及び図３Ｂは一例に過ぎず、例えば、左側後方領域ＬRを示す画像が、運転者の運転位置よりも左側に位置し、右側後方領域ＲRを示す画像が、運転者の運転位置よりも右側に配置されるように、拡大表示領域を設けてもよい。
本実施形態では、表示部４０を、例えば、ヘッドアップディスプレイ（ＨＵＤ）として構成する。
図４に、ダッシュボード内に配置される表示部４０の構成例を示す。この図に示すように、表示部４０は、ピコプロジェクター４０１と透過型スクリーン４０２とフィールドレンズ４０３とコンバイナー（凹面ハーフミラー）４０４を備える。ピコプロジェクター４０１は、入力された画像信号Ｄに応じた画像を透過型スクリーン４０２に投影して実像を描画する。透過型スクリーン４０２を透過した光はフィールドレンズ４０３で像の方向が調整され、コンバイナー４０４で反射される。このとき、コンバイナー４０４によって反射された光がダッシュボードに設けられた開口部Ｏpを介して運転者の目に入射すると、運転者からは、拡大表示領域（Ａrea-L、Ａrea-C、Ａrea-R）に画像が拡大されて表示されているように見える（すなわち、ダッシュボードの先に拡大画像の虚像が形成される）。なお、開口部Ｏpを透明な板で塞ぎ、塵や埃が内部に入らないようにしてもよい。
なお、本発明に係る表示部４０は、本実施形態のような態様に限定されるものではなく、直視型のパネルの虚像を表示するＨＵＤであってもよいし、プロジェクター方式のＨＵＤであってもよいし、ＬＣＤ（liquid crystal display）や有機ＥＬパネルの様な直視型の表示パネルであってもよい。
図５は、車両用撮像表示装置１の機能構成を示すブロック図である。
図５に示すように、撮像部１０は、マトリックス状に配列された受光素子からの信号を線順次に走査して被写体の像に応じた撮像信号ＤS-Jを出力する複数のイメージセンサー１２J（１２L、１２C、１２R）と、各イメージセンサー１２J（１２L、１２C、１２R）に対して各種のタイミング信号を出力するタイミングジェネレータ１３と、を備える。なお、撮像部１０は、各イメージセンサー１２Jに対応して、被写体の像を結像させる撮像光学系を備えるが、この図においては図示省略している。
図６に示すように、左後方用イメージセンサー１２Lは、ＰL行×ＱL列の画素に対応する撮像信号ＤS-Lを出力する（ＰLは、２≦ＰLを満たす自然数。ＱLは、２≦ＱLを満たす自然数）。中央後方用イメージセンサー１２Cは、ＰC行×ＱC列の画素に対応する撮像信号ＤS-Cを出力する（ＰCは、２≦ＰCを満たす自然数。ＱCは、２≦ＱCを満たす自然数）。右側後方用イメージセンサー１２Rは、ＰR行×ＱR列の画素に対応する撮像信号ＤS-Rを出力する（ＰRは、２≦ＰRを満たす自然数。ＱRは、２≦ＱRを満たす自然数）。この図に示すように、本実施形態では、「ＰL＝ＰR＜ＰC」であり、「ＱL＝ＱR＜ＱC」である場合を想定する。
なお、以下では、イメージセンサー１２J（１２L、１２C、１２R）が出力する撮像信号ＤS-Jの画素のサイズを、ＰJ行×ＱJ列と総称する場合がある。
タイミングジェネレータ１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成し、これら生成した信号を各イメージセンサー１２Jに対して出力する。尚、ここでは、単一のタイミングジェネレータ１３で生成したタイミングが、それぞれのイメージセンサーに対して供給する。
図７は、タイミングジェネレータ１３が生成する、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを説明するためのタイミングチャートである。撮像垂直同期信号ＳＶsync（「撮像同期信号」の一例）は、各イメージセンサー１２Jの受光素子から検出信号を読み出すための撮像垂直走査期間Ｆs（「撮像同期信号のフレーム」の一例）を規定する信号である。なお、撮像部１０のフレームレート、すなわち、「１／Ｆs」を、「第１フレームレート」と称する場合がある。
撮像水平同期信号ＳＨsyncは、各イメージセンサー１２Jの１ライン分の受光素子から検出信号を読み出すための水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、各イメージセンサー１２Jの１画素分の受光素子から検出信号を読み出すためのタイミングを規定する信号である。撮像垂直走査期間Ｆsの時間長は一定（固定長）であり、水平走査期間Ｈsの時間長も一定（固定長）である。また、撮像垂直走査期間Ｆsは、複数の水平走査期間Ｈsから構成される。なお、タイミングジェネレータ１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを、画像処理回路１００に対して出力するものであってもよい。
このように、本実施形態では、撮像部１０が備える複数のイメージセンサー１２J（１２L、１２C、１２R）は、単一のタイミングジェネレータ１３から供給される同一のタイミング信号に同期して動作する(ここで、同一のタイミング信号とは、少なくても撮像垂直同期信号ＳＶsyncタイミングが一致している事とする。)。
説明を図５に戻す。
表示部４０は、撮像対象となる被写体を示す画像を表示して、車両αの運転者に車両α外部の被写体の様子を把握させるための表示装置であり、その構造は図４を参照して説明したとおりである。
表示部４０のうち、ピコプロジェクター４０１は、光源（図示略）と、画像処理回路１００が生成した画像信号Ｄに応じた画像を表示する表示領域ＡDを具備する液晶パネル４２と、投射光学系（図示略）と、液晶パネル４２の動作を制御するコントローラー４１と、を備える。光源は例えばＬＥＤ（Light Emitting Diode）やレーザーダイオードを備え、液晶パネル４２に向けて白色光を照射する。投射光学系は液晶パネル４２を透過した光を投射する、例えば凸型レンズ等である。
図６に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素が縦方向にＮ列、横方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている（Ｍは、２≦Ｍを満たす自然数。Ｎは、６≦Ｎを満たす自然数）。換言すれば、表示領域ＡDは、横方向に配列されたＮ個の画素からなるラインが、縦方向にＭ行並ぶように構成されている。これらＭ行×Ｎ列の画素は、例えば、赤色を表示するための画素、緑色を表示するための画素、及び、青色を表示するための画素を含む。
また、図１を参照して説明したとおり、表示領域ＡDは、３つの表示領域ＡD-Jに区分されており、このうち、左側表示領域ＡD-Lは、Ｍ行×ＮL列の画素を備え、中央表示領域ＡD-Cは、Ｍ行×ＮC列の画素を備え、右側表示領域ＡD-Rは、Ｍ行×ＮR列の画素を備える（ＮL、ＮC、及び、ＮRは、２以上の自然数）。但し、ＮL、ＮC、ＮRは、「Ｎ＝ＮL＋ＮC＋ＮR」を満たす。以下では、表示領域ＡDが有する各表示領域ＡD-J（ＡD-L、ＡD-C、ＡD-R）の画素のサイズを、Ｍ行×ＮJ列と総称する場合がある。
なお、本実施形態では、撮像信号ＤS-Jの画素数と、表示領域ＡD-Jの画素数とは異なる場合がある。すなわち、「Ｍ≠ＰJ」であり、「ＮJ≠ＱJ」となる場合がある。本実施形態では、「Ｍ＜ＰJ」であり、「ＮJ＜ＱJ」である場合を想定する。
本実施形態では、表示部４０の表示領域ＡDが表示可能な最高のフレームレートで１画面分の画像を表示するために必要となる時間長は、イメージセンサー１２Jが１画面分の画像を撮像する時間長よりも短い。このため、表示部４０が表示可能な最高のフレームレートで画像を表示しようとする場合、撮像部１０からの撮像信号ＤSの出力が追いつかない。そこで、本実施形態に係る車両用撮像表示装置１では、画像処理回路１００により、画像処理回路１００からの画像信号Ｄの出力タイミングを調整することで、表示部４０の表示速度を、撮像部１０からの撮像信号ＤSの出力周期に追従させる。
図５に示すように、画像処理回路１００は、撮像信号ＤS（複数の撮像信号ＤS-J）に基づいて画像信号Ｄ（複数の部分画像信号Ｄ-J）を生成して生成した画像信号Ｄを表示部４０に対して出力する画像信号生成部２０と、画像信号生成部２０が画像信号Ｄを出力するタイミングを制御するタイミング制御部３０と、を備える。
図５に示すように、画像信号生成部２０は、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理部２１と、画像処理部２１が生成した画像信号Ｄを一時的に記憶するＶＲＡＭ／ラインバッファ２２（以下、「ラインバッファ２２」と称する）と、ラインバッファ２２から画像信号Ｄを取得して、取得した画像信号Ｄを表示部４０に対して出力する画像信号出力部２３と、を備える。
画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべき画像（階調）を規定する信号である。
以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。また、以下では、表示領域ＡD-Jで表示すべき画像を示す部分画像信号Ｄ-Jのうち、表示領域ＡD-Jの第ｍ行のラインで表示すべき画像を示す１ライン分の部分画像信号Ｄ-Jを、部分画像信号Ｄ-J[m]と表記する。すなわち、画像信号Ｄ[m]は、部分画像信号Ｄ-L[m]、部分画像信号Ｄ-C[m]、及び、部分画像信号Ｄ-R[m]からなる。
図５に示すように、画像処理部２１は、撮像信号ＤSのうち撮像信号ＤS-L対して画像処理を施して部分画像信号Ｄ-Lを生成する左側画像用画像処理部２１Lと、撮像信号ＤSのうち撮像信号ＤS-C対して画像処理を施して部分画像信号Ｄ-Cを生成する中央画像用画像処理部２１Cと、撮像信号ＤSのうち撮像信号ＤS-R対して画像処理を施して部分画像信号Ｄ-Rを生成する右側画像用画像処理部２１Rと、を備える。以下では、左側画像用画像処理部２１L、中央画像用画像処理部２１C、及び、右側画像用画像処理部２１Rを区別する必要がないときは、これらのうち任意の一つを、「部分画像処理部２１J」と総称する。
部分画像処理部２１J（２１L、２１C、２１R）は、液晶パネル４２の表示領域ＡD-Jで表示すべき画像を示す部分画像信号Ｄ-Jを、表示領域ＡD-Jの１ライン分の画素で表示すべき画像毎に生成する。より具体的には、部分画像処理部２１Jは、部分画像信号Ｄ-J[1]、部分画像信号Ｄ-J[2]、…、部分画像信号Ｄ-J[m]の順番で、部分画像信号Ｄ-Jを生成する。なお、部分画像処理部２１Jが実行する画像処理の詳細については後述する。
また、部分画像処理部２１J（２１L、２１C、２１R）は、部分画像信号Ｄ-J[m]（Ｄ-L[m]、Ｄ-C[m]、Ｄ-R[m]）を生成すると、生成した部分画像信号Ｄ-J[m]をラインバッファ２２に格納するとともに、部分画像信号Ｄ-J[m]のラインバッファ２２への格納が完了したことを示す部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）を、タイミング制御部３０に対して出力する。すなわち、左側画像用画像処理部２１Lは、部分画像信号Ｄ-L[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Lを出力する。また、中央画像用画像処理部２１Cは、部分画像信号Ｄ-C[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Cを出力する。また、右側画像用画像処理部２１Rは、部分画像信号Ｄ-R[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Rを出力する。このような、画像処理部２１が、画像信号Ｄ[m]を生成してラインバッファ２２に格納したときに出力される、部分書込完了信号ＰtA-L、ＰtA-C、及び、ＰtA-Rからなる信号を、書込完了信号ＰtAと称する。
本実施形態において、部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）は、部分画像処理部２１Jによるラインバッファ２２への書込が完了した部分画像信号Ｄ-Jに対応するラインの番号ｍを示す信号である。以下では、部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）の示すラインの番号ｍを、特に「ライン番号ｍa-J（ｍa-L、ｍa-C、ｍa-R）」と称する（ｍa-Jは、１≦ｍa-J≦Ｍを満たす自然数）。書込完了信号ＰtAに含まれる部分書込完了信号ＰtA-L、ＰtA-C、及び、ＰtA-Rが示すライン番号ｍa-L、ｍa-C、及び、ｍa-Rの最小値ｍaが、画像処理が完了したラインを表す「画像処理ライン情報」に該当する。すなわち、書込完了信号ＰtAは、画像処理ライン情報を示す信号である。
なお、部分書込完了信号ＰtA-Jは、ラインの番号を示す信号に限定されるものではなく、部分画像処理部２１Jによる部分画像信号Ｄ-J[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。部分書込完了信号ＰtA-Jが２値の信号である場合、タイミング制御部３０は、例えば、一の画面の表示が開始された後に部分書込完了信号ＰtA-Jに含まれるパルスの個数をカウントすることで、部分画像処理部２１Jにより生成が完了した部分画像信号Ｄ-J[m]のライン番号を得ることができる。
画像信号出力部２３は、タイミング制御部３０の制御に応じて、ラインバッファ２２から１ライン毎に画像信号Ｄを読み出し、読み出した１ライン分の画像信号Ｄ[m]を表示部４０に対して出力する。
なお、以下では、説明の都合上区別が必要な場合には、画像処理部２１が生成してラインバッファ２２に格納した画像信号Ｄを画像信号ＤGAと称し、画像信号出力部２３がラインバッファ２２から取得して表示部４０に出力する画像信号Ｄを画像信号ＤGBと称する。そして、画像信号ＤGAのうち、部分画像処理部２１Jが生成した画像信号ＤGAを部分画像信号ＤGA-J（ＤGA-L、ＤGA-C、ＤGA-R）と称する。また、画像処理部２１がラインバッファ２２に格納する画像信号ＤGAのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGAを画像信号ＤGA[m]と称し、画像信号出力部２３が表示部４０に出力する画像信号ＤGBのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGBを画像信号ＤGB[m]と称する。
画像信号出力部２３は、ラインバッファ２２から画像信号ＤGB[m]を読み出して当該画像信号ＤGB[m]を表示部４０に出力する処理が完了した場合、画像信号ＤGB[m]の表示部４０への出力が完了したことを示す出力完了信号ＰtBを、タイミング制御部３０に対して出力する。本実施形態において、出力完了信号ＰtBは、画像信号出力部２３による表示部４０への出力が完了した画像信号Ｄ[m]に対応するラインの番号ｍを示す信号である。以下では、出力完了信号ＰtBの示すラインの番号ｍを、特に「ライン番号ｍb」と称する（ｍbは、基本的には、０≦ｍb≦Ｍを満たす自然数である）。出力完了信号ＰtBの示す値であるライン番号ｍbは、表示部４０に対する出力が完了した画像信号Ｄ[m]のラインを示す「表示出力ライン情報」の一例である。
詳細は後述するが、画像信号出力部２３は、表示部４０に対して、画像信号ＤGB[m]を出力する代わりに、無効信号Ｄmyを出力する場合がある（図８Ｄ参照）。この場合は、画像信号出力部２３は、出力完了信号ＰtBを出力しない。
尚、ｍbは、１フレームの最終ラインを出力した直後ｍb＝Ｍになり以降ｍb＝Ｍを維持する。そして、次のフレーム用の画像出力準備が完了した時点（垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにて）において、ｍb信号はリセットされて、ｍb＝０になるものとする。
なお、出力完了信号ＰtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部２３による画像信号Ｄ[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。
図５に示すように、タイミング制御部３０は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて出力制御信号ＣTR（正確には、ＣTR[m]）を生成する出力制御部３１と、各種のタイミング信号を生成して画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングを制御するタイミングジェネレータ３２と、コントローラー４１の動作を規定する設定パラメーターＰRMをコントローラー４１に対して送信するパラメーター送信部３３と、を備える。
出力制御部３１は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて、画像信号出力部２３が表示部４０に対して表示領域ＡDの第ｍ行で表示すべき画像を示す画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号ＣTR（正確には、ＣTR[m]）を生成する。
ここで、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」とは、以下の第１条件及び第２条件を充足したことをいう。
（第１条件） 画像処理部２１が、第ｍ行の画像信号Ｄ[m]（画像信号ＤGA[m]）の画像処理を完了し、ラインバッファ２２に画像信号ＤGA[m]の書き込みが完了していること。
（第２条件） 画像信号出力部２３が、第ｍ-1行の画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）の出力を完了していること。
第１条件は、部分書込完了信号ＰtA-Jの示すライン番号ｍa-Jの最小値ｍaが、ライン番号ｍ以上である場合を示す。すなわち、第１条件は、「ｍ≦ｍa」を満たす場合、より具体的には、「ｍ≦ｍa-L」且つ「ｍ≦ｍa-C」且つ「ｍ≦ｍa-R」である場合に充足される。
第２条件は、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たす場合に充足される（厳密には、「ｍ＝１」の場合には、「ｍb＝０」(「ｍb＝Ｍ」後の垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミング）において、ｍb信号はリセットされて、ｍb＝０になる)を満たす場合に充足される）。
本明細書では、出力制御部３１が判定の対象とする画像信号Ｄ[m]が示す画像を表示する表示領域ＡDのラインを、「表示対象ライン」と称する場合がある。
なお、厳密には、画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するためには、以下の第３条件が充足される必要がある。
（第３条件） 画像信号出力部２３が第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングが、表示領域ＡDが画像を表示可能な期間（図８で後述する水平有効データ期間ＤＨＩ）に含まれること。
しかし、上述した第１条件及び第２条件が充足されている場合、画像信号出力部２３からの画像信号Ｄ[m]（画像信号ＤGB[m]）の出力タイミングをタイミングジェネレータ３２が制御することにより第３条件は必然的に充足される。このため、本実施形態では、出力制御部３１における判定において第３条件を考慮しない。
以下、出力制御部３１の制御方法の実現方法について、更に詳細に記載する。出力制御部３１は、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を、例えば、以下の２つの態様により実行することができる。
第１の態様としては、第１条件が充足されているか否かの判定（第１の判定）と、第２条件が充足されているか否かの判定（第２の判定）の２つの判定を、出力制御部３１が直接に実行する態様である。
具体的には、出力制御部３１は、画像処理部２１が書込完了信号ＰtAを出力すると、書込完了信号ＰtAに含まれる複数の部分書込完了信号ＰtA-Jの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定する（第１の判定を実行する）。また、出力制御部３１は、画像信号出力部２３が出力完了信号ＰtBを出力すると、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たすか否かを判定する（第２の判定を実行する）。そして、出力制御部３１は、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定である場合に、「画像信号Ｄ[m]を出力する準備が完了した」と判定する。
この第１の態様の場合、出力制御部３１は、第１の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第２の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部３１は、第１の判定の判定結果、または、第２の判定の判定結果が否定である場合、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となるまで、第１の判定及び第２の判定を繰り返す。具体的には、出力制御部３１は、例えば、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、画像処理部２１から書込完了信号ＰtAが出力される毎に第１の判定を実行し、また、画像信号出力部２３から出力完了信号ＰtBが出力される毎に第２の判定を実行すればよい。また、例えば、出力制御部３１は、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Ｈdの周期で、第１の判定及び第２の判定を繰り返してもよい。そして、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となったときに、出力制御信号ＣTR（正確には，ＣTR[m]）を、判定結果が肯定であることを示す値に設定する。
次に、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第２の態様としては、出力制御部３１が前回の判定（画像信号Ｄ[m-1]を出力する準備が完了したか否かの判定）の結果が肯定となった後であって、画像信号出力部２３が出力完了信号ＰtBの示すライン番号ｍb＝m-1を出力したタイミングで、第１条件が充足されているか否かの判定（第１の判定）を実行する態様である。
この態様において、出力制御部３１は、第１の判定の判定結果が否定である場合、第１の判定の判定結果が肯定となるまで第１の判定を繰り返し、第１の判定の判定結果が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値（ＣTR[m]）に設定する。具体的には、出力制御部３１は、例えば、出力完了信号ＰtBが出力されたタイミングで第１の判定の判定結果が否定である場合には、その後、画像処理部２１が書込完了信号ＰtAを出力する毎に、当該書込完了信号ＰtAの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し、「ｍ≦ｍa」を満たしたときに、第１条件が充足されたと判定すればよい。
上述のとおり、画像処理部２１は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGA[m]）を生成し、画像信号出力部２３は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する。そして、本実施形態では、第ｍ-2行の画像信号Ｄ[m-2]の出力が完了し、出力制御部３１が「画像信号Ｄ[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部２３が画像信号Ｄ[m-1]を出力する。よって、出力制御部３１が「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部２３から画像信号Ｄ[m-2]（画像信号ＤGB[m-2]）が出力された後のタイミングであって、且つ、出力制御部３１が「画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部３１が、「画像信号Ｄ[m]を出力する準備が完了した」か否かの第１の判定を行うタイミングにおいて、画像信号出力部２３が出力する出力完了信号ＰtBの示すライン番号ｍbは「ｍ-1」となる。
このため、第２の態様において、出力制御部３１は、画像信号出力部２３からの出力完了信号ＰtBの出力をもって第２条件が充足されたとみなす。そして、出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたタイミングにおいて第１条件が充足されているか否かの判定（第１の判定）を実行することで、「画像信号Ｄ[m]（画像信号ＤGB[m]）の出力準備が完了した」か否かの判定を行う。
本実施形態では、上述した２つの態様のうち、第２の態様を採用することを前提として、以下の説明を行う。
タイミングジェネレータ３２は、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを生成し、生成したこれらの信号を、画像信号出力部２３及び表示部４０に対して出力する。
図８Ａ乃至図８Ｄは、タイミングジェネレータ３２が生成する、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを説明するためのタイミングチャートである。
図８Ａ及び図８Ｂに示すように、表示垂直同期信号ＤＶsync（「表示同期信号」の一例）は、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための表示垂直走査期間Ｆd（「表示同期信号のフレーム」の一例）を規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。
本実施形態において、水平走査期間Ｈdは、予め定められた一定の時間長を有している。また、本実施形態において、表示垂直走査期間Ｆdは、複数の水平走査期間Ｈdから構成されており、撮像垂直走査期間Ｆsの時間長（周期）より短い時間の可変な時間長（周期）を有する。すなわち、各表示垂直走査期間Ｆdに含まれる水平走査期間Ｈdの個数は可変になっている。図８Ａに示す例では、図８Ａに示す複数の表示垂直走査期間Ｆdのうち、最初の表示垂直走査期間Ｆdである表示垂直走査期間Ｆd1は、表示垂直走査期間Ｆd1に後続する表示垂直走査期間Ｆd2よりも短く、表示垂直走査期間Ｆd2は、表示垂直走査期間Ｆd2に後続する表示垂直走査期間Ｆd3よりも短い場合を例示している。
なお、表示垂直同期信号ＤＶsyncの有する波形のうち、表示垂直走査期間Ｆdの開始及び終了のタイミングを規定するパルス状の波形を、表示垂直同期パルスＰlsＶと称する。また、表示水平同期信号ＤＨsyncの有する波形のうち、水平走査期間Ｈdの開始及び終了のタイミングを規定するパルス状の波形を、表示水平同期パルスＰlsＨと称する。
図８Ｂに示すように、表示垂直走査期間Ｆdは、垂直同期期間ＤＶpと、垂直バックポーチ期間ＤＶbと、垂直有効データ期間ＤＶＩと、垂直フロントポーチ期間ＤＶfと、からなる。
垂直同期期間ＤＶpは、表示垂直同期信号ＤＶsyncがアクティブ（この図の例ではローレベル）である期間であり、表示垂直走査期間Ｆdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間ＤＶbは、垂直同期期間ＤＶpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間ＤＶＩは、垂直バックポーチ期間ＤＶbに後続する、可変な時間長の期間である。当該垂直有効データ期間ＤＶＩにおいて、画像信号出力部２３から画像信号ＤGB（画像信号ＤGB[1]〜ＤGB[M]）が出力される。垂直フロントポーチ期間ＤＶfは、垂直有効データ期間ＤＶＩに後続する期間であり、表示垂直走査期間Ｆdの終了と同時に終了する、予め定められた時間長を有する期間である。
垂直有効データ期間ＤＶＩは、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間である（イネーブル信号ＤＥnbがアクティブとなる場合については、後述する）。
当該垂直有効データ期間ＤＶＩは、例えば、イネーブル信号ＤＥnbがアクティブとなる回数をカウントするカウンタ（図示省略）が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間においてアクティブ（この図の例ではハイレベル）となる垂直有効データ信号ＤＶactiveを導入する。すなわち、本実施形態では、垂直有効データ信号ＤＶactiveがアクティブである期間を垂直有効データ期間ＤＶＩとして説明する。なお、この垂直有効データ信号ＤＶactiveは、説明の便宜上導入した信号であり、出力制御部３１は、この垂直有効データ信号ＤＶactiveを出力しないものであってもよい。
図８Ｃ及び図８Ｄに示すように、水平走査期間Ｈdは、水平同期期間ＤＨpと、水平バックポーチ期間ＤＨbと、水平有効データ期間ＤＨＩと、水平フロントポーチ期間ＤＨfと、からなる。
水平同期期間ＤＨpは、表示水平同期信号ＤＨsyncがアクティブ（この図の例ではローレベル）である期間であり、水平走査期間Ｈdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間ＤＨbは、水平同期期間ＤＨpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間ＤＨＩは、水平バックポーチ期間ＤＨbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間ＤＨfは、水平有効データ期間ＤＨＩに後続する期間であり、水平走査期間Ｈdの終了と同時に終了する、予め定められた時間長を有する期間である。
本実施形態では、水平走査期間Ｈdには、画像信号出力部２３が画像信号Ｄ[m]を出力するための有効水平走査期間Ｈd-Ａ（図８Ｃ参照）と、画像信号Ｄ[m]を出力する代わりに無効信号Ｄmy[m]を出力する無効水平走査期間Ｈd-Ｄ（図８Ｄ参照）と、が存在する。
図８Ｃは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合には、水平有効データ期間ＤＨＩにおいてアクティブ（この図の例ではハイレベル）となる。そして、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号出力部２３から画像信号Ｄ[m]（画像信号ＤGB[m]）が出力される。一方、イネーブル信号ＤＥnbは、有効水平走査期間Ｈd-Ａのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）において、非アクティブとなる。画像信号出力部２３は、有効水平走査期間Ｈd-Ａのうち、イネーブル信号ＤＥnbが非アクティブとなる、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータの画素毎の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
上述した第３条件は、タイミングジェネレータ３２が水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとすることで充足される。すなわち、出力制御部３１及びタイミングジェネレータ３２を備えるタイミング制御部３０は、上述した第１条件〜第３条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータについて画素毎に画像信号出力部２３から出力させる。
図８Ｄは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合には、水平有効データ期間ＤＨＩにおいて非アクティブとなる。そして、画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]（画像信号ＤGB[m]）の代わりに、無効信号Ｄmyを出力する。一方、イネーブル信号ＤＥnbは、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）においても非アクティブとなる。画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
なお、タイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに基づいて、水平走査期間Ｈdを有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄのいずれにするかを決定する。換言すれば、タイミングジェネレータ３２は、出力制御信号ＣTRに基づいて、水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとするか否かを決定する。この、出力制御信号ＣTR、イネーブル信号ＤＥnb、及び、水平走査期間Ｈdの種類の関係については、後述する。
図９は、タイミングジェネレータ３２が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、表示垂直走査期間Ｆdのうち、垂直有効データ信号ＤＶactiveがアクティブとなる垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]〜Ｄ[M]の示す１画面分の画像を表示する。
また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、水平走査期間Ｈd（有効水平走査期間Ｈd-Ａ）のうち、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示すラインデータの画素毎の画像を表示する。
なお、垂直有効データ期間ＤＶＩは、当該垂直有効データ期間ＤＶＩに含まれる無効水平走査期間Ｈd-Ｄの個数によって延長されるが、この図では、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdは全て有効水平走査期間Ｈd-Ａである場合を想定している。
図１０は、出力制御信号ＣTRと、イネーブル信号ＤＥnbとを説明するための説明図である。
上述のとおり、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したとき、つまり、第１条件及び第２条件が充足されたときに、出力制御信号ＣTRに判定結果が肯定であることを示す値ＣTR[m]を設定する。本実施形態では便宜的に、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したときに、出力制御信号ＣTRに一時的にハイレベルに立ち上がるパルス状の波形を出力することとし、図１０に示すように、出力制御信号ＣTRに設定される画像信号Ｄ[m]を出力する準備が完了した旨の判定結果を示す出力パルス波形を、出力許可パルスＰL[m]と称することにする（＝ＣTR[m]）。
上述のとおり、本実施形態に係る出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたことをもって、第２条件が充足されたとみなす。そして、出力制御部３１は、出力完了信号ＰtBが出力されたときに画像信号Ｄ[m]の画像処理が完了しているか（第１条件が充足されているか）否かの判定（第１の判定）を実行することで、画像信号Ｄ[m]の出力準備が完了したか否かを判定する。
図１０に示すように、出力制御部３１が画像信号Ｄ[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部３１が画像信号Ｄ[m]の画像処理が完了したと判定（第１条件が充足されたと判定）するタイミング、つまり、第１の判定の結果が肯定となるタイミングを、画像処理判定時刻ＴA[m]と称する。
また、出力制御部３１に出力完了信号ＰtBが供給された（第２条件が充足されたとみなす）タイミングを、表示準備判定時刻ＴB[m]と称する。
また、以下では、説明の便宜上、画像処理部２１による画像信号Ｄ[m]の生成が実際に完了した時刻を、画像信号生成時刻ＴC[m]と定義する。より具体的には、画像信号生成時刻ＴC[m]は、部分画像信号Ｄ-L[m]、Ｄ-C[m]、及び、Ｄ-R[m]の全ての生成が完了する時刻であり、左側画像用画像処理部２１Lが部分画像信号Ｄ-L[m]の生成を完了させた時刻、中央画像用画像処理部２１Cが部分画像信号Ｄ-C[m]の生成を完了させた時刻、及び、右側画像用画像処理部２１Rが部分画像信号Ｄ-R[m]の生成を完了させた時刻のうち、最も遅い時刻である。なお、この画像信号生成時刻ＴC[m]は、「画像信号生成時刻」の一例である。
表示準備判定時刻ＴB[m]は、出力制御部３１からの画像信号Ｄ[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号Ｄ[m-1]が出力される有効水平走査期間Ｈd-Ａ（有効水平走査期間Ｈd-Ａ[m-1]と称する）の水平有効データ期間ＤＨＩが終了する時刻と略同じ時刻である。なお、表示準備判定時刻ＴB[m]の後に最初の水平走査期間Ｈd[m]の水平有効データ期間ＤＨＩが開始される時刻は、「表示可能時刻」の一例である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であるとみなすことができる場合を含む概念である。
画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了している場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1と称する）には、表示準備判定時刻ＴB[m]と略同じ時刻となる。
なお、Ｃase-1の場合、表示準備判定時刻ＴB[m]のタイミング（＝第２条件が充足されたとみなすタイミング）において、出力制御部３１が、当該表示準備判定時刻ＴB[m]までに出力制御部３１に供給されている書込完了信号ＰtAの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]の間には実際にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
一方、画像処理判定時刻ＴA[m]については、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了していない場合においては（すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が到来していない場合（Ｃase-2と称する））には、画像処理部２１が画像信号Ｄ[m]の生成を完了させた時刻（すなわち、画像信号生成時刻ＴC[m]と略同じ時刻）となる。
なお、Ｃase-2の場合、画像処理部２１が画像信号生成時刻ＴC[m]に画像信号Ｄ[m]の生成を完了させた後に、画像処理部２１が最小値ｍaに対応する部分書込完了信号ＰtA-Jを出力し、当該部分書込完了信号ＰtA-Jの供給を受けた出力制御部３１が「ｍ≦ｍa」を満たす旨の判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び画像信号生成時刻ＴC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
この様にＣase-1とＣase-2の場合があり得るため、両ケースをまとめると、出力制御部３１は、画像信号生成時刻ＴC[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻において（すなわちこの時刻は、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。つまり、この出力許可パルスＰL[m]は、画像信号Ｄ[m]についての第１条件及び第２条件が充足されたときに出力される。そして、タイミングジェネレータ３２は、出力許可パルスＰL[m]が出力された後であって第３条件が充足されたとき、換言すれば、出力許可パルスＰL[m]が出力された後に最初にイネーブル信号ＤＥnbがアクティブになるときに、画像信号出力部２３から画像信号Ｄ[m]が出力されるように制御する。
以下、説明の都合上、画像信号Ｄ[m]について、第１条件〜第３条件の全てが充足された時刻を、出力条件充足時刻ＴZ[m]と称する。
本実施形態では、タイミングジェネレータ３２は、出力制御信号ＣTRに基づいて、タイミングジェネレータ３２の内部処理で用いるための内部処理信号ＩSのレベルを決定する。そして、タイミングジェネレータ３２は、内部処理信号ＩSに基づいて、イネーブル信号ＤＥnbをアクティブにするタイミング、及び、水平走査期間Ｈdの種別（有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄ）を決定する。
具体的には、タイミングジェネレータ３２は、図１０に示すように、出力制御信号ＣTRに出力許可パルスＰL[m]が設定されると、内部処理信号ＩSをアクティブ（この図の例ではハイレベル）とする。
タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSがアクティブである場合、当該水平走査期間Ｈdの種別を有効水平走査期間Ｈd-Ａ[m]に決定（分類）し、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されるタイミングでイネーブル信号ＤＥnbをアクティブにする。このイネーブル信号ＤＥnbがアクティブとなるタイミングが、出力条件充足時刻ＴZ[m]に該当する。
そして、タイミングジェネレータ３２は、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されてイネーブル信号ＤＥnbがアクティブとなるタイミング、つまり、出力条件充足時刻ＴZ[m]において、内部処理信号ＩSを非アクティブにする。
一方、タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSが非アクティブである場合、当該水平走査期間Ｈdの種別を無効水平走査期間Ｈd-Ｄに決定（分類）し、当該無効水平走査期間Ｈd-Ｄの間はイネーブル信号ＤＥnbを非アクティブにする。
ここで、図１０に示す例において、表示準備判定時刻ＴB[1]以前では、PtB信号のｍbは、１フレームの最終ラインを出力した直後よりｍb＝Ｍを維持している。そして、垂直同期信号の出力後の垂直バックポーチ期間が完了後のある時点で、次のフレームのデータ出力が可能になる。このため、表示準備判定時刻ＴB[1]の時点において、ｍb信号がリセットされて、ｍb＝０になる（Ｃase-0）。Ｃase-0は、１フレームの最初の1ライン目を表示開始するための特殊なタイミングであり、１フレームに１回のみ存在する。そしてその結果、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始される。
次に，２ライン目以降の例を記載する。以下、図１０に示す例において、出力制御部３１が、画像信号Ｄ[2]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[2]を設定する場合（Ｃase-1に相当）を説明する。
図１０に示す例では、表示準備判定時刻ＴB[2]は、画像信号Ｄ[1]の出力が完了する水平走査期間Ｈd[1]（有効水平走査期間Ｈd-Ａ[1]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[2]の画像処理が完了する画像信号生成時刻ＴC[2]が、表示準備判定時刻ＴB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻ＴA[2]は、表示準備判定時刻ＴB[2]と略同じ時刻となる。このため、出力制御部３１は、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了時、つまり、表示準備判定時刻ＴB[2]に、出力制御信号ＣTRとして出力許可パルスＰL[2]を出力する。
タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[2]が出力されるタイミング、つまり、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩが終了するタイミングにおいて、内部処理信号ＩSをアクティブにする。この場合、内部処理信号ＩSは、水平走査期間Ｈd[2]の開始時においてもアクティブとなっている。ここで、タイミングジェネレータ３２は、水平走査期間の開始タイミング（ＤＨsyncパルス）において、当該水平走査期間を有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄとするのかを内部処理信号ＩSの状態に基づいて判断を行うものとする。上記の場合は、内部処理信号ＩSは、アクティブである。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[2]を有効水平走査期間Ｈd-Ａ[2]とし、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[2]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴZ[2]となる。このため、水平走査期間Ｈd[2]において、画像信号Ｄ[2]が出力されることになる。また、タイミングジェネレータ３２は、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始されるタイミングにおいて、内部処理信号ＩSを非アクティブとする。
次に、図１０に示す例において、出力制御部３１が、画像信号Ｄ[3]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[3]を設定する場合（Ｃase-2に相当）を説明する。
図１０に示す例では、表示準備判定時刻ＴB[3]は、画像信号Ｄ[2]の出力が完了する水平走査期間Ｈd[2]（有効水平走査期間Ｈd-Ａ[2]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[3]の画像処理が完了する画像信号生成時刻ＴC[3]が、表示準備判定時刻ＴB[3]よりも後となる場合を想定している。よって、この例では、画像処理判定時刻ＴA[3]は、表示準備判定時刻ＴB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻ＴC[3]が、水平走査期間Ｈd[3]の開始時よりも後となる場合を想定している。このため、出力制御部３１は、水平走査期間Ｈd[3]の開始時よりも後の時刻に、出力許可パルスＰL[3]を出力する。
上述のとおり、タイミングジェネレータ３２は、内部処理信号ＩSを、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時に非アクティブとする。このため、内部処理信号ＩSは、水平走査期間Ｈd[3]の開始時に非アクティブとなっている。このため、水平走査期間の開始タイミング（ＤＨsyncパルス）において、内部処理信号ＩSの状態は非アクティブであるので、タイミングジェネレータ３２は、水平走査期間Ｈd[3]を無効水平走査期間Ｈd-Ｄとして分類し、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbを非アクティブにする。この場合、画像信号出力部２３は、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[3]を出力せずに、無効信号Ｄmyを出力する。
その後、タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[3]が出力されタイミングにおいて、内部処理信号ＩSをアクティブにする。この例では、出力許可パルスＰL[3]が出力されるタイミングは、水平走査期間Ｈd[4]の開始前である。この場合、内部処理信号ＩSは、水平走査期間Ｈd[4]の開始時（ＤＨsyncパルス）においてもアクティブとなっている。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[4]を有効水平走査期間Ｈd-Ａ[3]とし、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[3]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴZ[3]となる。このため、水平走査期間Ｈd[4]において、画像信号Ｄ[3]が出力されることになる。
なお、この図に示す例では、出力制御部３１が、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合、及び、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合（Ｃase-0）については、Ｃase-1としての条件である場合を想定している。
このように本実施形態では、出力制御部３１は、第１条件及び第２条件が充足されときに、出力許可パルスＰL[m]を出力して、内部処理信号ＩSの状態をアクティブにし、水平走査期間の開始時（ＤＨsyncパルス）において、有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄ[m]とするかを決定する。有効水平走査期間と決定された場合、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdにおいて、画像信号Ｄ[m]を出力する動作を行う。この様な動作により，画像処理部２１によるライン単位Ｄ[m]の画像処理結果の画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングは，水平走査期間Ｈdの単位の精度で出力調整されることになる。
なお、図１０に示す例では、タイミングジェネレータ３２は、水平走査期間Ｈdの種別を、水平走査期間Ｈdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスＰL[m]が出力される水平走査期間Ｈdの水平フロントポーチ期間ＤＨfの開始から、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdの水平バックポーチ期間ＤＨbの終了までの間に決定すればよい。
また、図１０に示す例では、内部処理信号ＩSを非アクティブとするタイミングを、イネーブル信号ＤＥnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレータ３２が内部処理信号ＩSを非アクティブとするタイミングは、イネーブル信号ＤＥnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間ＤＨＩの間であればいつでもよい。
また、本実施形態において、タイミングジェネレータ３２は、内部処理信号ＩSを用いて、イネーブル信号ＤＥnbの波形と、水平走査期間Ｈdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ＩSを用いずに、出力制御信号ＣTRに基づいて、これらを決定してもよい。
また、本実施形態において、出力制御信号ＣTRは、出力許可パルスＰL[m]を含む波形となっているが、これは一例であり、出力制御信号ＣTRは、例えば、図１０に示す内部処理信号ＩSの波形を有していてもよい。この場合、タイミングジェネレータ３２は、出力制御部３１が出力制御信号ＣTRの波形の決定をするために必要なイネーブル信号ＤＥnb等の各種信号を、出力制御部３１に供給すればよい。
図１１Ａ及び図１１Ｂは、有効水平走査期間Ｈd-Ａ及び無効水平走査期間Ｈd-Ｄと、表示垂直走査期間Ｆdとの関係を説明するための説明図である。
表示垂直走査期間Ｆdは、Ｍ行のラインに対応する画像信号Ｄ[1]〜Ｄ[M]を出力する期間である。このため、タイミングジェネレータ３２は、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに、Ｍ個の有効水平走査期間Ｈd-Ａを設ける。
一方、本実施形態に係るタイミングジェネレータ３２は、水平走査期間Ｈdを、有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄの何れかに分類する。そして、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合にのみ、当該水平走査期間Ｈdにおいて画像信号Ｄ[m]が出力される。
このため、本実施形態に係るタイミングジェネレータ３２は、表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを設ける場合には、当該無効水平走査期間Ｈd-Ｄに相当する時間長だけ垂直有効データ期間ＤＶＩを延長し、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩにＭ個の有効水平走査期間Ｈd-Ａを設けるように、表示垂直同期信号ＤＶsync及び垂直有効データ信号ＤＶactiveを出力する。
例えば、タイミングジェネレータ３２は、図１１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdを有効水平走査期間Ｈd-Ａとする場合には、垂直有効データ期間ＤＶＩの時間長を、水平走査期間ＨdのＭ倍の時間長とする。ここで、表示垂直走査期間Ｆd1のうち、垂直同期フロントポーチ期間（ＤＶf）と垂直同期期間（ＤＶp）と垂直同期バックポーチ期間（ＤＶb）を除いた期間、すなわちＤＶＩを垂直有効データ期間ＤＶＩと呼び、ＤＶactive＝Ｈの期間とする。
一方、タイミングジェネレータ３２は、図１１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄを設ける場合には、垂直有効データ期間ＤＶＩの時間長（ＤＶactive＝Ｈの期間）が、水平走査期間ＨdのＭ倍の時間長と、垂直有効データ期間ＤＶＩに存在する１または複数の無効水平走査期間Ｈd-Ｄの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレータ３２は、表示垂直走査期間Ｆdの時間長を、水平走査期間Ｈdの単位で調整することで、各表示垂直走査期間Ｆdにおいて画像信号出力部２３が画像信号Ｄ[1]〜Ｄ[M]を出力することを可能としている。
なお、図１１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合における、表示垂直走査期間Ｆdの時間長を、標準垂直走査時間Ｔdと称する。また、表示部４０で表示可能な最高のフレームレート、すなわち、表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレートである「１／Ｔd」を、「第２フレームレート」と称する場合がある。また、タイミング制御部３０が実行するタイミングの制御のうち、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御することを、「第１のタイミング制御」と称する場合がある。
また、図１１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合における、当該１または複数の無効水平走査期間Ｈd-Ｄの時間長の合計値を、延長垂直走査時間Ｔexと称する。つまり、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合の表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdと延長垂直走査時間Ｔexとの合計である。なお、タイミング制御部３０が実行するタイミングの制御のうち、１または複数の無効水平走査期間Ｈd-Ｄが設けられる垂直有効データ期間ＤＶＩにおいて画像信号Ｄが出力されるようにタイミングを制御することを、「第２のタイミング制御」と称する場合がある。詳細は後述するが、第２のタイミング制御において、タイミング制御部３０は、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する。
次に、図１２を参照しつつ、表示部４０について説明する。
図１２は、表示部４０の構成を示すブロック図である。上述のとおり、表示部４０は、液晶パネル４２の動作を制御するコントローラー４１と、画像信号Ｄに応じた画像を表示するための液晶パネル４２と、を備える。
液晶パネル４２には、上述のとおり、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、図９において横方向に延在するＭ行の走査線と、縦方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、を備える。
コントローラー４１は、画像信号出力部２３から画像信号Ｄ（画像信号ＤGB）が入力されるデータ入力部４１１と、各垂直有効データ期間ＤＶＩにおいて有効水平走査期間Ｈd-Ａの個数（イネーブル信号ＤＥnbがアクティブとなる回数）をカウントするカウンター４１２と、液晶パネル４２の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部４１３と、液晶パネル４２に対して画像信号Ｄ（画像信号ＤGC）を出力するデータ出力部４１４と、コントローラー４１の動作を規定する設定パラメーターＰRMを格納するためのレジスター４１５と、を備える。
なお、本実施形態において、画像処理回路１００（画像信号生成部２０、及び、タイミング制御部３０）とコントローラー４１との間のデータ伝送は、低電圧差動（ＬＶＤＳ）のシリアルインターフェース（図示省略）によって行う。このため、画像処理回路１００及びコントローラー４１の間のデータ伝送をパラレルインターフェースで行う場合と比較して、高速なデータ伝送が可能となっている。
レジスター４１５に設定される設定パラメーターＰRMは、液晶パネル４２の仕様に応じてコントローラー４１を動作させるための、コントローラー４１の動作を規定する値である。
設定パラメーターＰRMとしては、例えば、水平走査期間Ｈdの時間長（または、水平走査期間Ｈdに含まれる表示ドットクロック信号ＤCLKのクロック数。以下、表示ドットクロック信号ＤCLKのクロック数を、単に「クロック数」と称する）、水平有効データ期間ＤＨＩの時間長（または、表示領域ＡDにおけるＸ軸方向の画素数（Ｎ））、水平同期期間ＤＨpの時間長（または、クロック数）、水平バックポーチ期間ＤＨbの時間長（または、クロック数）、水平フロントポーチ期間ＤＨfの時間長（または、クロック数）、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれない場合の垂直有効データ期間ＤＶＩの時間長（または、表示領域ＡDにおける縦方向のライン数（Ｍ）。すなわち、垂直有効データ期間ＤＶＩに含まれる有効水平走査期間Ｈd-Ａの個数）、垂直同期期間ＤＶpの時間長（または、クロック数）、垂直バックポーチ期間ＤＶbの時間長（または、クロック数）、垂直フロントポーチ期間ＤＶfの時間長（または、クロック数）、等を含むものであればよい。
本実施形態に係る車両用撮像表示装置１では、画像処理回路１００から、液晶パネル４２の仕様に応じたコントローラー４１の動作タイミングを設定できるので、液晶パネル４２のサイズを変更する場合や、フレームレート等の液晶パネル４２の仕様を変更する場合であっても、コントローラー４１を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
データ入力部４１１には、画像処理回路１００から、表示ドットクロック信号ＤCLKと、画像信号Ｄ（画像信号ＤGB）及び無効信号Ｄmyを含む画像信号出力部２３からの出力信号と、イネーブル信号ＤＥnbと、が供給される。
データ入力部４１１は、イネーブル信号ＤＥnbがアクティブとなると、当該イネーブル信号ＤＥnbがアクティブの間に表示ドットクロック信号ＤCLKに同期して画像信号出力部２３から供給される１ライン分の画像信号Ｄ[m]を取り込み、取り込んだ画像信号Ｄ[m]をデータ出力部４１４に対して出力する。一方、データ入力部４１１は、イネーブル信号ＤＥnbが非アクティブの場合、画像信号出力部２３から供給される無効信号Ｄmyを取り込まずに破棄する。
カウンター４１２には、画像処理回路１００から、イネーブル信号ＤＥnbと、表示垂直同期信号ＤＶsyncとが供給される。カウンター４１２は、イネーブル信号ＤＥnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Ｃntを、タイミング生成部４１３に対して出力する。また、カウンター４１２は、表示垂直同期信号ＤＶsyncがアクティブになり、表示垂直同期信号ＤＶsyncとして表示垂直同期パルスＰlsＶが供給されると、カウント値Ｃntを「０」にリセットする。このため、カウンター４１２は、各表示垂直走査期間Ｆdに含まれる有効水平走査期間Ｈd-Ａの個数をカウントすることができる。すなわち、カウント値Ｃntは、データ入力部４１１が第ｍ行のラインで表示すべき画像を指定する画像信号Ｄ[m]を取り込む場合には、当該画像信号Ｄ[m]に対応するライン番号（ｍ）を示す。
タイミング生成部４１３には、画像処理回路１００から、表示垂直同期信号ＤＶsyncと、表示水平同期信号ＤＨsyncと、設定パラメーターＰRMと、が供給され、また、カウンター４１２から、カウント値Ｃntが供給される。上述のとおり、タイミング生成部４１３は、画像処理回路１００から設定パラメーターＰRMが供給されると、供給された設定パラメーターＰRMをレジスター４１５に設定する。
タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、走査線駆動回路４２１に対して、カウント値Ｃntに対応する第ｍ行のライン（走査線）の選択を行わせる。また、タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、データ出力部４１４に対して、データ入力部４１１が取り込んだ１ライン分の画像信号Ｄ[m]を画像信号ＤGC[m]としてデータ線駆動回路４２２に供給させる。この場合、データ線駆動回路４２２は、走査線駆動回路４２１が選択している第ｍ行の走査線に対応して設けられるＮ個の画素（第ｍ行のラインの画素）に対し、データ出力部４１４から供給された画像信号ＤGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ＡDに表示される。なお、本実施形態では、画像信号ＤGA及びＤGBはデジタルの信号であるが、画像信号ＤGCは、デジタルの信号であってもアナログの信号であってもよい。
このように、コントローラー４１は、画像信号出力部２３から供給された画像信号Ｄの示す画像を、液晶パネル４２の表示領域ＡDに表示させる。
なお、コントローラー４１は、カウント値Ｃntが、レジスター４１５に設定された表示領域ＡDのライン数「Ｍ」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号ＤＨsyncが供給されるタイミング、つまり、垂直フロントポーチ期間ＤＶfが開始されるタイミングで、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間ＤＶfが開始された後、タイミング生成部４１３は、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Ｃngを出力する。
ここで、改フレーム処理とは、次の表示垂直走査期間Ｆdにおいて画像を表示する準備のための処理であり、例えば、データ入力部４１１及びデータ出力部４１４が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間ＤＶfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間ＤＶfの終了までに終了することが好ましい。
＜２．画像処理＞
次に、図１３乃至図１９を参照しつつ、画像処理部２１が具備する各部分画像処理部２１Jの詳細と、各部分画像処理部２１Jで実行される画像処理と、について説明する。
図１３は、各部分画像処理部２１J（２１L、２１C、２１R）の構成を示すブロック図である。
この図に示すように、部分画像処理部２１Jは、イメージセンサー１２Jから出力される撮像信号ＤS-Jを一時的に格納するラインバッファ２１１J（２１１L、２１１C、２１１R）と、ラインバッファ２１１Jに格納された撮像信号ＤS-Jに対して補間処理を行う画素補間処理部２１２J（２１２L、２１２C、２１２R）と、補間された撮像信号ＤS-Jに対して色再現処理を行う色再現処理部２１３J（２１３L、２１３C、２１３R）と、色再現された撮像信号ＤS-Jに対してフィルタ処理を行うフィルタ処理部２１４J（２１４L、２１４C、２１４R）と、フィルタ処理された撮像信号ＤS-Jに対してガンマ補正を施すガンマ補正部２１５J（２１５L、２１５C、２１５R）と、ガンマ補正された撮像信号ＤS-Jを一時的に格納するラインバッファ２１６J（２１６L、２１６C、２１６R）と、ラインバッファ２１６Jに格納された撮像信号ＤS-Jを表示領域ＡD-Jの備える画素数の部分画像信号ＤRS-J（ＤRS-L、ＤRS-C、ＤRS-R）に変換するリサイズ処理を行うリサイズ処理部２１７J（２１７L、２１７C、２１７R）と、部分画像信号ＤRS-Jのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を部分画像信号ＤRS-Jに対して施すことで部分画像信号ＤT-J（ＤT-L、ＤT-C、ＤT-R）を生成するトリミング処理部２１８J（２１８L、２１８C、２１８R）と、を備える。
なお、運転者は、操作部６０を用いて、トリミングの位置を指定する指示を入力することができる。
上述のとおり、撮像信号ＤSに含まれる撮像信号ＤS-Jの示す画像の画素数と、画像信号Ｄに含まれる部分画像信号Ｄ-Jの示す画像の画素数（表示領域ＡDのうち表示領域ＡD-Jの画素数）とは異なる。このため、リサイズ処理部２１７Jでは、撮像信号ＤS-Jを、表示領域ＡD-Jの画素数に対応した部分画像信号ＤRS-Jに変換するリサイズ処理を実行する。
ところで、撮像信号ＤS-Jの示す画像は、イメージセンサー１２Jに対応して設けられる撮像光学系が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡD-Jにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、リサイズ処理部２１７Jでは、リサイズ処理において、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
図１４は、リサイズ処理部２１７Jが実行する歪曲補正処理を説明するための説明図である。以下、図１４を参照しつつ、リサイズ処理の中で実行される歪曲補正処理について説明する。なお、図１４では、撮像信号ＤS-Jの示す画像のライン数ＰJが１６ライン（ＰJ＝１６）であり、部分画像信号Ｄ-J（及び、部分画像信号ＤRS-J）示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。
以下では、撮像信号ＤS-Jのうち、第ｐJ行のラインで表示すべき画像を示す１ライン分の撮像信号ＤS-Jを、撮像信号ＤS-J[pJ]と表記する（ｐJは、１≦ｐJ≦ＰJを満たす自然数）。また、以下では、部分画像信号ＤRS-Jのうち、第ｍ行の１ライン分の部分画像信号ＤRS-Jを、部分画像信号ＤRS-J[m]と表記する。
図１４において、樽型収差が生じている場合に撮像信号ＤS-Jの示す画像を符号Ｐｃ１で表し、画像Ｐｃ１を示す撮像信号ＤS-Jに基づいて被写体を撮像した際に部分画像信号ＤRS-Jの示す画像を符号Ｐｃ２で表し、糸巻型収差が生じている場合に撮像信号ＤS-Jの示す画像を符号Ｐｃ３で表し、画像Ｐｃ３を示す撮像信号ＤS-Jに基づいて被写体を撮像した際に部分画像信号ＤRS-Jの示す画像を符号Ｐｃ４で表す。
画像Ｐｃ１は、（後述するトリミング処理、水平方向縮小・拡大処理、垂直方向縮小・拡大処理を行わないと仮定した場合に）表示領域ＡD-Jに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤS-Jが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す場合の、当該撮像信号ＤS-Jの示す信号である。また、画像Ｐｃ３は、（後述するトリミング処理、水平方向縮小・拡大処理、垂直方向縮小・拡大処理を行わないと仮定した場合に）表示領域ＡD-Jに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤS-Jが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す場合の、当該撮像信号ＤS-Jの示す信号である。
リサイズ処理部２１７Jは、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV1を示す画像Ｐｃ１を、四角形ＳQを示す画像Ｐｃ２へと補正する。同様に、リサイズ処理部２１７Jは、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV2を示す画像Ｐｃ３を、四角形ＳQを示す画像Ｐｃ４へと補正する。
これらの場合、リサイズ処理部２１７Jは、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
例えば、リサイズ処理部２１７Jは、画像Ｐｃ２または画像Ｐｃ４を構成する補正後の画素ＰxS1の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する補正前の画素ＰxC1を中心画素と定める。そして、リサイズ処理部２１７Jは、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
同様に、リサイズ処理部２１７Jは、画像Ｐｃ２または画像Ｐｃ４を構成する補正後の画素ＰxS2の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する補正前の画素ＰxC2を中心画素と定める。そして、リサイズ処理部２１７Jは、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。
なお、画像Ｐｃ２及び画像Ｐｃ４において濃いハッチングを付した画素は、部分画像信号Ｄ-Jにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、画像Ｐｃ１及び画像Ｐｃ３において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、画像Ｐｃ１及び画像Ｐｃ３において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
図１４に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、画面における縦方向の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、画面における縦方向の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、リサイズ処理部２１７Jが部分画像信号ＤRS-J[m]を生成する場合に必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。このため、リサイズ処理部２１７Jがリサイズ処理に要する時間長は、ラインの位置により変動することになる。
例えば、図１４に示す例では、リサイズ処理部２１７Jが、第１行のラインに対応する部分画像信号ＤRS-J[1]を生成するためには、第１行〜第５行のラインに対応する撮像信号ＤS-J[1]〜ＤS-J[5]が必要となる。これに対して、リサイズ処理部２１７Jが、第７行のラインに対応する部分画像信号ＤRS-J[7]を生成するためには、第８行〜第１０行のラインに対応する撮像信号ＤS-J[8]〜ＤS-J[10]が必要となる。つまり、リサイズ処理部２１７Jが、部分画像信号ＤRS-J[1]を生成するために要する時間長は、部分画像信号ＤRS-J[7]を生成するために要する時間長よりも長くなる。
ところで、従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両αの運転者が、操作部６０のタッチパネル（図示略）から、リサイズ処理が施された部分画像信号ＤRS-Jの示す画像の一部の領域をトリミングするトリミング処理について、トリミングの位置を指定する指示を入力することができるように構成している。
図１５Ａに、運転者によって指定されたトリミング領域の一例を示す。図１５Ａに示すように、トリミング領域ＡreaT-Jは、部分画像信号ＤRS-Jの示す画像の一部である矩形の領域である。運転者は、例えば、車両の非運転時に、車両室内の操作部６０のタッチパネル（図示省略）に表示された部分画像信号ＤRS-Jの示す画像を視認しながら、当該画像上に表示される矩形枠ＦRM-Jをタッチ操作により移動させてトリミング領域ＡreaT-Jを指定する。ここで、矩形枠ＦRM-Jは所定の大きさの領域を画定するものであり、トリミング領域ＡreaT-Jは、矩形枠ＦRM-Jの例えば左上頂点の位置ＰosＴ-Jによって定まる。
制御部５０は、運転者がタッチパネルよって矩形枠ＦRM-Jを移動させて位置ＰosＴ-Jを指定すると、位置ＰosＴ-Jを示す位置指定信号Ｃp-Jを生成して部分画像処理部２１Jのトリミング処理部２１８Jに供給する。トリミング処理部２１８Jは、位置指定信号Ｃp-Jで指定される位置ＰosＴ-Jを左上頂点とする矩形枠ＦRM-Jをトリミング領域ＡreaT-Jとして決定し、部分画像信号ＤRS-Jの示す画像のうち、トリミング領域ＡreaT-Jをトリミングするトリミング処理を実行する。
なお、タッチパネルの代わりに従来と同様の操作レバー等を設け、運転者が操作レバー等を手で動かして所定の大きさの矩形枠ＦRM-Jを左右上下方向に移動させることでトリミング領域ＡreaT-Jを指定可能な構成としてもよい。
本実施形態では、部分画像信号ＤRS-Jは表示領域ＡD-Jの備える画素数と一致するから、その一部であるトリミング領域ＡreaT-Jの画素数は表示領域ＡD-Jの備える画素数よりも少なくなる。このため、トリミング領域ＡreaT-Jの画素数を表示領域ＡD-Jの備える画素数に一致させるため、トリミング処理部２１８Jでは、トリミング領域ＡreaT-Jが指定された後に当該トリミング領域ＡreaT-Jを拡大する拡大処理を実行する。
図１５Ｂにトリミング処理後の画像の一例を示す。図１５Ａ及び図１５Ｂから理解されるように、トリミング処理により、図１５Ａに示すトリミング領域ＡreaT-Jの示す画像が拡大されて、表示領域ＡD-Jの備えるＭ行×ＮJ列の画素数の（部分画像信号Ｄ-Jと同一の画素数の）部分画像信号ＤT-Jが生成される。
なお、リサイズ処理によって、Ｍrs行×ＮrsJ列（ＭrsはＭ＜Ｍrs＜ＰJとなる自然数、ＮrsJはＮJ＜ＮrsJ＜ＱJとなる自然数）の画像を生成し、その後、リサイズ処理によって生成された画像からＭ行×ＮJ列の画像を切り出すトリミング処理を実行してもよい。この場合は、トリミング領域ＡreaT-JがＭ行×ＮJ列となるので拡大処理が不要となり、画像の品質を向上させることができる。また、矩形枠ＦRM-Jは所定の大きさである必要はなく、運転者の操作により変更可能な構成としてもよい。この場合には、トリミング領域ＡreaT-Jの示す画像の拡大率が自由に変更可能となる。
このようなトリミング処理によれば、例えば撮像部においてイメージセンサーを含むカメラ自体の撮影する向きを可動とすることで撮影範囲を変更する構成と比較して、カメラの向きを可動にするための機構を不要とするためコストが抑制されるという利点がある。さらには、トリミング処理においては、トリミング領域ＡreaT-Jが指定された後に表示領域ＡD-Jのサイズに合わせて拡大されるため、運転者が見たい領域が拡大されて表示されるという利点もある。
図１３に示すように、部分画像処理部２１Jは、さらに、部分画像信号ＤT-Jに対して左右反転処理を施すことで、部分画像信号ＤT-Jの示す画像を左右反転した画像を示す部分画像信号ＤF-J（ＤF-L、ＤF-C、ＤF-R）を生成する鏡像生成部２１９J（２１９L、２１９C、２１９R）と、部分画像信号ＤF-Jに対して水平方向縮小・拡大処理を施すことで、部分画像信号ＤF-Jの示す画像をライン毎に水平方向に縮小及び拡大した画像を示す部分画像信号ＤX-J（ＤX-L、ＤX-C、ＤX-R）を生成する水平方向縮小・拡大処理部２２０J（２２０L、２２０C、２２０R）と、部分画像信号ＤX-Jに対して垂直方向縮小・拡大処理を施すことで、部分画像信号ＤX-Jの示す画像を垂直方向に縮小または拡大した画像を示す部分画像信号Ｄ-Jを生成する垂直方向縮小・拡大処理部２２１J（２２１L、２２１C、２２１R）と、を備える。
図１５Ｃは、鏡像生成部２１９Jが実行する左右反転処理によって生成された部分画像信号ＤF-Jの示す画像の一例を示す。車両αの運転者は、従来型のサイドミラーやバックミラーに映る被写体の鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、イメージセンサー１２Jは、被写体の鏡像ではなく、被写体自体を撮像する。このため、イメージセンサー１２Jが出力する撮像信号ＤS-Jの示す画像の向きは、従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。
そこで、鏡像生成部２１９Jは、トリミング処理部２１８Jから出力された部分画像信号ＤT-Jの示す画像（図１５Ｂ）を左右反転させた鏡面画像を示す部分画像信号ＤF-J（図１５Ｃ）を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまう虞がなくなる。
以下、図１６Ａ〜図１９を参照しつつ、水平方向縮小・拡大処理部２２０Jが実行する水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理部２２１Jが実行する垂直方向縮小・拡大処理について説明する。なお、以下では、これら二つの処理を、縮小・拡大処理と総称する場合がある。
図１６Ａは、本実施形態に係る画像の拡大・縮小処理の概念図である。この図では、部分画像処理部２１J（２１L、２１C、２１R）のうち、左側画像用画像処理部２１Lにおける縮小・拡大処理を例示して説明する。
この図に示すように、左側画像用画像処理部２１Lにおける拡大・縮小処理においては、鏡像生成部２１９Lから出力された部分画像信号ＤF-Lの示す画像を、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6の６つの領域に区分する。部分画像信号ＤF-Lの示す画像の左右方向（横方向）において、左の領域（車体から遠い領域）と、中央の領域（車体に近い領域）と、の長さの比は、「２：３」であり、上下方向（縦方向）において、上の領域と、中央の領域と、下の領域との長さの比は「１：３：１」である。
また、図１６Ａに示す各領域には、所定の水平方向変倍率（左右方向における拡大率または縮小率）と所定の垂直方向変倍率（上下方向における拡大率または縮小率）が予め設定される。
サイドミラーに映る像のうち、車体に近い領域ＬRC（図２）にあるものは車両と接触する危険性が高いため車両の安全な運転に必要な情報である。逆に車体から遠い領域ＬRLにある画像、例えば沿道の建物等の画像は安全確認における重要度は低い。このため、本実施形態では、左右方向における拡大率または縮小率は、左右方向について車体に近い領域ＬRCが車体に遠い領域ＬRLと比較して相対的に拡大されるように設定される。また、撮像信号ＤS-Jに基づく画像のうち他の車両や歩行者などの画像は車両の安全な運転にとって必要な情報であるが、画像の上の領域における空や山などの景色の画像や、画像の下の領域における路面の画像の重要度は低い。このため、本実施形態では、上下方向における拡大率または縮小率は、上下方向における中央の領域が、上の領域または下の領域と比較して相対的に拡大されるように設定される。
具体的には、左側画像用画像処理部２１Lにおける縮小・拡大処理では、図１６Ａに示すように、車両αから遠く、且つ、上または下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。
また、車両αからは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が２５％且つ上下方向の拡大率Ｖ１が１５０％に設定される。また、車両αには近いが上または下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１５０％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。そして、車両αから近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１５０％に設定される。このように設定することにより、撮像信号ＤS-Lに基づく画像のうち、車両αの運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面部と凸面部を設けて凸面部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、車両αにより近く、上下方向においてはより中央の領域の視認性を向上することが可能となる。
なお、右側画像用画像処理部２１Rが実行する縮小・拡大処理は、図１６Ａに示す左側画像用画像処理部２１Lが実行する縮小・拡大処理と、左右が反転している点を除いて同一である。
すなわち、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rおける縮小・拡大処理では、左右方向における車両αに近い領域についての拡大率Ｈ１、及び、左右方向における車両αから遠い領域についての縮小率Ｈ２は、車両αに近い領域について左右方向の長さをＸ１とし、車両αから遠い領域について左右方向の長さをＸ２としたとき、「Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２」となるように定められる。
また、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rおける縮小・拡大処理では、上下方向における中央の領域の拡大率Ｖ１、上の領域の縮小率Ｖ２、及び、下の領域の縮小率Ｖ３は、中央の領域について上下方向の長さをＹ１とし、上の領域について上下方向の長さをＹ２とし、下の領域について上下方向の長さをＹ３としたとき、「Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３」となるように定められる。
このように拡大率及び縮小率を設定することにより、部分画像信号ＤF-L及びＤF-Rの示す画像自体の大きさ（画素数）を変更することなく、各領域間の大きさの比率が変更された部分画像信号Ｄ-L及びＤ-Rを生成することができる。換言すれば、縮小・拡大処理を実行した場合であっても、部分画像信号Ｄ-L及びＤ-Rを、表示領域ＡD-L及びＡD-Rの備える画素数に一致させることができる。
図１６Ｂは、左側画像用画像処理部２１Lが備える水平方向縮小・拡大処理部２２０Lが実行する水平方向縮小・拡大処理を説明するための概念図であり、図１６Ｃは、垂直方向縮小・拡大処理部２２１Lが実行する垂直方向縮小・拡大処理を説明するための概念図である。
水平方向縮小・拡大処理部２２０Lでは、鏡像生成部２１９Lから出力された部分画像信号ＤF-Lに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（水平方向縮小・拡大処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｈ１または縮小率Ｈ２に応じた変倍処理を実行する。この変倍処理は１つのラインごとに実行される処理である。例えば１ラインにおける画素数を１００個（すなわち１００列）とした場合、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3に属する第１列から第４０列までの画素を、縮小率Ｈ２（２５％）で縮小する処理を行う。すなわち、画素数を４０個から１０個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6に属する第４１列から第１００列までの画素を拡大率Ｈ１（１５０％）で拡大する処理を行う。すなわち、画素数を６０個から９０個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて水平方向縮小・拡大処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１６Ｂに示すように変更された画像（部分画像信号ＤX-Lが示す画像）が生成される。
垂直方向縮小・拡大処理部２２１Lは、水平方向縮小・拡大処理部２２０Lからラインごとに出力された部分画像信号ＤX-Lに対して、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する処理（垂直方向縮小・拡大処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｖ１または縮小率Ｖ２またはＶ３に応じた変倍処理を実行する。この変倍処理は複数のラインごとに実行される処理である。例えば部分画像信号ＤX-Lのライン数を１００行とした場合、左上領域ＬR1及び中央上領域ＬR4に属する第１行から第２０行のうち、縮小率Ｖ２（２５％）に応じた本数のラインを間引く処理を行う。すなち、４本に１本のラインを間引く処理を行う。また、左中央領域ＬR2及び中央領域ＬR5に属する第２１行から第８０行の画素に対して、拡大率Ｖ１（１５０％）で拡大する処理を行う。左下領域ＬR3と中央下領域ＬR6に属する第８１行から第１００行のうち、縮小率Ｖ３（２５％）に応じた本数のラインを間引く処理を行う。すべてのラインについて垂直方向縮小・拡大処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１６Ｃに示すように変更された画像（部分画像信号Ｄ-Lが示す画像）が生成される。
図１７は、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を経た部分画像信号Ｄ-Lが示す画像の一例である。この図に示す部分画像信号Ｄ-Lの示す画像は、左側表示領域ＡD-Lに表示されたうえで、拡大表示領域Ａrea-L（図３Ａまたは図３Ｂ参照）に拡大表示される。すなわち、拡大表示領域Ａrea-Lには、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が表示される。
図１８は、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を経た部分画像信号Ｄ-Rが示す画像の一例である。この図に示す部分画像信号Ｄ-Rの示す画像は、右側表示領域ＡD-Rに表示されたうえで、拡大表示領域Ａrea-R（図３Ａまたは図３Ｂ参照）に拡大表示される。すなわち、拡大表示領域Ａrea-Rには、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が表示される。図１８に示すように、拡大表示領域Ａrea-Rに拡大表示される部分画像信号Ｄ-Rの示す画像は、左右方向において車体に近い領域ＲRC（図２参照）が車体から遠い領域ＲRRよりも拡大され、上下方向において中央の領域が拡大されている。
次に、中央画像用画像処理部２１Cにおける縮小・拡大処理（水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理）について説明する。
中央画像用画像処理部２１Cにおける縮小・拡大処理は、部分画像信号ＤT-Jを複数の領域に区分する際の区分の態様と、区分された各領域の縮小及び拡大の比率と、において、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rにおける縮小・拡大処理と相違する。
図１９は、中央画像用画像処理部２１Cにおける縮小・拡大処理の概念図である。この図に示すように、中央画像用画像処理部２１Cにおける拡大・縮小処理においては、鏡像生成部２１９Cから出力された部分画像信号ＤF-Cの画像を、左上領域ＢR1、左中央領域ＢR2、左下領域ＢR3、中央上領域ＢR4、中央領域ＢR5、中央下領域ＢR6、右上領域ＢR7、右中央領域ＢR8、右下領域ＢR9の９つの領域に区分する。この図に示す例では、部分画像信号ＤF-Cの示す画像の左右方向において、左の領域ＢRL（図２参照）と、中央の領域ＢRCと、右の領域ＢRRと、の長さの比は「１：３：１」であり、上下方向において、上の領域と、中央の領域と、下の領域と、の長さの比は「１：３：１」である。
また、図１９に示す各領域には、所定の水平方向変倍率（左右方向における拡大率または縮小率）と所定の垂直方向変倍率（上下方向における拡大率または縮小率）が予め設定される。具体的には、図１９に示すように、左右方向及び上下方向のいずれにおいても端の領域である左上領域ＢR1、左下領域ＢR3、右上領域ＢR7、及び右下領域ＢR9については、左右方向の縮小率及び上下方向の縮小率がともに２５％に設定される。また、左右方向において端の領域ではあるが上下方向において中央の領域である左中央領域ＢR2と右中央領域ＢR8については、左右方向の縮小率が２５％且つ上下方向の拡大率が１５０％に設定される。また、左右方向において中央の領域ではあるが上または下の領域である中央上領域ＢR4と中央下領域ＢR6については、左右方向の拡大率が１５０％、上下方向の縮小率が２５％に設定される。そして、左右方向及び上下方向のいずれにおいても中央の領域である中央領域ＢR5については、左右方向の拡大率及び上下方向の拡大率がともに１５０％に設定される。
このように設定することにより、撮像信号ＤS-Cに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばバックミラーの鏡面に平面部と凸面部を設けて凸面部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、左右及び上下方向における中央の領域の視認性を向上することが可能となる。
このようにして生成された部分画像信号Ｄ-Cの示す画像は、中央表示領域ＡD-Cに表示されたうえで、拡大表示領域Ａrea-L（図３Ａまたは図３Ｂ参照）に拡大表示される。
なお、垂直方向縮小・拡大処理部２２１Jは、部分画像信号Ｄ-J[m]を生成するための垂直方向縮小・拡大処理が完了すると、生成した部分画像信号Ｄ-J[m]（部分画像信号ＤGA-J[m]）をラインバッファ２２に格納すると共に、部分画像信号Ｄ-J[m]のラインバッファ２２への格納が完了したことを示す部分書込完了信号ＰtA-Jを出力する。
＜３．撮像信号と画像信号の関係＞
次に、撮像信号ＤSと画像信号Ｄとの関係、特に、撮像部１０から画像信号生成部２０への撮像信号ＤSの出力（供給）タイミングと画像信号生成部２０からの画像信号Ｄの出力タイミングとの関係について説明する。
まず、撮像信号ＤS（撮像信号ＤS-J[pJ]）と画像信号Ｄ（画像信号Ｄ[m]）との関係を説明する前提として、画像信号Ｄ[m]を生成するために必要となる撮像信号ＤS-J[pJ]について説明する。
上述した説明からも明らかなように、部分画像処理部２１Jが行う画像処理において、部分画像信号Ｄ-J[m]を生成するために必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
例えば、部分画像処理部２１Jのリサイズ処理部２１７Jが歪曲補正処理を含むリサイズ処理により部分画像信号ＤRS-J[m]を生成する場合に必要となる撮像信号ＤS-Jのライン数は、部分画像信号ＤRS-J[m]に対応するラインの位置（ｍの値）により変動する。図１４に示す例では、部分画像信号ＤRS-J[1]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[1]〜ＤS-J[5]の５ライン分の撮像信号ＤS-J[pJ]であり、部分画像信号ＤRS-J[7]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[8]〜ＤS-J[10]の３ライン分の撮像信号ＤS-J[pJ]であり、部分画像信号ＤRS-J[12]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[12]〜ＤS-J[16]の５ライン分の撮像信号ＤS-J[pJ]である。
また、例えば、垂直方向縮小・拡大処理部２２１Jが垂直方向縮小・拡大処理により部分画像信号Ｄ-J[m]を生成する場合に必要となる部分画像信号ＤX-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
このため、部分画像処理部２１Jが、部分画像信号Ｄ-J[m]を生成するために行うが行う画像処理に要する時間は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
以下では、説明の便宜上、部分画像信号Ｄ-J[m]を生成するために必要となる全ての撮像信号ＤS-J[pJ]を、撮像信号ＤGS-J[m]と総称する。
図２０は、画像信号Ｄ[m]及び部分画像信号Ｄ-J[m]と、撮像信号ＤS-J[pJ]との関係を概略的に示したタイミングチャートである。この図に示すように、撮像信号ＤS-L[1]〜ＤS-L[60]（この図では、「ＰL＝６０ライン」としている）のうち、部分画像信号Ｄ-L[m]の生成に用いられる撮像信号ＤS-L[pL]が撮像信号ＤS-L[10]〜ＤS-L[12]である場合、当該撮像信号ＤS-L[10]〜ＤS-L[12]を、撮像信号ＤGS-L[m]と称する。同様に、撮像信号ＤS-C[1]〜ＤS-C[80]（この図では、「ＰC＝８０ライン」としている）のうち、部分画像信号Ｄ-C[m]の生成に用いられる撮像信号ＤS-C[pC]が撮像信号ＤS-C[14]〜ＤS-C[17]である場合、当該撮像信号ＤS-C[14]〜ＤS-C[17]を、撮像信号ＤGS-C[m]と称する。同様に、撮像信号ＤS-R[1]〜ＤS-R[60]（この図では、「ＰR＝６０ライン」としている）のうち、部分画像信号Ｄ-R[m]の生成に用いられる撮像信号ＤS-R[pR]が撮像信号ＤS-R[12]〜ＤS-R[14]である場合、当該撮像信号ＤS-R[12]〜ＤS-R[14]を、撮像信号ＤGS-R[m]と称する。
また、画像信号Ｄ[m]を生成するために必要となる、撮像信号ＤGS-L[m]、撮像信号ＤGS-C[m]、及び、撮像信号ＤGS-R[m]からなる信号を、撮像信号ＤGS[m]と称する。
例えば、図２０に示す例では、画像信号Ｄ[m]の生成に用いられる全ての撮像信号ＤS-J[pJ]、つまり、撮像信号ＤS-L[10]〜ＤS-L[12]からなる撮像信号ＤGS-L[m]と、撮像信号ＤS-C[14]〜ＤS-C[17]からなる撮像信号ＤGS-C[m]と、撮像信号ＤS-R[12]〜ＤS-R[14]からなる撮像信号ＤGS-R[m]と、を撮像信号ＤGS[m]と称する。
また、図２０に示すように、画像信号Ｄ[m]を生成する画像処理に要する時間を画像処理時間ＵA[m]と称し、部分画像信号Ｄ-J[m]を生成する画像処理に要する時間を部分画像処理時間ＵA-J[m]と称する。
上述のとおり、部分画像処理部２１Jが、部分画像処理時間ＵA-J[m]は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。また、画像信号Ｄ[m]は、部分画像信号Ｄ-L[m]、Ｄ-C[m]、及び、Ｄ-R[m]からなる。このため、画像処理時間ＵA[m]は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。
画像処理部２１は、撮像部１０から撮像信号ＤGS[m]の供給が開始されると、当該撮像信号ＤGS[m]に対して画像処理を施す。そして、画像処理部２１は、画像処理時間ＵA[m]の後に、画像処理を完了させ、画像信号Ｄ[m]を生成する。
より具体的には、図２０に示すように、画像処理部２１のうち左側画像用画像処理部２１Lは、左後方用イメージセンサー１２Lが供給する撮像信号ＤGS-L[m]に対して画像処理を施し、部分画像処理時間ＵA-L[m]の後に部分画像信号Ｄ-L[m]を生成し、部分書込完了信号ＰtA-Lを出力する。また、画像処理部２１のうち中央画像用画像処理部２１Cは、中央後方用イメージセンサー１２Cが供給する撮像信号ＤGS-C[m]に対して画像処理を施し、部分画像処理時間ＵA-C[m]の後に部分画像信号Ｄ-C[m]を生成し、部分書込完了信号ＰtA-Cを出力する。また、画像処理部２１のうち右側画像用画像処理部２１Rは、右側後方用イメージセンサー１２Rが供給する撮像信号ＤGS-R[m]に対して画像処理を施し、部分画像処理時間ＵA-R[m]の後に部分画像信号Ｄ-R[m]を生成し、部分書込完了信号ＰtA-Rを出力する。
なお、撮像信号ＤS-J[pJ]等の各種信号は、例えば、撮像水平同期信号ＳＨsyncのうちの一部の期間に亘って継続的に出力されるが、図２０（及びこれ以降の図）においては、図示の便宜上、各種信号が出力される期間を丸印で表している。
次に、図２１及び図２２を参照しつつ、撮像部１０から画像信号生成部２０に対する撮像信号ＤSの出力（供給）タイミングと画像信号生成部２０からの画像信号Ｄの出力タイミングとの関係について説明する。
図２１は、連続する複数の撮像垂直走査期間Ｆs（Ｆs0〜Ｆs3）のうち、撮像垂直走査期間Ｆs1〜Ｆs3のそれぞれにおいて、撮像部１０が画像信号生成部２０に対して撮像信号ＤS（撮像信号ＤS-J[1]〜ＤS-J[pJ]）を出力（供給）するタイミングを概略的に示したタイミングチャートである。
上述のとおり、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rは、タイミングジェネレータ１３が出力する各種タイミング信号に同期して動作する。このため、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rのフレームレートは等しい。
しかし、各イメージセンサー１２Jが出力する撮像信号ＤS-Jの画素のサイズは互いに異なる場合がある。また、各イメージセンサー１２Jから部分画像処理部２１Jへの撮像信号ＤS-Jの伝送に要する時間も異なる場合がある。よって、通常は、撮像部１０から画像信号生成部２０に対して撮像信号ＤS-Jを出力（供給）する期間は、撮像信号ＤS-L、ＤS-C、及び、ＤS-R毎に異なる。
このため、図２１に示すように、撮像部１０が撮像信号ＤSを出力する期間、つまり、撮像部１０が撮像信号ＤGS[1]〜ＤGS[M]を出力する期間は、撮像信号ＤS-L、ＤS-C、及び、ＤS-Rの出力（供給）が開始される時間のうち最も早い時間から、撮像信号ＤS-L、ＤS-C、及び、ＤS-Rの出力（供給）が終了する時間のうち最も遅い時間までの期間となる。
以下では、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤS（撮像信号ＤS-J[pJ]）を、それぞれ、撮像信号ＤS0〜ＤS3（撮像信号ＤS-J0[pJ]〜ＤS-J3[pJ]）と区別して表現することがある。同様に、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤGS[m]を、それぞれ、撮像信号ＤGS0[m]〜ＤGS3[m]として区別して表現することがある。
また、以下では、説明の便宜上、撮像部１０が撮像信号ＤSを出力する時間と、画像信号生成部２０が撮像信号ＤSの供給を受ける時間を略同じ時間であると看做し、区別せずに説明することとする。
図２２は、撮像部１０が撮像垂直走査期間Ｆs1〜Ｆs3のそれぞれにおいて出力する撮像信号ＤS1〜ＤS3に基づいて、画像処理部２１が画像信号Ｄ（Ｄ[1]〜Ｄ[M]）つまり画像信号ＤGA（ＤGA[1]〜ＤGA[M]）を生成し、生成した画像信号ＤGAをラインバッファ２２に格納するタイミングと、連続する複数の表示垂直走査期間Ｆd（Ｆd0〜Ｆd3）のうち、表示垂直走査期間Ｆd1〜Ｆd3のそれぞれにおいて、画像信号出力部２３が、ラインバッファ２２から画像信号Ｄ（Ｄ[1]〜Ｄ[M]）つまり画像信号ＤGB（ＤGB[1]〜ＤGB[M]）を取得してこれを表示部４０に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。
以下では、撮像信号ＤGS0[m]〜ＤGS3[m]に基づいて生成される画像信号Ｄ[m]（ＤGA[m]、ＤGB[m]）を、画像信号Ｄ0[m]〜Ｄ3[m]（ＤGA0[m]〜ＤGA3[m]、ＤGB0[m]〜ＤGB3[m]）として区別して表現することがある。
図２２に示すように、撮像垂直走査期間Ｆsのうち、撮像信号ＤSが出力される期間を、「撮像信号ＤSのフレーム」と称する。また、表示垂直走査期間Ｆdのうち、画像信号Ｄが出力されうる期間である垂直有効データ期間ＤＶＩを「画像信号Ｄのフレーム」と称する。そして、図２２に示すように、撮像信号ＤSのフレームの開始から、画像信号Ｄのフレームの開始までの時間を、位相差ＰDと称する。
なお、位相差ＰDとして、例えば、撮像垂直走査期間Ｆsのフレームの開始から、当該撮像垂直走査期間Ｆsにおいて撮像部１０が出力する撮像信号ＤSに基づく画像信号Ｄを画像信号生成部２０が出力する表示垂直走査期間Ｆdのフレームの開始までの時間としてもよい。
図２２では、撮像部１０が撮像信号ＤGS[1]〜ＤGS[M]を画像処理部２１に供給するタイミングを線Ｌ1で表す。つまり、線Ｌ1は、画像処理部２１が、画像信号Ｄ[1]〜Ｄ[M]（画像信号ＤGA[1]〜ＤGA[M]）のそれぞれを生成するための画像処理をライン毎に開始する時刻方向での様子（タイミング）を表す。また、画像処理部２１による画像信号ＤGA[1]〜ＤGA[M]の生成が完了し、これらがライン毎にラインバッファ２２に格納される時刻方向での様子（タイミング）を、線Ｌ2で表す。画像信号出力部２３は、画像信号ＤGA[m]の生成が完了した後に画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ2の示す時刻よりも前の時刻に出力されることはない。なお、線Ｌ2は、図１０で説明した画像信号生成時刻ＴC[1]〜ＴC[M]を結んだ線である。
また、画像信号出力部２３が、表示部４０にとって理想的なタイミングで画像信号ＤGB[1]〜ＤGB[M]を供給する場合、すなわち、表示部４０が表示可能な最高のフレームレート（表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレート）で表示するように画像信号ＤGB[1]〜ＤGB[M]を供給する場合の、画像信号出力部２３が画像信号ＤGB[1]〜ＤGB[M]をライン毎に順番に読み出して表示するタイミングを、線Ｌ3で表す。
つまり、線Ｌ3は、表示部４０が１ライン分の画像を表示可能な水平走査期間Ｈd毎に、画像信号出力部２３が１ライン分の画像信号ＤGB[m]を出力すると仮定した場合（つまり、表示部４０のフレームレートが第２フレームレートである場合）に、表示部４０が画像信号ＤGB[1]〜ＤGB[M]の示す画像を水平走査期間Ｈd毎にライン順に読み出して表示するタイミングを示す線であり、水平走査期間Ｈd毎に１ライン増加するような傾きを有する。すなわち、線Ｌ3は、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdの全てが有効水平走査期間Ｈd-Ａである場合を想定したものであり、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれる場合も想定したうえで、第ｍ-1行の画像信号Ｄ[m-1]の出力の完了（第２条件の充足）を前提とした画像信号Ｄ[m]の出力時刻を示す表示準備判定時刻ＴB[m]とは、必ずしも一致しない。
画像信号出力部２３は、表示部４０が表示可能であるときに画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]は、線Ｌ3の示す時刻よりも前の時刻に読み出されて出力されることはない。
なお、以下では、画像信号ＤGA0[m]〜ＤGA3[m]のそれぞれに対応する画像処理時間ＵAを、画像処理時間ＵA0[m]〜ＵA3[m]として区別して表現することがある。
また、以下では、画像信号ＤGA[m]がラインバッファ２２に格納されてから、画像信号出力部２３により表示部４０に対して出力されるまでの時間を待機時間ＵBとしている。以下では、説明の都合上、画像信号ＤGB1[m]〜ＤGB3[m]のそれぞれに対応する待機時間ＵBを、待機時間ＵB1[m]〜ＵB3[m]として区別して表現することがある。
上述のとおり、部分画像処理部２１Jが行う画像処理において、部分画像信号Ｄ-J[m]を生成するために必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。このため、通常、各ラインに対応する画像信号Ｄ[m]を生成する画像処理の開始間隔は、一定の間隔とはならずに変動する。つまり、線Ｌ1は通常は直線とはならずに折れ線となる。但し、図２２では、図示の都合上直線として描いている。なお、線Ｌ1を直線とした場合（例えば、線Ｌ1の始点と終点とを直線とつないだ場合）、線Ｌ1の傾きは、撮像部１０のフレームレートである第１フレームレートに応じて定められる。
また、上述のとおり、画像信号Ｄ[m]の生成に要する画像処理時間ＵA[m]は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、線Ｌ2は通常は直線とはならずに折れ線となるが、図２２では、図示の都合上直線として描いている。
図２２に示すように、撮像垂直走査期間Ｆs1において撮像部１０から出力される撮像信号ＤS1（ＤGS1[m]）に基づいて画像処理部２１が画像信号Ｄ1[m]（ＤGA1[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd1において表示部４０が画像信号Ｄ1[m]（ＤGA1[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4（前述の線Ｌ3の定義とは異なる仮想的なタイミングを線Ｌ4として説明する）よりも時間的に先行している。このような、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行している状態を「第１の状態」と称する。
すなわち、第１の状態とは、画像処理部２１が撮像信号ＤSに基づいて画像信号Ｄ[m]を生成したときに、表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部４０において画像信号Ｄ[m]を表示する準備ができていない場合とは、例えば、画像信号Ｄ1[m]が生成されたときに、表示部４０が画像信号Ｄ1[m]の前に表示すべき画像信号Ｄ1[m-1]の示す画像を表示中であり、表示部４０が画像信号Ｄ1[m]の示す画像を表示できない場合等である。
つまり、第１の状態においては、画像処理部２１が画像信号Ｄ[m]を生成しても、画像信号Ｄ[m]を表示するための表示部４０側の準備が間に合っていないため、表示部４０における画像の表示が、表示部４０側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第１の状態は、表示部４０が画像信号Ｄ[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号Ｄ[m]を表示することができる、という状態である。
ところで、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短いため、表示部４０側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
図２２では、図示の都合上、第１の状態として、１つの撮像垂直走査期間Ｆs（Ｆs1）及び１つの表示垂直走査期間Ｆd（Ｆd1）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第１の状態における、位相差ＰD1（第１の状態における位相差ＰDとして、図２２に示すように符号ＰD1を付する）は、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線Ｌ3と線Ｌ2との距離は、概ね、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。
表示部４０側における表示準備がボトルネックとなる表示の遅延が解消される前は、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消される様な状態になった場合は、実際にはその様な事にはならないものの、表示部４０側で画像を表示可能となる最早の時刻を示す線Ｌ4が、仮想的な状態として線Ｌ2よりも時間的に先行するタイミングになりえることが想定される。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、仮想的な状態では、最速な状態において線Ｌ2と線Ｌ4がクロスするタイミングになりえることが判る。
なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となる場合が存在する。この場合、線Ｌ2及び仮想的な線Ｌ4のクロスは、複数回生じることがありえることが解る。
図２２に示す例では、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2[m]）に基づいて、画像処理部２１が画像信号Ｄ2[m]（ＤGA2[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd2において表示部４０が画像信号Ｄ2[m]（ＤGA2[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4とクロスしている。このような、線Ｌ2と線Ｌ4がクロスする状態を、「第２の状態」と称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第２の状態」と称する。また、線Ｌ2と線Ｌ4がクロスする時刻を、時刻Ｔthと称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Ｔthとする。
すなわち、第２の状態とは、画像処理部２１が撮像信号ＤSに基づいて画像信号Ｄ[m]を生成したときに表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていないという状態（常に線Ｌ2が線Ｌ3よりも時間的に先行する状態）から、表示部４０において画像信号Ｄ[m]の示す画像を表示可能となったときに画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が存在する状態（線Ｌ4が線Ｌ2よりも時間的に先行する場合が存在するという状態）へと遷移することをいう。
つまり、第２の状態は、時刻Ｔth以前においては、表示部４０が画像信号Ｄ[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号Ｄ[m]の示す画像を表示されるという状態であり、一方、時刻Ｔth以後においては、表示部４０側において画像信号Ｄ[m]を表示することが可能となる時刻に至っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。
この、第２の状態における、位相差ＰD2（第２の状態における位相差ＰDとして、図２２に示すように符号ＰD2を付する）は、図２２に示すように位相差ＰD1よりも短くなる。
なお、時刻Ｔth以降においては、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを１回挿入して、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミング（表示部４０における画像信号Ｄ[m]の示す画像の表示タイミング）を調整する。但し、１回の無効水平走査期間Ｈd-Ｄの挿入を行っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合わなかった場合は、更に次の無効水平走査期間Ｈd-Ｄの挿入を繰り返す。そして、表示部４０は、画像信号Ｄ[m]を生成するための画像処理の完了を待ち、その後、画像信号Ｄ[m]が生成された場合は、水平走査期間Ｈd以下の時間以内に、当該画像信号Ｄ[m]の示す画像を表示する。すなわち、時刻Ｔth以降は、無効水平走査期間Ｈd-Ｄの挿入により、画像信号出力部２３からの画像信号Ｄ[m]（ＤGB[m]）の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。
図２２に示すように、表示垂直走査期間Ｆd3において表示部４０が画像信号Ｄ3[m]（ＤGA3[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4は、撮像垂直走査期間Ｆs3において出力される撮像信号ＤS3（ＤGS3[m]）に基づいて画像処理部２１が画像信号Ｄ3[m]（ＤGA3[m]）を生成する時刻を示す線Ｌ2よりも時間的に先行している。このような、線Ｌ4が線Ｌ2よりも時間的に先行している状態を、「第３の状態」と称する。なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となり、線Ｌ2及び線Ｌ3のクロスが複数回生じる場合がある。このような場合は、時刻Ｔth以降に開始される垂直走査期間の組（Ｆs及びＦd）における状態を、第３の状態と称する。
すなわち、第３の状態とは、表示部４０において画像信号Ｄ[m]の示す画像を表示する準備が完了したときに、画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が恒常的に生じているという、状態である。
つまり、第３の状態においては、画像信号Ｄ[m]を表示するための表示部４０側の準備が完了しても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないという状況が恒常的に生じているため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって、遅延する状態である。
この、第３の状態における、位相差ＰD3（第３の状態における位相差ＰDとして、図２２に示すように符号ＰD3を付する）は、図２２に示すように、位相差ＰD2よりも短くなる。
なお、第１の状態における位相差ＰD1は、画像処理時間ＵA（より具体的には、画像処理時間ＵA1[1]〜ＵA1[M]の最大値）よりも大きく、第３の状態における位相差ＰD3は、画像処理時間ＵA3[1]〜ＵA3[M]の最大値以下となる。
なお、第３の状態においても、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入して、表示部４０における画像信号Ｄ[m]の示す画像の表示タイミングを調整する。これにより、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることが可能となる。
上述のとおり、画像処理時間ＵAはライン毎に変動する。しかし、その変動幅は、撮像垂直走査期間Ｆsに比べれば十分に小さい。このため、画像信号Ｄ[m]の出力のタイミング（表示部４０側の表示タイミング）を、画像処理部２１における画像処理の完了タイミングに追従させている状態においては、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第３の状態においては、タイミング制御部３０は、表示部４０のフレームレートを撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングを調整していることになる（第２のタイミング制御）。
図２２では、図示の都合上、第３の状態として、１つの撮像垂直走査期間Ｆs（Ｆs3）及び１つの表示垂直走査期間Ｆd（Ｆd3）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とが、略同じととなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。すなわち、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部４０のフレームレートが撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。このため、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差ＰD3が略同じ時間長となる。
すなわち、タイミング制御部３０は、位相差ＰDが所定時間よりも長い場合には、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する第１のタイミング制御により、位相差ＰDを徐々に短くし、位相差ＰDが所定時間以下の場合には、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する第２のタイミング制御により、位相差ＰDが最短となる状態を維持する。
本実施形態では、位相差ＰDを、撮像信号ＤSのフレームの開始から画像信号Ｄのフレームの開始までの時間としているため、所定時間としては例えば、画像処理時間ＵA1[1]〜ＵA1[M]の最大値とすればよい。
また、上述のとおり、位相差ＰDは、撮像垂直走査期間Ｆsのフレームの開始から表示垂直走査期間Ｆdのフレームの開始までの時間と定義する場合には、所定時間としては例えば、画像処理時間ＵA1[1]〜ＵA1[M]の最大値と、撮像垂直走査期間Ｆsのフレームの開始から撮像信号ＤSのフレームの開始までの時間と、表示垂直走査期間Ｆdのフレームの開始から画像信号Ｄのフレームの開始までの時間と、に基づいて定めればよい。
以下、図２２及び図２３を参照しつつ、撮像垂直走査期間Ｆs1において撮像部１０が出力する撮像信号ＤS1（ＤGS1）と、表示垂直走査期間Ｆd1において画像信号生成部２０が表示部４０に出力する画像信号Ｄ1（ＤGB1）との関係を例にとって、第１の状態について説明する。
図２３は、撮像信号ＤS-J1[pJ]と、撮像信号ＤGS1[m]と、画像信号Ｄ1[m]（画像信号ＤGA1[m]及び画像信号ＤGB1[m]）との関係を説明するためのタイミングチャートである。
なお、図２３と、後述する図２４及び図２５では、簡単のために、撮像信号ＤSの示す画像のライン数が５ライン（Ｐ＝５）であり、画像信号Ｄ示す画像のライン数が４ライン（Ｍ＝４）である場合を想定する。また、図２３乃至図２５に示す例では、簡単のために、撮像信号ＤS-L[pL]、ＤS-C[pC]、及び、ＤS-R[pR]を区別せずに、撮像信号ＤS-J[pJ]（ＤS-J1[pJ]、ＤS-J2[pJ]、ＤS-J3[pJ]）と表す。また、図２３乃至図２５に示す例では、撮像信号ＤGS[1]が、撮像信号ＤS-J[1]及びＤS-J[2]を含み、撮像信号ＤGS[2]が、撮像信号ＤS-J[2]及びＤS-J[3]を含み、撮像信号ＤGS[3]が、撮像信号ＤS-J[3]及びＤS-J[4]を含み、撮像信号ＤGS[4]が、撮像信号ＤS-J[4]及びＤS-J[5]を含む場合を想定する。すなわち、図２３乃至図２５に示す例では、画像信号Ｄ[1]が、撮像信号ＤS-J[1]及びＤS-J[2]に基づいて生成され、画像信号Ｄ[2]が、撮像信号ＤS-J[2]及びＤS-J[3]に基づいて生成され、画像信号Ｄ[3]が、撮像信号ＤS-J[3]及びＤS-J[4]に基づいて生成され、画像信号Ｄ[4]が、撮像信号ＤS-J[4]及びＤS-J[5]に基づいて生成される場合を想定する。また、図２３乃至図２５に示す例では、線Ｌ2及び線Ｌ3のクロスは、１回のみ生じる場合を想定する。
図２３に示すように、撮像部１０から、撮像信号ＤS-J1[m]及びＤS-J1[m+1]が出力される（便宜的に撮像信号ＤGS1[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS1[m]に基づいて画像信号ＤGA1[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA1[m]の経過後に画像信号ＤGA1[m]の生成を完了し、これをラインバッファ２２に格納する。
一方、図２３に示す例は、上述した第１の状態を例示するものであり、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、図２３に示す例では、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、表示部４０において画像信号ＤGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd1[m]まで、待機時間ＵB1[m]だけ画像信号ＤGB1[m]の出力を待ち、その後、水平走査期間Ｈd1[m]において画像信号ＤGB1[m]を出力する。
また、図２３に例示する第１の状態は、画像処理部２１による画像処理の完了までに表示部４０による表示準備が間に合わない場合である。換言すれば、水平走査期間Ｈd1[m]が開始されるまでに、画像処理部２１による画像信号ＤGA1[m]の生成が完了し、画像信号出力部２３から画像信号ＤGB1[m]を出力可能な状態となっている。このため、図２３に例示する第１の状態では、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩに含まれる全ての水平走査期間Ｈdが、有効水平走査期間Ｈd-Ａとなる。すなわち、第１の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdとなる。
このように、図２３に例示する第１の状態では、画像信号Ｄ1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部４０側の表示準備がボトルネックとなって、表示部４０における表示が遅延する。
このため、撮像部１０が撮像信号ＤS1を出力してから、表示部４０が画像信号Ｄ1の示す画像を表示するまでの遅延時間ΔＴ1は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、画像処理の完了後に表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間となる。
次に、図２２及び図２４を参照しつつ、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2）と、表示垂直走査期間Ｆd2において画像信号生成部２０が表示部４０に出力する画像信号Ｄ2（ＤGB2）との関係を例にとって、第２の状態について説明する。
図２４は、撮像信号ＤS-J2[pJ]（撮像信号ＤGS2[m]）と、画像信号Ｄ2[m]（画像信号ＤGA2[m]及び画像信号ＤGB2[m]）との関係を説明するためのタイミングチャートである。この図に示すように、撮像部１０から、撮像信号ＤS-J2[m]及びＤS-J2[m+1]からなる撮像信号が出力される（便宜的にＤGS2[m]の出力が開始されると）、画像処理部２１は、当該撮像信号ＤGS2[m]に基づいて画像信号ＤGA2[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA2[m]の経過後に画像信号ＤGA2[m]の生成を完了し、これをラインバッファ２２に格納する。
なお、図２４に示す例では、画像信号Ｄ2[1]、Ｄ2[2]、及び、Ｄ2[3]が、時刻Ｔth以前に画像信号出力部２３が出力する画像信号Ｄ[m]であり、画像信号Ｄ2[4]が、時刻Ｔth以後に画像信号出力部２３が出力する画像信号Ｄ[m]である場合を想定している。
時刻Ｔth以前においては、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。つまり、時刻Ｔth以前においては、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、時刻Ｔth以前においては、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd2[m]まで、待機時間ＵB2[m]だけ画像信号ＤGB2[m]の出力を待ち、その後、水平走査期間Ｈd2[m]において画像信号ＤGB2[m]を出力する。
図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[1]が生成された後、待機時間ＵB2[1]だけ画像信号ＤGB2[1]の出力を待ち、その後、水平走査期間Ｈd2[1]において、画像信号ＤGB2[1]を出力する。同様に、画像信号出力部２３は、画像信号ＤGA2[2]が生成された後、待機時間ＵB2[2]だけ画像信号ＤGB2[2]の出力を待ち、その後、水平走査期間Ｈd2[2]において、画像信号ＤGB2[2]を出力する。
一方、時刻Ｔth以後においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA2[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB2[m]の示す画像を表示することができる。よって、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd2[3]において、画像信号ＤGB2[3]を出力する。
また、この図に示す例では、画像信号ＤGA2[4]が生成されるのは、水平走査期間Ｈd2[4]の開始後である。このため、画像信号出力部２３は、画像信号ＤGA2[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd2[5]において、画像信号ＤGB2[4]を出力する。
そして、タイミングジェネレータ３２は、水平走査期間Ｈd2[4]を無効水平走査期間Ｈd-Ｄとする。
このように、図２４に例示する第２の状態では、時刻Ｔth以降において、画像処理に起因する表示の遅延が生じるため、表示垂直走査期間Ｆd2の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。つまり、第２の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔd及び延長垂直走査時間Ｔexの合計となる。
また、撮像部１０が撮像信号ＤS2を出力してから、表示部４０が画像信号Ｄ2の示す画像を表示するまでの遅延時間ΔＴ2は、時刻Ｔth以前は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間であるが、時刻Ｔth以後において、線Ｌ4が線Ｌ2よりも時間的に先行する場合には、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）のみとなる。このため、第２の状態に係る遅延時間ΔＴ2は、第１の状態に係る遅延時間ΔＴ1よりも短くなる。
次に、図２２及び図２５を参照しつつ、撮像垂直走査期間Ｆs3において撮像部１０が出力する撮像信号ＤS3（ＤGS3）と、表示垂直走査期間Ｆd3において画像信号生成部２０が表示部４０に出力する画像信号Ｄ3（ＤGB3）との関係を例にとって、第３の状態について説明する。
図２５は、撮像信号ＤS-J3[pJ]（撮像信号ＤGS3[m]）と、画像信号Ｄ3[m]（画像信号ＤGA3[m]及び画像信号ＤGB3[m]）との関係を説明するためのタイミングチャートである。
図２５に示すように、撮像部１０から、撮像信号ＤS-J3[m]及びＤS-J3[m+1]からなる撮像信号が出力される（便宜的にＤGS3[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS3[m]に基づいて画像信号ＤGA3[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA3[m]の経過後に画像信号ＤGA3[m]の生成を完了し、これをラインバッファ２２に格納する。
第３の状態においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA3[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部２１による画像信号ＤGA3[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
具体的には、図２５に示す例では、画像信号出力部２３は、画像信号ＤGA3[1]が生成され、出力許可パルスＰL[1]が出力された後の最初の水平走査期間Ｈd3[3]において、画像信号ＤGB3[1]を出力し、画像信号ＤGA3[2]が生成され、出力許可パルスＰL[2]が出力された後の最初の水平走査期間Ｈd3[5]において、画像信号ＤGB3[2]を出力し、画像信号ＤGA3[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd3[7]において、画像信号ＤGB3[3]を出力し、画像信号ＤGA3[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd3[9]において、画像信号ＤGB3[4]を出力する。なお、この場合、タイミングジェネレータ３２は、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩが開始されているが、出力許可パルスＰL[1]が出力されていないため、水平走査期間Ｈd3[1]、Ｈd3[2]では、無効水平走査期間Ｈd-Ｄを出力し、同様に、Ｈd3[4]、Ｈd3[6]、及び、Ｈd3[8]では、無効水平走査期間Ｈd-Ｄを出力する処理を行う。
このように、図２５に例示する第３の状態では、画像処理に起因する表示の遅延が生じているため、表示垂直走査期間Ｆd3の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。この結果、第３の状態では、表示部４０が、撮像垂直走査期間Ｆsに出力される撮像信号ＤSに同期した表示を行うことができるように、表示垂直走査期間Ｆdの時間長が水平走査期間Ｈdの精度で調整される。つまり、第３の状態では、概略的に見れば、表示垂直走査期間Ｆdは、撮像垂直走査期間Ｆsと略同じ時間となるように調整される。
また、第３の状態では、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示する。このため、撮像部１０が撮像信号ＤS3を出力してから、表示部４０が画像信号Ｄ3の示す画像を表示するまでの遅延時間ΔＴ3は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と略同じになる。具体的には、第３の状態では、撮像部１０が撮像信号ＤS-J[pJ]の出力を開始してから表示部４０が画像信号Ｄ[m]の示す画像の表示を開始するまでの遅延時間ΔＴ3と、画像処理部２１が画像信号Ｄ[m]の生成に要する画像処理時間ＵAと、を水平走査期間Ｈdの精度で等しくする。
このため、第３の状態では、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。この場合、遅延時間ΔＴ3は、第１の状態に係る遅延時間ΔＴ1よりも短くなり、且つ、第２の状態に係る遅延時間ΔＴ2以下となる。
また、上述のとおり、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短い。このため、車両用撮像表示装置１が第１の状態で動作して、表示部４０側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、撮像垂直走査期間Ｆs毎に当該表示の遅延は徐々に縮小する。つまり、車両用撮像表示装置１は、当初、第１の状態で動作する場合であっても、最終的には第３の状態での動作に移行し、第３の状態での動作が開始された後は、第３の状態での動作を維持することができる。この結果、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることができる。
＜４．第１実施形態の効果＞
本実施形態に係る車両用撮像表示装置１では、第１条件及び第２条件が充足された場合に画像信号出力部２３から画像信号Ｄ[m]を出力し、第１条件または第２条件が充足されない場合には、無効水平走査期間Ｈd-Ｄを挿入することで、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを水平走査期間Ｈdの精度で調整する。すなわち、本実施形態に係る車両用撮像表示装置１では、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示することができる。これにより、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。
また、本実施形態に係る車両用撮像表示装置１では、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することで、表示垂直走査期間Ｆdの時間長を可変とするとともに、撮像垂直走査期間Ｆsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。
また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間ＵAが変動する場合、撮像部１０をフレームレートが異なるものに交換する場合、または、表示部４０をフレームレートが異なるものに交換する場合等、撮像部１０及び表示部４０の位相差、撮像部１０のフレームレート、並びに、表示部４０で表示可能な最高のフレームレートのうち、一部または全部が変化する場合であっても、位相差ＰDを画像処理時間ＵA以下の長さに自動的に収束させることが可能となる。
また、本実施形態では、部分画像信号Ｄ-Lの示す画像と、部分画像信号Ｄ-Rの示す画像と、部分画像信号Ｄ-Cの示す画像と、を１つの表示部４０に設けられた表示領域ＡDに表示するため、３つの部分画像信号Ｄ-Jに１対１に対応して３つの表示部を設ける場合と比較して、車両用撮像表示装置１のコストを低く抑えることができる。
ところで、本実施形態では、撮像部１０が出力する撮像信号ＤSのうち、撮像信号ＤS-Lの画素数、撮像信号ＤS-Rの画素数、及び、撮像信号ＤS-Cの画素数の相違（図６参照）等に起因して、左側画像用画像処理部２１Lが部分画像信号Ｄ-L[m]を生成する画像処理に要する時間と、右側画像用画像処理部２１Rが部分画像信号Ｄ-R[m]を生成する画像処理に要する時間と、中央画像用画像処理部２１Cが部分画像信号Ｄ-C[m]を生成する画像処理に要する時間と、が互いに異なることとなる場合がある。
この場合、例えば、３つの部分画像信号Ｄ-Jに１対１に対応して３つの表示部を設け、各表示部に対して、各部分画像信号Ｄ-Jの示す画像を個別に表示する場合には、表示部毎にに表示タイミングが異なることとなる。このような場合、３つの表示部全体としての表示品位の低下につながる。
これに対して、本実施形態に係る画像処理回路１００では、部分画像信号Ｄ-L[m]、部分画像信号Ｄ-R[m]、及び、部分画像信号Ｄ-C[m]の全てが生成されたことを示す第１条件が充足された後に、これら３つの部分画像信号Ｄ-J[m]を、１つの画像信号Ｄ[m]として出力する。そして、表示部４０は、１つの表示領域ＡDにおいて、当該３つの部分画像信号Ｄ-J[m]からなる画像信号Ｄ[m]の示す画像を、同一の水平走査期間Ｈdにおいて表示する。これにより、表示領域ＡD-J毎に表示タイミングが異なることに起因する表示領域ＡD全体としての表示品位の低下を抑制することができる。
＜Ｂ．第２実施形態＞
上述した第１実施形態では、図１０に示すように、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することにより、画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整し、水平走査期間Ｈdの時間長は固定長としていた。
これに対して、第２実施形態に係る車両用撮像表示装置では、水平走査期間Ｈdの時間長を可変長として、画像信号Ｄ[m]の出力タイミングを、例えば表示ドットクロック信号ＤCLKの周期で調整する点において、第１実施形態に係る車両用撮像表示装置１と相違する。
以下、図２６乃至図２８を参照しつつ、第２実施形態に係る車両用撮像表示装置について説明する。なお、以下に例示する第２実施形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する（以下で説明する変形例についても同様）。
図２６は、第２実施形態に係る車両用撮像表示装置が備えるタイミング制御部３０（出力制御部３１及びタイミングジェネレータ３２）が生成する、出力制御信号ＣTRと、イネーブル信号ＤＥnbと、表示水平同期信号ＤＨsync2との関係を説明するための説明図である。
第２実施形態に係る車両用撮像表示装置が備えるタイミング制御部３０は、タイミングジェネレータ３２が、表示水平同期信号ＤＨsyncの代わりに、可変な周期の表示水平同期パルスＰlsＨを有する表示水平同期信号ＤＨsync2を生成し、表示垂直同期信号ＤＶsyncの変わりに、可変な周期の表示垂直同期パルスＰlsＶを有する表示垂直同期信号ＤＶsync2を生成する点を除き、第１実施形態に係る車両用撮像表示装置１（図１０参照）と同様に構成されている。
図２６に示すように、第２実施形態に係る出力制御部３１は、第１実施形態と同様に、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻（この図では、上述した第２の態様を採用しているため、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。
また、図２６に示すように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに出力許可パルスＰL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間ＴPの経過後に、表示水平同期信号ＤＨsync2として表示水平同期パルスＰlsＨを出力する。
このため、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了し、画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]よりも後に画像信号生成時刻ＴC[m]が到来する場合（Ｃase-2）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、表示準備判定時刻ＴB[m]から画像信号生成時刻ＴC[m]（画像処理判定時刻ＴA[m]）までの時間長である延長フロントポーチ時間ＴPXとの合計となる。
このように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が、画像信号Ｄ[m]の出力準備が完了したと判定し、出力制御信号ＣTRとして出力許可パルスＰL[m]を出力するのを待ち、出力許可パルスＰL[m]が出力されてから基準フロントポーチ時間ＴPだけ後に、水平走査期間Ｈd[m]を開始させる。換言すれば、第２実施形態に係るタイミングジェネレータ３２は、画像信号Ｄ[m]の出力準備が完了するまで、水平フロントポーチ期間ＤＨfを延長する。
このため、画像信号出力部２３は、たとえ画像処理部２１における画像信号Ｄ[m]の画像処理が遅延した場合であっても、水平走査期間Ｈd[m]において画像信号Ｄ[m]を出力することが可能となる。この場合、撮像部１０が撮像信号ＤGS[m]を出力してから、表示部４０が画像信号Ｄ[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号ＤCLKの精度で最小化されることになる。
図２７は、表示部４０における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態（すなわち、図２４で説明した第２の状態）における、第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。また、図２８は、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（すなわち、図２５で説明した第３の状態）における、第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。なお、図２７及び図２８では、図２２乃至図２５で説明した符号を流用する。
図２７では、例えば、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングまでに、画像信号ＤGA2[3]が生成される。このため、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングにおいて、出力許可パルスＰL[3]が出力される。この場合、水平走査期間Ｈd2[2]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、この図に示す例では、画像信号ＤGA2[4]が生成されるタイミングは、水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA2[4]が生成されるタイミングにおいて、出力許可パルスＰL[4]が出力される。この場合、水平走査期間Ｈd2[3]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[4]が出力されまでの時間）との、合計の時間長となる。すなわち、表示部４０における表示準備がボトルネックとなる表示の遅延が解消される時刻Ｔth以降は、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
また、図２８では、画像信号ＤGA3[m]が生成されるタイミングは、水平走査期間Ｈd3[m-1]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA3[m]が生成されるタイミングにおいて、出力許可パルスＰL[m]が出力される。この場合、水平走査期間Ｈd3[m]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd3[m]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[m]が出力されまでの時間）との、合計の時間長となる。すなわち、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（第３の状態）においては、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
なお、図２７及び図２８からも明らかなように、第２実施形態においては、無効水平走査期間Ｈd-Ｄは存在せず、全ての水平走査期間Ｈdは有効水平走査期間Ｈd-Ａとなる。
また、第２実施形態では、水平走査期間Ｈdが例えば表示ドットクロック信号ＤCLKの単位で可変となるため、表示垂直走査期間Ｆdも可変の時間長を有することとなる。
＜Ｃ．変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
＜変形例１＞
上述した実施形態では、表示部４０としてＨＵＤを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクター、液晶表示装置、ＯＬＥＤ（organic light emitting diode）表示装置、プラズマ表示装置であってもよい。
＜変形例２＞
上述した実施形態及び変形例では、画像処理回路１００と表示部４０との間のデータ伝送を低電圧差動（ＬＶＤＳ）のシリアルインターフェースによって行うが、パラレルインターフェースによって行うようにしてもよい。
＜変形例３＞
上述した実施形態及び変形例では、撮像垂直同期信号ＳＶsyncにより規定される撮像垂直走査期間Ｆsが、表示垂直同期信号ＤＶsync（またはＤＶsync2）により規定される表示垂直走査期間Ｆd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、撮像垂直走査期間Ｆsは、表示垂直走査期間Ｆdよりも短い時間長を有していてもよい。
＜変形例４＞
上述した実施形態及び変形例では、出力制御部３１は、画像処理部２１が出力する書込完了信号ＰtAと、画像信号出力部２３が出力する出力完了信号ＰtBと、に基づいて、画像信号Ｄ[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部３１がラインバッファ２２を周期的に参照することで、ラインバッファ２２に画像信号Ｄ[m]が記録されていること、及び、ラインバッファ２２から画像信号Ｄ[m-1]が読み出されたことを判定することにより、画像信号Ｄ[m]を出力する準備が完了したか否かを判定してもよい。
＜変形例５＞
上述した実施形態及び変形例では、ライン毎に画像処理時間ＵA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間ＵA[m]はライン間で同一であってもよい。
＜変形例６＞
上述した実施形態及び変形例では、撮像部１０が３個のイメージセンサー１２J（１２L、１２C、１２R）を備える場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、撮像部１０は、２以上のイメージセンサー１２Jを備えていればよい。
この場合、画像処理部２１は、２以上のイメージセンサー１２Jと１対１に対応する２以上の部分画像処理部２１Jを有していればよく、また、表示領域ＡDは、２以上のイメージセンサー１２Jと１対１に対応する２以上の表示領域ＡD-Jとして画像を表示できればよい。
また、この場合、表示対象ラインである第ｍ行の画像信号Ｄ[m]の画像処理が完了していることを示す第１条件は、２以上の各部分画像処理部２１Jが出力する部分書込完了信号ＰtA-Jの示す値の最小値ｍaが、表示対象ラインのライン番号ｍ以上である場合に充足される、とすればよい。すなわち、この場合、「画像処理ライン情報」は、２以上の部分画像処理部２１Jが生成した部分画像信号Ｄ-J[m]が表示されるラインのうち、最後に画像を表示するラインを示す情報となる。
＜変形例７＞
上述した実施形態及び変形例では、画像処理部２１において、左右方向について車両αに近い領域を車体に遠い領域と比較して相対的に拡大する水平方向縮小・拡大処理と、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する垂直方向縮小・拡大処理との両方を実行する態様について説明したが、そのいずれか一方を実行してもよいし、そのいずれも実行しないものであってもよい。
また、左右方向について車両αに近い領域を車両αから遠い領域と比較して相対的に拡大する水平方向縮小・拡大処理は、車両αから遠い領域を縮小する処理または車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する垂直方向縮小・拡大処理は、中央の領域を拡大する処理、上の領域を縮小する処理、または、下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上または下の領域を拡大する処理は必須ではなく、上または下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
なお、縮小・拡大処理において、各領域ＬR1〜ＬR6（図１６Ａ）や各領域ＢR1〜ＢR9（図１９）間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。
＜変形例８＞
上述した実施形態及び変形例では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域ＡreaT-Jの画像を表示領域ＡD-Jの大きさに合わせていったん拡大した後に、左右反転処理、水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理を実行するが、トリミングした画像を拡大することなく、左右反転処理を実行し、その後、水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理において、表示領域ＡD-Jの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。
＜変形例９＞
上述した実施形態及び変形例では、図３Ａ及び図３Ｂにおいて、左側表示領域ＡD-Lに表示される画像が拡大表示される拡大表示領域Ａrea-L、中央表示領域ＡD-Cに表示される画像が拡大表示される拡大表示領域Ａrea-C、及び、右側表示領域ＡD-Rに表示される画像が拡大表示される拡大表示領域Ａrea-Rの配置例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。
＜変形例１０＞
夜間の運転においては、サイドミラーやバックミラーに映る像の明度が不十分であるため運転者は危険を察知できない場合がある。そこで、上述した実施形態及び変形例で説明した画像処理に加えて、画像処理部２１が撮像信号ＤSに基づく画像の明度を補正する処理を実行するようにしてもよい。撮像信号ＤSに基づく画像の明度を上げる補正を実行することで、暗い場所で撮像した画像であっても、車両の安全な運転により有用な車両外部の画像を表示することが可能となる。
＜変形例１１＞
上述した実施形態及び変形例では、「撮像表示装置」として、車両αに搭載される車両用撮像表示装置を例示したが、「撮像表示装置」は、車両に搭載される車両用の撮像表示装置に限定されるものではない。例えば、プロジェクター装置、ＨＵＤ（ヘッドアップディスプレイ）、ＨＭＤ（ヘッドマウントディスプレイ）等の表示装置に用いるものであってもよい。
１……車両用撮像表示装置、１０……撮像部、１２……イメージセンサー、１２L……左後方用イメージセンサー、１２C……中央後方用イメージセンサー、１２R……右側後方用イメージセンサー、１３……タイミングジェネレータ、２０……画像信号生成部、２１……画像処理部、２１L……左側画像用画像処理部、２１C……中央画像用画像処理部、２１R……右側画像用画像処理部、２２……ラインバッファ、２３……画像信号出力部、３０……タイミング制御部、３１……出力制御部、３２……タイミングジェネレータ、３３……パラメーター送信部、４０……表示部、４１……コントローラー、４２……液晶パネル、５０……制御部、６０……操作部、１００……画像処理回路、ＡD……表示領域、ＡD-L……左側表示領域、ＡD-C……中央表示領域、ＡD-R……右側表示領域ＡD-R。

Claims (11)

  1. 被写体を撮像して撮像信号を出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、
    前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備する表示部と、
    前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部の各ラインで表示すべき画像を示す画像信号を、前記表示部に出力する画像信号生成部と、
    前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した部分画像信号に対応するラインのうち、最後に画像を表示するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
    を備え、
    前記タイミング制御部は、
    前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、
    前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    ことを特徴する撮像装置。
  2. 前記表示部は、
    一定周期で出力される表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
    前記画像信号生成部は、
    前記表示水平同期パルスに同期して前記画像信号を出力し、
    前記タイミング制御部は、
    前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
    その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記表示水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    ことを特徴とする、請求項１に記載の撮像装置。
  3. 前記表示部は、
    表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
    前記画像信号生成部は、
    前記表示水平同期パルスに同期して前記画像信号を出力し、
    前記タイミング制御部は、
    前記表示水平同期パルスを可変な周期で出力可能であり、
    前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
    その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    ことを特徴とする、請求項１に記載の撮像装置。
  4. 被写体を撮像して撮像結果を示す撮像信号を撮像同期信号に同期させて出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、
    前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備し、表示同期信号に同期して、前記撮像部よりも高いフレームレートで画像表示が可能な表示部と、
    前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域で表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部で表示すべき画像を示す画像信号を、前記表示同期信号に同期させて前記表示部に出力する画像信号生成部と、
    前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
    を備え、
    前記撮像同期信号のフレームの開始から前記表示同期信号のフレームの開始までの時間を位相差とし、
    前記撮像部のフレームレートを第１フレームレートとし、
    前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、
    前記タイミング制御部は、
    前記位相差が、所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、
    前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、
    ことを特徴とする撮像装置。
  5. 前記タイミング制御部は、
    前記位相差が前記所定時間より長い場合には、
    前記Ｋ個の部分画像信号を生成した後、前記Ｋ個の部分画像信号の示す画像が前記表示部で表示可能となるまで待機して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、
    ことを特徴とする請求項４に記載の撮像装置。
  6. 前記表示同期信号は、
    一定周期の表示水平同期パルスを含み、
    前記タイミング制御部は、
    前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、
    前記画像信号生成時刻の後に最初に出力される表示水平同期パルスに同期して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、
    ことを特徴とする、請求項４または５に記載の撮像装置。
  7. 前記タイミング制御部は、
    可変な周期の表示水平同期パルスを含む前記表示同期信号を出力し、
    前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、
    前記画像信号生成時刻までは、前記表示水平同期パルスの出力を停止するとともに、前記Ｋ個の部分画像信号からなる画像信号の出力を停止し、
    前記画像信号生成時刻の後は、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記Ｋ個の部分画像信号からなる画像信号を出力する、
    ことを特徴とする、請求項４または５に記載の撮像装置。
  8. 前記表示部は、車両の内部に設けられ、
    前記撮像素子は、前記車両の外部を撮像する、
    ことを特徴とする、請求項１乃至７のうち何れか１項に記載の撮像装置。
  9. 前記撮像部が具備するＫ個の撮像素子は、
    前記車両の後方の被写体を撮像する第１の撮像素子と、
    前記車両の左後方の被写体を撮像する第２の撮像素子と、
    前記車両の右後方の被写体を撮像する第３の撮像素子と、を含み、
    前記表示部が具備するＫ個の表示領域は、
    前記第１の撮像素子に対応する第１の表示領域と、
    前記第２の撮像素子に対応し、前期第１の表示領域よりも左側に設けられる第２の表示領域と、
    前記第３の撮像素子に対応し、前期第１の表示領域よりも右側に設けられる第３の表示領域と、を含む、
    ことを特徴とする、請求項８に記載の撮像装置。
  10. 前記表示部と、
    請求項１乃至９のうち何れか１項に記載の撮像装置と、
    を備える、
    ことを特徴とする撮像表示装置。
  11. 請求項１０に記載の撮像表示装置を備えることを特徴とする車両。
JP2015136740A 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両 Active JP6582644B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015136740A JP6582644B2 (ja) 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両
CN201580035395.1A CN106537903B (zh) 2014-08-11 2015-08-07 拍摄装置、拍摄显示装置以及车辆
US15/502,399 US10389920B2 (en) 2014-08-11 2015-08-07 Imaging device, imaging display apparatus, and vehicle
PCT/JP2015/003985 WO2016024396A1 (ja) 2014-08-11 2015-08-07 撮像装置、撮像表示装置、及び、車両

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014163407 2014-08-11
JP2014163407 2014-08-11
JP2015136740A JP6582644B2 (ja) 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両

Publications (2)

Publication Number Publication Date
JP2016040163A true JP2016040163A (ja) 2016-03-24
JP6582644B2 JP6582644B2 (ja) 2019-10-02

Family

ID=55304033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015136740A Active JP6582644B2 (ja) 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両

Country Status (4)

Country Link
US (1) US10389920B2 (ja)
JP (1) JP6582644B2 (ja)
CN (1) CN106537903B (ja)
WO (1) WO2016024396A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017190109A (ja) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 車両用視認装置
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
US10672276B2 (en) 2017-02-07 2020-06-02 Seiko Epson Corporation Image display system and riding device

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP2017126811A (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
US10640216B2 (en) * 2016-01-27 2020-05-05 Thales Avionics, Inc. Projection cassette assemblies and related systems for use with aircraft seats
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
CN109891875B (zh) * 2016-11-08 2021-11-16 索尼公司 图像传送设备、方法、系统和存储介质
DE102017218722A1 (de) * 2017-10-19 2019-04-25 Robert Bosch Gmbh Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
KR102266640B1 (ko) * 2017-11-30 2021-06-18 현대모비스 주식회사 클러스터 일체형 헤드업 디스플레이 장치
CN111801239A (zh) * 2018-03-02 2020-10-20 松下知识产权经营株式会社 显示系统
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
JP7184591B2 (ja) * 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7242332B2 (ja) * 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP7349859B2 (ja) * 2019-09-18 2023-09-25 株式会社Subaru 車外モニタ装置
JP2021093628A (ja) * 2019-12-10 2021-06-17 トヨタ自動車株式会社 車両用周辺表示装置
GB2596111B (en) * 2020-06-18 2023-03-22 Dualitas Ltd Frame rate synchronization
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
CN114666455A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 拍摄控制方法、装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2014103647A (ja) * 2012-11-21 2014-06-05 Seiko Epson Corp 撮影装置、撮影装置の制御方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812332A (en) 1989-09-28 1998-09-22 Ppg Industries, Inc. Windshield for head-up display system
JPH058661A (ja) 1991-07-02 1993-01-19 Kansei Corp 車両用ヘツドアツプデイスプレー装置
CA2076420C (en) 1991-08-20 1999-07-13 Glenn Edward Freeman Windshield for head-up display system
JP3240074B2 (ja) 1992-11-06 2001-12-17 矢崎総業株式会社 車両用表示装置
JP3400584B2 (ja) 1994-12-19 2003-04-28 本田技研工業株式会社 車載用表示装置
JPH09254681A (ja) 1996-01-16 1997-09-30 Murakami Corp 車両用画像表示装置
JPH10166943A (ja) 1996-12-05 1998-06-23 Horigome Tatsuro 車両用外界モニター装置
JPH10305742A (ja) 1997-05-07 1998-11-17 Suzuki Motor Corp 車両用ヘッドアップディスプレー装置
JP3154676B2 (ja) 1997-06-11 2001-04-09 松下電器産業株式会社 車載カメラ映像合成透視装置
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
JPH11255020A (ja) 1998-03-11 1999-09-21 Toshio Hiura 自動車の小型後方安全確認装置
JP2000177483A (ja) 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の外部監視装置
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2000131642A (ja) 1999-11-01 2000-05-12 Kansei Corp ヘッドアップディスプレ―装置
JP4280648B2 (ja) 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
JP2005284029A (ja) 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd マルチビジョン装置
JP4706896B2 (ja) 2004-09-07 2011-06-22 アイシン精機株式会社 広角画像の補正方法及び車両の周辺監視システム
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP2006248374A (ja) 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
US7925973B2 (en) * 2005-08-12 2011-04-12 Brightcove, Inc. Distribution of content
JP2007110572A (ja) 2005-10-14 2007-04-26 Alpine Electronics Inc 複数カメラ画像合成表示装置
US7974771B2 (en) * 2006-09-22 2011-07-05 Nortel Networks Limited Method and apparatus for enabling commuter groups
JP2008094292A (ja) 2006-10-13 2008-04-24 Nissan Motor Co Ltd 車両用表示装置及び情報表示方法
JP2008126973A (ja) 2006-11-24 2008-06-05 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ部構造
JP4941760B2 (ja) 2007-09-24 2012-05-30 株式会社デンソー 車両周辺監視装置
DE102008060231A1 (de) * 2007-12-06 2009-06-10 Continental Teves Ag & Co. Ohg Verwendung des WLAN-Standards für eine C2C-Kommunikation durch Hinzufügen von neuen Pakettypen
EP2241075B1 (de) * 2007-12-06 2015-11-18 Continental Teves AG & Co. oHG Verwendung des wlan-standards für eine c2c-kommunikation durch hinzufügen von neuen pakettypen
CN101896953B (zh) * 2007-12-11 2014-07-02 大陆-特韦斯贸易合伙股份公司及两合公司 经由移动通信的车辆的车辆相关数据传输
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
JP4695665B2 (ja) 2008-03-31 2011-06-08 株式会社村上開明堂 発光表示装置付きバックミラー
WO2009127524A1 (de) * 2008-04-14 2009-10-22 Continental Teves Ag & Co. Ohg Ortungssignal für einsatzkräfte
JP2010221899A (ja) 2009-03-24 2010-10-07 Murakami Corp モニター付車両用ミラー
US8995327B2 (en) * 2009-12-02 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Broadcasting messages in multi-channel vehicular networks
JP2011199735A (ja) * 2010-03-23 2011-10-06 Toshiba Corp 画像処理装置および画像処理システム
WO2011118125A1 (ja) 2010-03-26 2011-09-29 本田技研工業株式会社 車両の運転を支援するための装置
JP2011213186A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子サイドミラー装置
JP2011213185A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子ルームミラー装置
US8937673B2 (en) * 2010-05-18 2015-01-20 Seiko Epson Corporation Image-displaying device and display timing control circuit
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
JP5757410B2 (ja) 2011-05-17 2015-07-29 日本精機株式会社 車両用表示装置及びその表示方法
US9295375B2 (en) * 2012-09-27 2016-03-29 Hrayr Karnig Shahinian Programmable spectral source and design tool for 3D imaging using complementary bandpass filters
US9319590B2 (en) 2012-11-21 2016-04-19 Seiko Epson Corporation Image capturing device including display control section that causes display data to be displayed in first and second display regions of display screen, and method for controlling image capturing device
JP6438460B2 (ja) * 2013-05-17 2018-12-12 アヴァンティス メディカル システムズ， インコーポレイテッド 二次撮像内視鏡デバイス

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2014103647A (ja) * 2012-11-21 2014-06-05 Seiko Epson Corp 撮影装置、撮影装置の制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017190109A (ja) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 車両用視認装置
WO2017179389A1 (ja) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 車両用視認装置
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
US10672276B2 (en) 2017-02-07 2020-06-02 Seiko Epson Corporation Image display system and riding device
US11475771B2 (en) 2017-02-07 2022-10-18 Seiko Epson Corporation Image display system and riding device
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法

Also Published As

Publication number Publication date
US20170237882A1 (en) 2017-08-17
CN106537903A (zh) 2017-03-22
JP6582644B2 (ja) 2019-10-02
WO2016024396A1 (ja) 2016-02-18
US10389920B2 (en) 2019-08-20
CN106537903B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
JP6582644B2 (ja) 撮像装置、撮像表示装置、及び、車両
JP6582642B2 (ja) 車両用撮像装置、車両用撮像表示システム、及び車両
US20100295837A1 (en) Display device and display method
JP4561353B2 (ja) 映像信号処理装置とその方法及び車載カメラシステム
JP4652947B2 (ja) 画像表示プログラム、画像表示装置および画像表示方法
US10051245B2 (en) Display system and display apparatus
JP6524606B2 (ja) 表示制御装置及び表示装置
JP6354243B2 (ja) 撮像装置、画像処理装置、表示制御装置、及び撮像表示装置
JP6601020B2 (ja) 撮像表示装置
US10341538B2 (en) Display system and display method
JP6507518B2 (ja) 画像処理装置及び撮像表示システム
JP2005354175A (ja) 映像変換装置
JP2010204262A (ja) 表示処理装置
JP6645047B2 (ja) 撮像装置、画像処理装置、及び、撮像表示装置
JP2008270937A (ja) 画像処理コントローラ、電子機器及び画像処理方法
JP6365097B2 (ja) 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置
JP4883488B2 (ja) 車両用表示装置
WO2023062976A1 (ja) 表示装置及び電子機器
TWM506429U (zh) 側視行車影像系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180904

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6582644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150