CN106537903B - 拍摄装置、拍摄显示装置以及车辆 - Google Patents

拍摄装置、拍摄显示装置以及车辆 Download PDF

Info

Publication number
CN106537903B
CN106537903B CN201580035395.1A CN201580035395A CN106537903B CN 106537903 B CN106537903 B CN 106537903B CN 201580035395 A CN201580035395 A CN 201580035395A CN 106537903 B CN106537903 B CN 106537903B
Authority
CN
China
Prior art keywords
signal
display
image
row
picture signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580035395.1A
Other languages
English (en)
Other versions
CN106537903A (zh
Inventor
盐原隆一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN106537903A publication Critical patent/CN106537903A/zh
Application granted granted Critical
Publication of CN106537903B publication Critical patent/CN106537903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明缩短从拍摄至显示的延迟时间。拍摄装置包括：拍摄部，具备拍摄被拍摄体并输出拍摄信号的多个拍摄元件；显示部，具备与多个拍摄元件对应的多个显示区域；图像信号生成部，基于从各拍摄元件输出的拍摄信号生成表示应由各显示区域的各行显示的图像的部分图像信号，将由多个部分图像信号构成的、表示应由显示部的各行显示的图像的图像信号向显示部输出；以及定时控制部，在与已完成的向显示部输出的图像信号对应的行表示领先于显示对象行而显示图像的行，并且与图像信号生成部生成的部分图像信号对应的行中的、最后显示图像的行表示在显示对象行以后显示图像的行的情况下，控制图像信号生成部以输出表示应该由显示对象行显示的图像的图像信号。

Description

拍摄装置、拍摄显示装置以及车辆
技术领域
本发明涉及拍摄装置、拍摄显示装置以及车辆。
背景技术
现有已知将多个图像信号所示的图像合成而显示于显示区域的技术(例如，专利文献1)。
这种将多个图像信号合成而显示的技术，作为将显示车辆外部的情况的图像显示于车辆室内而辅助车辆的驾驶的拍摄显示装置使用。例如，专利文献2公开了如下技术：将拍摄车辆外部的多个图像传感器(拍摄元件)所输出的多个拍摄信号所示的图像合成并使合成的图像显示于设置于车辆内部的显示部。
现有技术文献
专利文献
专利文献1：日本特开2005-284029号公报
专利文献2：日本特开2009-075988号公报
发明内容
(发明所要解决的课题)
但是，在显示的图像为动画的情况下，实时地显示图像传感器的拍摄结果的必要性高。特别是在车辆用的拍摄显示装置中，为了安全的车辆的行驶，严格地要求实时地显示拍摄结果。
但是，由于图像传感器和显示部为不同的装置，因此，通常与不同的基准信号同步地动作。因此，有时拍摄信号的帧的开始和图像信号的帧的开始错时，延迟时间变长。例如，当紧接着图像信号的帧开始之后拍摄信号的帧开始时，会发生图像信号的一帧期间以上的延迟时间。
并且，多数情况是，合成多个图像传感器所输出的多个拍摄信号所示的图像而显示的情况，与显示单一的图像传感器所输出的拍摄信号所示的图像的情况相比较，从拍摄至显示的延迟时间变长。
本发明鉴于以上情况而作出，解决课题之一为在显示基于多个图像传感器所输出的多个拍摄信号的图像的情况下，缩短从拍摄至显示的延迟时间。
(解决课题的技术方案)
为了解决以上的课题，本发明涉及的拍摄装置，其特征在于，包括：拍摄部，具备K(K为2以上的自然数)个拍摄被拍摄体并输出拍摄信号的拍摄元件；显示部，具备与所述拍摄部的K个拍摄元件一一对应的K个显示区域；图像信号生成部，基于从所述拍摄部的第j个(j为满足1≤j≤K的自然数)拍摄元件输出的拍摄信号，生成表示应该由所述显示部的第j个显示区域的各行显示的图像的部分图像信号，将由与所述K个显示区域对应的K个部分图像信号构成的、表示应该由所述显示部的各行显示的图像的图像信号向所述显示部输出；定时控制部，基于表示与已完成的从所述图像信号生成部向所述显示部的输出的图像信号对应的行的显示输出行信息和表示与所述图像信号生成部生成的部分图像信号对应的行中的、最后显示图像的行的图像处理行信息，控制所述图像信号生成部输出所述图像信号的定时，所述定时控制部执行：在所述显示输出行信息表示领先于显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行中显示图像的定时以后显示图像的行的情况下，以输出表示应该由所述显示对象行显示的图像的图像信号的方式控制所述图像信号生成部。
根据本发明，在生成构成显示对象行的图像信号的全部的部分图像信号的情况下，当领先于显示对象行而显示图像的领先显示行的图像信号的输出完成时，能够输出显示对象行的图像信号。另一方面，当领先显示行的图像信号的输出完成时，在没有进行显示对象行的图像信号的生成的情况下，在生成显示对象行的图像信号的定时，能够输出显示对象行的图像信号。也就是说，根据本发明，在变为能够输出显示对象行的图像信号的定时，能够输出显示对象行的图像信号。因此，能够根据每行的图像处理时间，控制各行的图像信号向显示部输出的定时。从而，与不考虑每行的图像处理时间的变动而确定各行的图像信号的输出定时的情况相比较，能够减小从拍摄部的拍摄起至显示部的显示止的延迟。
并且，在上述的拍摄装置中，也可以以如下为特征：所述显示部，能够在各个由以一定周期输出的显示水平同步脉冲确定的期间内将图像显示于各行，所述图像信号生成部，与所述显示水平同步脉冲同步地输出所述图像信号，所述定时控制部，在所述显示输出行信息表示领先于所述显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行以前显示图像的行的情况下，以停止表示应该由所述显示对象行显示的图像的图像信号的输出的方式控制所述图像信号生成部，之后，以与所述图像处理行信息表示的行成为所述显示对象行之后输出的所述显示水平同步脉冲同步地、输出表示应该由所述显示对象行显示的图像的图像信号的方式，控制所述图像信号生成部。
根据该方式，能够以由显示水平同步脉冲确定的水平扫描期间的精度，控制各行的图像信号的输出定时。因此，能够防止从拍摄至显示的间隔例如变为一帧周期期间以上的期间这样的大的延迟的发生。
并且，在上述的拍摄装置中，也可以以如下为特征：所述显示部，能够在各个由显示水平同步脉冲确定的期间内将图像显示于各行，所述图像信号生成部，与所述显示水平同步脉冲同步地输出所述图像信号，所述定时控制部，能够以可变的周期输出所述显示水平同步脉冲，在所述显示输出行信息表示领先于所述显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行以前显示图像的行的情况下，以停止所述显示水平同步脉冲的输出的同时，停止表示应该由所述显示对象行显示的图像的图像信号的输出的方式控制所述图像信号生成部，之后，在所述图像处理行信息表示的行成为所述显示对象行的情况下，以输出所述显示水平同步脉冲的同时，与该被输出的显示水平同步脉冲同步地输出表示应该由所述显示对象行显示的图像的图像信号的方式控制所述图像信号生成部。
根据该方式，由显示水平同步脉冲确定的水平扫描期间的时长，根据变为能够输出各行的图像信号的定时确定。因此，在与每行的图像处理时间对应的定时，能够将各行的图像信号向显示部输出，与不考虑每行的图像处理时间的变动而确定各行的图像信号的输出定时的情况相比较，能够减小从拍摄起至显示止的延迟。
此外，本发明涉及的拍摄装置，其特征在于，包括：拍摄部，具备K(K为2以上的自然数)个拍摄被拍摄体并与拍摄同步信号同步地输出表示拍摄结果的拍摄信号的拍摄元件；显示部，具备与所述拍摄部的K个拍摄元件一一对应的K个显示区域，能够与显示同步信号同步地、以比所述拍摄部高的帧率进行图像显示；图像信号生成部，基于从所述拍摄部的第j个(j为满足1≤j≤K的自然数)拍摄元件输出的拍摄信号，生成表示应该由所述显示部的第j个显示区域显示的图像的部分图像信号，将由与所述K个显示区域对应的K个部分图像信号构成的、表示应该由所述显示部显示的图像的图像信号与所述显示同步信号同步地向所述显示部输出；定时控制部，控制所述图像信号生成部输出所述图像信号的定时，在将从所述拍摄同步信号的帧的开始起至所述显示同步信号的帧的开始止的时间作为相位差，将所述拍摄部的帧率作为第一帧率，将能够由所述显示部显示的最高的帧率作为第二帧率时，所述定时控制部能够执行：第一定时控制，在所述相位差比规定时间长的情况下，通过以所述显示部的帧率成为所述第二帧率的方式使所述图像信号生成部输出所述图像信号，逐渐减小所述相位差；第二定时控制，在所述相位差变为所述规定时间以下以后，通过以所述显示部的帧率成为所述第一帧率的方式使所述图像信号生成部输出所述图像信号。
在本发明中，在拍摄部和显示部的相位差比规定时间长的情况下，通过以比拍摄部高的帧率即第二帧率输出图像信号，在相当于显示部的帧期间和拍摄部的帧期间的差分的逐个期间缩小相位差。并且，在相位差变为规定时间以下以后，以显示部的帧率变为作为拍摄部的帧率的第一帧率的方式，使图像信号同步于拍摄信号并输出。
因此，在相位差大于规定时间的情况下，能够逐步地缩短相位差直至变为规定时间以下为止，在相位差收敛至规定时间以下以后，能够维持该相位差。从而，能够维持从拍摄起至显示止的延迟时间被最小化的状态。
此外，所谓规定时间例如可以为基于生成相当于显示部的一行的图像信号所需要的时间所确定的时间。
并且，在上述的拍摄装置中，其特征可以在于，所述定时控制部，在所述相位差比所述规定时间长的情况下，在生成所述K个部分图像信号之后，等待直至能够由所述显示部显示所述K个部分图像信号表示的图像为止，将由所述K个部分图像信号构成的图像信号输出至所述显示部。
根据该方式，通过等待直至能够由显示部显示图像信号表示的图像为止，以显示部的帧率变为第二帧率的方式输出图像信号，因此，能够逐步地缩短拍摄部和显示部的相位差。
并且，在上述的拍摄装置中，其特征可以在于，所述显示同步信号，包含一定周期的显示水平同步脉冲，所述定时控制部，在所述相位差成为所述规定时间以下以后，在完成所述K个部分图像信号的生成的图像信号生成时刻变为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后的情况下，与在所述图像信号生成时刻之后最初输出的显示水平同步脉冲同步地，将由所述K个部分图像信号构成的图像信号向所述显示部输出。
根据该方式，能够使从图像信号的生成至输出的间隔为由显示水平同步脉冲确定的水平扫描期间以下。也就是说，能够以由显示水平同步脉冲确定的水平扫描期间的精度控制图像信号的输出定时。因此，在对应于图像处理的完成的定时，能够将图像信号向显示部输出，与不考虑图像处理时间的变动而确定图像信号的输出定时的情况相比较，能够减小从拍摄起至显示止的延迟。
并且，在上述的拍摄装置中，其特征可以在于，所述定时控制部，输出包含可变的周期的显示水平同步脉冲的所述显示同步信号，在所述相位差变为所述给定时间以下以后，当所述K个部分图像信号的生成完成的图像信号生成时刻为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后时，在停止所述显示水平同步脉冲的输出的同时，停止由所述K个部分图像信号构成的图像信号的输出，直至所述图像信号生成时刻为止，在所述图像信号生成时刻以后，在输出所述显示水平同步脉冲的同时，与该被输出的显示水平同步脉冲同步地输出由所述K个部分图像信号构成的图像信号。
根据该方式，根据能够输出图像信号的定时确定由显示水平同步脉冲确定的水平扫描期间的时长。因此，在对应于图像处理的完成的定时，能够将图像信号向显示部输出，与不考虑图像处理时间的变动而确定图像信号的输出定时的情况相比较，能够减小从拍摄起至显示止的延迟。
并且，在上述的拍摄装置中，其特征可以在于，所述显示部设置于车辆的内部，所述拍摄元件拍摄所述车辆的外部。
根据该方式，由于车辆外部的状态能够实时地显示于车辆内部的显示部，因此，能够进行车辆的安全行驶。
并且，在上述的拍摄装置中，其特征可以在于，所述拍摄部所具备的K个拍摄元件包含：拍摄所述车辆的中央后方的被拍摄体的第一拍摄元件；拍摄所述车辆的左后方的被拍摄体的第二拍摄元件；拍摄所述车辆的右后方的被拍摄体的第三拍摄元件，所述显示部所具备的K个显示区域包含：对应于所述第一拍摄元件的第一显示区域；对应于所述第二拍摄元件的、与所述第一显示区域相比设置于左侧的第二显示区域；对应于所述第三拍摄元件的、与所述第一显示区域相比设置于右侧的第三显示区域。
本方式涉及的拍摄装置，能够代替后视镜、侧方后视镜等而使用，驾驶者能够可见确认车辆的安全行驶所必要的车辆外部的状态。从而，由于能够进行富于设计性的车辆(车内)的设计，并且，不再需要将侧方后视镜安装于车体外面，因此，行驶时的风压也得以降低。
此外，本发明涉及的拍摄显示装置，其特征在于，具备上述拍摄装置。并且，本发明涉及的车辆，其特征在于，具备上述拍摄显示装置。
附图说明
图1为示出根据本发明的第一实施方式的车辆用拍摄显示装置1的结构的框图。
图2为示出左侧后方用的图像传感器12L、中央后方用的图像传感器12C及右侧后方用的图像传感器12R的配置例的说明图。
图3A为用于说明显示区域AD所显示的图像在车辆α的车内的显示位置的说明图。
图3B为用于说明显示区域AD所显示的图像在车辆α的车内的显示位置的说明图。
图4为示出显示部40的结构例的图。
图5为示出车辆用拍摄显示装置1的结构的框图。
图6为用于说明拍摄信号DS和显示区域AD的关系的说明图。
图7为用于说明车辆用拍摄显示装置1的动作的时序图。
图8A为用于说明车辆用拍摄显示装置1的动作的时序图。
图8B为用于说明车辆用拍摄显示装置1的动作的时序图。
图8C为用于说明车辆用拍摄显示装置1的动作的时序图。
图8D为用于说明车辆用拍摄显示装置1的动作的时序图。
图9为用于说明显示区域AD和用于将显示区域AD显示于显示部的时序图的说明图。
图10为用于说明车辆用拍摄显示装置1的动作的时序图。
图11A为用于说明车辆用拍摄显示装置1的动作的时序图。
图11B为用于说明车辆用拍摄显示装置1的动作的时序图。
图12为示出显示部40的结构的框图。
图13为示出部分图像处理部21J的结构的框图。
图14为用于说明畸变校正处理的说明图。
图15A为用于说明修整处理的说明图。
图15B示出修整处理后的图像的一例的图。
图15C为示出通过左右反转处理而生成的图像的一例的图。
图16A为用于说明缩小/放大处理的说明图。
图16B为用于说明水平方向缩小/放大处理的说明图。
图16C为用于说明垂直方向缩小/放大处理的说明图。
图17为示出缩小/放大处理后的图像的一例的图。
图18为示出缩小/放大处理后的图像的一例的图。
图19为用于说明缩小/放大处理的说明图。
图20为用于说明图像信号D[m]和拍摄信号DS-J[pJ]的关系的时序图。
图21为用于说明拍摄信号DS的输出定时的时序图。
图22为用于说明车辆用拍摄显示装置1的动作的时序图。
图23为用于说明车辆用拍摄显示装置1的动作的时序图。
图24为用于说明车辆用拍摄显示装置1的动作的时序图。
图25为用于说明车辆用拍摄显示装置1的动作的时序图。
图26为用于说明本发明的第二实施方式涉及的车辆用拍摄显示装置的动作的时序图。
图27为用于说明根据第二实施方式的车辆用拍摄显示装置的动作的时序图。
图28为用于说明根据第二实施方式的车辆用拍摄显示装置的动作的时序图。
具体实施方式
参照附图说明用于实施本发明的方式。不过，在各图中，适当地使各部分的尺寸及比例尺与实际不同。并且，以下叙述的实施方式由于为本发明的优选的具体例，因此，附加了技术上优选的各种限定，在以下的说明中只要没有特别地限定本发明的记载，本发明的保护范围就不限于以下的方式。
<A、第一实施方式>
以下在第一实施方式中例示车辆用拍摄显示装置1作为“拍摄显示装置”。
<1、车辆用拍摄显示装置的整体结构>
图1为示出车辆用拍摄显示装置1的结构的概略的框图。车辆用拍摄显示装置1为在驾驶者驾驶机动车或电车等的车辆时，显示用于辅助车辆的驾驶的图像的装置。
如图1所示，车辆用拍摄显示装置1具备：拍摄车辆的外部并输出拍摄信号DS的拍摄部10、对于从拍摄部10输出的拍摄信号DS实施图像处理而生成图像信号D的图像处理电路100、显示图像信号D所示的图像的显示部40、用于输入有关拍摄信号DS的图像处理的指示等的操作部60、控制车辆用拍摄显示装置1的整体的动作的控制部50。
在车辆用拍摄显示装置1中，拍摄部10、图像处理电路100和控制部50为“拍摄装置”的一例。
拍摄部10具备：拍摄位于车辆的左侧后方区域的拍摄体并输出示出拍摄结果的拍摄信号DS-L的左侧后方用的图像传感器12L、拍摄位于车辆的后方区域的拍摄体并输出示出拍摄结果的拍摄信号DS-C的中央后方用的图像传感器12C、拍摄位于车辆的右侧后方区域的拍摄体并输出示出拍摄结果的拍摄信号DS-R的右侧后方用的图像传感器12R。也就是说，本实施方式涉及的拍摄部10所输出的拍摄信号DS包含：拍摄信号DS-L、拍摄信号DS-C以及拍摄信号DS-R。
此外，中央后方用的图像传感器12C为“第一拍摄元件”的一例，左侧后方用的图像传感器12L为“第二拍摄元件”的一例，右侧后方用的图像传感器12R为“第三拍摄元件”的一例。并且，将第一拍摄元件、第二拍摄元件以及第三拍摄元件总称为“拍摄元件”。也就是说，本实施方式涉及的车辆用拍摄显示装置1具备三个拍摄元件。
图2为示出车辆α中的左侧后方用的图像传感器12L、中央后方用的图像传感器12C以及右侧后方用的图像传感器12R的配置例的说明图。
如图2所示，左侧后方用的图像传感器12L配置于车辆α的左前柱部的外侧表面附近(在图示例中为现有的设置有左侧后视镜的位置)，拍摄车辆α的左侧后方区域LR。右侧后方用的图像传感器12R配置于车辆α的右前柱部的外侧表面附近(在图示例中为现有的设置有右侧后视镜的位置)，拍摄车辆α的右侧后方区域RR。中央后方用的图像传感器12C配置于车辆α的后方端的车辆宽度方向的中点位置附近(在图示例中为后窗的下侧)，拍摄车辆的后方区域BR。此外，图示的配置例为一例，在不改变本发明的主旨的范围内能够适当地变更。
图像处理电路100对于拍摄信号DS-L实施图像处理生成部分图像信号D-L，对于拍摄信号DS-C实施图像处理生成部分图像信号D-C，对于拍摄信号DS-R实施图像处理生成部分图像信号D-R。并且，图像处理电路100将生成的由部分图像信号D-L、部分图像信号D-C以及部分图像信号D-R构成的图像信号D向显示部40输出。也就是说，本实施方式涉及的图像处理电路100输出的图像信号D包含部分图像信号D-L、部分图像信号D-C以及部分图像信号D-R。
显示部40具备具有显示图像信号D所示的图像的显示区域AD的液晶面板42。
液晶面板42所具备的显示区域AD包括：用于显示图像信号D中的部分图像信号D-C所示的图像的中央显示区域AD-C(第一显示区域)、用于显示部分图像信号D-L所示的图像的左侧显示区域AD-L(第二显示区域)、用于显示部分图像信号D-R所示的图像的右侧显示区域AD-R(第三显示区域)。也就是说，中央显示区域AD-C代替现有的后视镜而显示后方区域BR的图像，左侧显示区域AD-L代替现有的左侧后视镜而显示左侧后方区域LR的图像，右侧显示区域AD-R代替现有的右侧后视镜而显示右侧后方区域RR的图像。
此外，以下为了方便说明，以“J”表示附加于各种符号的后缀字母“L”、“C”、“R”中的任意一个字母。
具体而言，在没有必要区分左侧后方用图像传感器12L、中央后方用图像传感器12C以及右侧后方用图像传感器12R时，将其中的任意一个总称为“图像传感器12J”。并且，在没有必要区分拍摄信号DS-L、拍摄信号DS-C以及拍摄信号DS-R时，将其中的任意一个总称为“拍摄信号DS-J”。并且，在没有必要区分部分图像信号D-L、部分图像信号D-C以及部分图像信号D-R时，将其中的任意一个总称为“部分图像信号D-J”。在没有必要区分左侧显示区域AD-L、中央显示区域AD-C以及右侧显示区域AD-R时，将其中的任意一个总称为“显示区域AD-J”。
图3A示出显示区域AD所显示的图像在车辆α的车内的显示位置。如该图所示，在左侧显示区域AD-L显示的图像，在放大显示区域Area-L被放大显示；在中央显示区域AD-C显示的图像，在放大显示区域Area-C被放大显示；在右侧显示区域AD-R显示的图像，在放大显示区域Area-R被放大显示。此外，也可以左侧显示区域AD-L与放大显示区域Area-L一致，中央显示区域AD-C与放大显示区域Area-C一致，右侧显示区域AD-R与放大显示区域Area-R一致。
放大显示区域Area-L、放大显示区域Area-C以及放大显示区域Area-R配置于驾驶席的前方，以便由显示区域AD所包含的各显示区域AD-J(AD-L、AD-C、AD-R)所显示的图像易于被驾驶者查看。此外，从驾驶者来看，以放大显示区域Area-L比放大显示区域Area-C靠左侧的方式配置，以放大显示区域Area-R比放大显示区域Area-C靠右侧的方式配置。也就是说，从驾驶者来看，放大显示区域Area-L、放大显示区域Area-C以及放大显示区域Area-R按照现有的右侧后视镜、后视镜以及左侧后视镜的顺序排列。因此，对于习惯了现有的右侧后视镜、后视镜以及左侧后视镜的驾驶者来说，能够使其查看没有异样感的图像。
在图3A所示的示例中，液晶面板42配置于驾驶席前方的前窗下的仪表板内，以对应于图像信号D的图像通过前窗下部的带状的放大显示区域(Area-L、Area-C、Area-R)被查看的方式显示。
此外，图3A所示的包含放大显示区域的液晶面板42的配置只不过为一例，例如，可以将放大显示区域配置于车辆α的现有的设置有仪表板(仪表组板)的区域。或者，包含放大显示区域的液晶面板42，也可以如图3B所例示的，在车辆α的现有的仪表板(仪表组板)的上部部分以与图3A比较横向宽度较窄的形状设置于前窗的下侧。或者，放大显示区域也可以作为液晶面板或有机EL面板设置于车辆α的现有的后视镜的部分。
此外，如图3A及图3B所例示，在本实施方式涉及的车辆用拍摄显示装置1中，在拍摄车辆α的左侧后方区域LR、车辆α的后方区域BR以及车辆α的右侧后方区域RR而显示于驾驶者可见的地方的情况下，以示出左侧后方区域LR的图像位于示出后方区域BR的图像的左侧、示出右侧后方区域RR的图像位于示出后方区域BR的图像的右侧、示出后方区域BR的图像位于示出左侧后方区域LR的图像的右侧并且位于示出右侧后方区域RR的图像的左侧的方式配置。从而，以驾驶者能够直观地识别车辆α的左后方、车辆α的中央后方以及车辆α的右后方的方式配置各图像。
此外，图3A以及图3B只不过为一例，也可以以示出左侧后方区域LR的图像位于驾驶者的驾驶位置的左侧、示出右侧后方区域RR的图像位于驾驶者的驾驶位置的右侧的方式设置放大显示区域。
在本实施方式中，将显示部40例如作为平视显示器(HUD)构成。
图4中示出配置于仪表板内的显示部40的构成例。如该图所示，显示部40具备：微型投影仪401、透射型屏幕402、物镜403和组合器(凹面半反射镜)404。微型投影仪401将对应于输入的图像信号D的图像投影于透射型屏幕402而描绘实像。透过透射型屏幕402的光通过物镜403调整像的方向，被组合器404反射。此时，被组合器404反射的光经由设置于仪表板的开口部Op而入射至驾驶者的眼睛，从驾驶者来看，可以看见图像放大地显示于放大显示区域(Area-L、Area-C、Area-R)(即，在仪表板的前方形成放大图像的虚像)。此外，也可以通过透明的板堵塞开口部Op而使得灰尘或尘埃不会进入内部。
此外，本发明涉及的显示部40不限于本实施方式的方式，可以为直视型的面板的显示虚像的HUD，也可以为投影仪方式的HUD，还可以为LCD(液晶显示器，liquid crystaldisplay)或有机EL面板方式的直视型的显示面板。
图5为示出车辆用拍摄显示装置1的功能结构的框图。
如图5所示，拍摄部10具备：多个图像传感器12J(12L、12C、12R)，依次线扫描来自矩阵状排列的受光元件的信号并输出对应于被拍摄体的像的拍摄信号DS-J；定时发生器13，对于各图像传感器12J(12L、12C、12R)输出各种定时信号。此外，拍摄部10对应于各图像传感器12J而具备使被拍摄体的像成像的拍摄光学系统，但在该图中省略了图示。
如图6所示，左侧后方用的图像传感器12L输出对应于PL行×QL列的像素的拍摄信号DS-L(PL为满足2≤PL的自然数。QL为满足2≤QL的自然数)。中央后方用的图像传感器12C输出对应于PC行×QC列的像素的拍摄信号DS-C(PC为满足2≤PC的自然数。QC为满足2≤QL的自然数)。右侧后方用的图像传感器12R输出对应于PR行×QR列的像素的拍摄信号DS-R(PR为满足2≤PR的自然数。QR为满足2≤QR的自然数)。如该图所示，在本实施方式中，设定“PL＝PR<PC”、“QL＝QR<QC”的情况。
此外，以下有时将图像传感器12J(12L、12C、12R)所输出的拍摄信号DS-J的像素的尺寸统称为PJ行×QJ列。
定时发生器13生成拍摄垂直同步信号SVsync、拍摄水平同步信号SHsync以及拍摄点时钟信号SCLK，将上述生成的信号向各图像传感器12J输出。此外，在此，由单一的定时发生器13生成的定时向各个图像传感器供给。
图7为用于说明定时发生器13生成的拍摄垂直同步信号SVsync、拍摄水平同步信号SHsync以及拍摄点时钟信号SCLK的时序图。拍摄垂直同步信号SVsync(“拍摄同步信号”的一例)为规定用于从各图像传感器12J的受光元件读取检测信号的拍摄垂直扫描期间Fs(“拍摄同步信号的帧”的一例)的信号。此外，有时将拍摄部10的帧率即“1/FS”称为“第一帧率”。
拍摄水平同步信号SHsync为规定用于从各图像传感器12J的一行的受光元件读取检测信号的水平扫描期间Hs的信号。拍摄点时钟信号SCLK为规定用于从各图像传感器12J的一像素的受光元件读取检测信号的定时的信号。拍摄垂直扫描期间Fs的时长一定(固定长度)，水平扫描期间Hs的时长也一定(固定长度)。并且，拍摄垂直扫描期间Fs由多个水平扫描期间Hs构成。此外，定时发生器13也可以将拍摄垂直同步信号SVsync、拍摄水平同步信号SHsync以及拍摄点时钟信号SCLK向图像处理电路100输出。
如此，在本实施方式中，拍摄部10所具备的多个图像传感器12J(12L、12C、12R)与从单一的定时发生器13供给的同一定时信号同步地动作(在此，所谓同一定时信号是指至少拍摄垂直同步信号SVsync定时一致)。
返回图5进行说明。
显示部40为显示示出作为拍摄对象的被拍摄体的图像，用于使车辆α的驾驶者掌握车辆α的外部的被拍摄体的状态的显示装置，其构造如参照图4所说明的那样。
显示部40中的微型投影仪401具备：光源(图示省略)、具备显示对应于图像处理电路100所生成的图像信号D的图像的显示区域AD的液晶面板42、投影光学系统(图示省略)和控制液晶面板42的动作的控制器41。光源例如具备LED(发光二极管，Light EmittingDiode)或激光二极管，向液晶面板42照射白色光。投影光学系统为投影透过液晶面板42的光的例如凸透镜等。
如图6所示，在液晶面板42上，在显示区域AD中，多个像素以在纵方向为N列、在横方向为M行(M线)的方式排列为矩阵状(M为满足2≤M的自然数。N为满足6≤N的自然数)。换言之，显示区域AD以由横方向排列的N个像素构成的行在纵方向上排列M行的方式构成。上述M行×N列的像素例如包含用于表示红色的像素、用于表示绿色的像素以及用于表示蓝色的像素。
此外，如参照图1所说明的，显示区域AD被划分为三个显示区域AD-J，其中，左侧显示区域AD-L具备M行×NL列的像素，中央显示区域AD-C具备M行×NC列的像素，右侧显示区域AD-R具备M行×NR列的像素(NL、NC以及NR为2以上的自然数)。不过，NL、NC、NR满足“N＝NL+NC+NR”。以下有时将显示区域AD所具有的各显示区域AD-J(AD-L、AD-C、AD-R)的像素的尺寸统称为M行×NJ列。
此外，在本实施方式中，存在拍摄信号DS-J的像素数和显示区域AD-J的像素数不同的情况。即，存在“M≠PJ”、“NJ≠QJ”的情况。在本实施方式中，设定“M<PJ”、“NJ<QJ”的情况。
在本实施方式中，为了以显示部40的显示区域AD能够显示的最高的帧率显示一画面的图像所需要的时长比图像传感器12J拍摄一画面的图像的时长短。因此，在希望以显示部40能够显示的最高的帧率显示图像的情况下，来自拍摄部10的拍摄信号DS的输出追赶不及。因此，在本实施方式涉及的车辆用拍摄显示装置1中，通过由图像处理电路100调整来自图像处理电路100的图像信号D的输出定时，使显示部40的显示速度追随来自拍摄部10的拍摄信号DS的输出周期。
如图5所示，图像处理电路100具备：基于拍摄信号DS(多个拍摄信号DS-J)生成图像信号D(多个部分图像信号D-J)并将生成的图像信号D向显示部40输出的图像信号生成部20、控制输出图像信号生成部20输出图像信号D的定时的定时控制部30。
如图5所示，图像信号生成部20具备：对拍摄信号DS实施图像处理而生成图像信号D的图像处理部21、临时存储图像处理部21所生成的图像信号D的VRAM/行缓冲器22(以下称为“行缓冲器22”)和从行缓冲器22取得图像信号D并将取得的图像信号D向显示部40输出的图像信号输出部23。
图像信号D为规定设置于液晶面板42的显示区域AD的M行×N列的像素的各个应该显示的图像(灰阶)的信号。
以下，在示出应该由显示区域AD显示的图像的图像信号D中，将示出应该由显示区域AD的第m行的行显示的图像的一行的图像信号D标记为图像信号D[m](m为满足1≤m≤M的自然数)。并且，以下在示出应该由显示区域AD-J显示的图像的部分图像信号D-J中，将示出应该由显示区域AD-J的第m行的行显示的图像的一行的部分图像信号D-J标记为部分图像信号D-J[m]。也就是说，图像信号D[m]由部分图像信号D-L[m]、部分图像信号D-C[m]以及部分图像信号D-R[m]构成。
如图5所示，图像处理部21具备：对拍摄信号DS中的拍摄信号DS-L实施图像处理而生成部分图像信号D-L的左侧图像用图像处理部21L、对拍摄信号DS中的拍摄信号DS-C实施图像处理而生成部分图像信号D-C的中央图像用图像处理部21C、对拍摄信号DS中的拍摄信号DS-R实施图像处理而生成部分图像信号D-R的右侧图像用图像处理部21R。以下在没有必要区分左侧图像用图像处理部21L、中央图像用图像处理部21C以及右侧图像用图像处理部21R时，将上述中的任意一个统称为“部分图像处理部21J”。
部分图像处理部21J(21L、21C、21R)对于每一个应该由显示区域AD-J的一行的像素显示的图像生成示出应该由液晶面板42的显示区域AD-J显示的图像的部分图像信号D-J。更具体而言，部分图像处理部21J按照部分图像信号D-J[1]、部分图像信号D-J[2]、……、部分图像信号D-J[m]的顺序生成部分图像信号D-J。此外，对于部分图像处理部21J执行的图像处理的详细情况将于后述。
此外，部分图像处理部21J(21L、21C、21R)，当生成部分图像信号D-J[m](D-L[m]、D-C[m]、D-R[m])时，在将生成的部分图像信号D-J[m]存储于行缓冲器22的同时，将表示部分图像信号D-J[m]向行缓冲器22的存储完成的部分写入完成信号PtA-J(PtA-L、PtA-C、PtA-R)向定时控制部30输出。也就是说，左侧图像用图像处理部21L，当生成部分图像信号D-L[m]并存储于行缓冲器22时，输出部分写入完成信号PtA-L。并且，中央图像用图像处理部21C，当生成部分图像信号D-C[m]并存储于行缓冲器22时，输出部分写入完成信号PtA-C。并且，右侧图像用图像处理部21R，当生成部分图像信号D-R[m]并存储于行缓冲器22时，输出部分写入完成信号PtA-R。将这种由图像处理部21生成图像信号D[m]并存储于行缓冲器22时输出的部分写入完成信号PtA-L、PtA-C以及PtA-R构成的信号称为写入完成信号PtA。
在本实施方式中，部分写入完成信号PtA-J(PtA-L、PtA-C、PtA-R)为示出对应于由部分图像处理部21J进行的向行缓冲器22的写入完成的部分图像信号D-J的行的编号m的信号。以下，将部分写入完成信号PtA-J(PtA-L、PtA-C、PtA-R)所示的行的编号m特别地称为“行编号ma-J(ma-L、ma-C、ma-R)(ma-J为满足1≤ma-J≤M的自然数)”。写入完成信号PtA所包含的部分写入完成信号PtA-L、PtA-C、PtA-R所示的行编号ma-L、ma-C、ma-R的最小值ma相当于表示图像处理完成的行的“图像处理行信息”。也就是说，写入完成信号PtA为示出图像处理行信息的信号。
此外，部分写入完成信号PtA-J不限于示出行的编号的信号，也可以为包含在部分图像处理部21J所进行的部分图像信号D-J[m]的生成完成的情况下上升至高电平的脉冲波形的双值的信号。部分写入完成信号PtA-J为双值的信号的情况下，定时控制部30例如通过在一个画面的显示开始之后对于部分写入完成信号PtA-J中所包含的脉冲的个数进行计数，能够得到由部分图像处理部21J完成生成的部分图像信号D-J[m]的行编号。
图像信号输出部23根据定时控制部30的控制，逐行地从行缓冲器22读取图像信号D，将读取的一行的图像信号D[m]向显示部40输出。
此外，以下根据说明的情况而需要区分的情况下，将图像处理部21生成并存储于行缓冲器22的图像信号D称为图像信号DGA，将图像信号输出部23从行缓冲器22取得并输出至显示部40的图像信号D称为图像信号DGB。并且，将图像信号DGA中的部分图像处理部21J生成的图像信号DGA称为部分图像信号DGA-J(DGA-L、DGA-C、DGA-R)。并且，将图像处理部21存储于行缓冲器22的图像信号DGA中的、表示应该由显示区域AD的第m行的行显示的图像的图像信号DGA称为图像信号DGA[m]，将图像信号输出部23输出至显示部40的图像信号DGB中的、表示应该由显示区域AD的第m行的行显示的图像的图像信号DGB称为图像信号DGB[m]。
图像信号输出部23，在从行缓冲器22读取图像信号DGB[m]并将该图像信号DGB[m]输出至显示部40的处理完成的情况下，将表示图像信号DGB[m]向显示部40的输出完成的输出完成信号PtB向定时控制部30输出。在本实施方式中，输出完成信号PtB为示出对应于图像信号输出部23所进行的向显示部40的输出完成的图像信号D[m]的行的编号m的信号。以下，将输出完成信号PtB所示的行的编号m特别地称为“行编号mb”(mb基本上为满足0≤mb≤M的自然数)。作为输出完成信号PtB所示的值的行编号mb是示出对于显示部40的输出完成的图像信号D[m]的行的“显示输出行信息”的一例。
详细将于后述，有时图像信号输出部23对于显示部40代替输出图像信号DGB[m]而输出无效信号Dmy(参照图8D)。这种情况下，图像信号输出部23不输出输出完成信号PtB。
此外，mb在输出一帧的最终行之后紧接着变为mb＝M之后维持mb＝M。并且，在下一帧用的图像输出准备完成的时间点(垂直同步信号的输出后的垂直后沿(back porch)期间完成后的定时)，mb信号被重置而成为mb＝0。
此外，输出完成信号PtB不限于示出行的编号的信号，也可以为包含在图像信号输出部23所进行的图像信号D-J[m]的输出完成的情况下上升至高电平的脉冲波形的双值的信号。
如图5所示，定时控制部30具备：基于写入完成信号PtA及输出完成信号PtB生成输出控制信号CTR(正确为CTR[m])的输出控制部31、生成各种定时信号并控制图像信号输出部23输出图像信号D[m](图像信号DGB[m])的定时的定时生成器32、将规定控制器41的动作的设定参数PRM向控制器41发送的参数发送部33。
输出控制部31基于写入完成信号PtA及输出完成信号PtB，判定图像信号输出部23对于显示部40输出示出应该由显示区域AD的第m行显示的图像的图像信号D[m](图像信号DGB[m])的准备是否完成，生成示出判定结果的输出控制信号CTR(正确为CTR[m])。
在此，所谓“输出图像信号D[m](图像信号DGB[m])的准备是否完成”是指满足以下的第一条件及第二条件。
(第一条件)图像处理部21完成第m行的图像信号D[m](图像信号DGA[m])的图像处理，完成图像信号DGA[m]向行缓冲器22的写入。
(第二条件)图像信号输出部23完成第m-1行的图像信号D[m-1](图像信号DGB[m-1])的输出。
第一条件示出部分写入完成信号PtA-J所示的行编号ma-J的最小值ma为行编号m以上的情况。也就是说，第一条件在“m≦ma”的情况下，更具体说在“m≦ma-L”且“m≦ma-C”且“m≦ma-R”的情况下被满足。
第二条件在输出完成信号PtB所示的行编号mb在满足“mb＝m-1”的情况下被满足(严格来讲，在“m＝1”的情况下，在满足“mb＝0”(“mb＝M”后的垂直同步信号输出后的垂直后沿期间完成后的定时中，mb信号被重置，mb＝0)的情况下被满足)。
在本说明书中，有时将显示作为输出控制部31判定的对象的图像信号D[m]所示的图像的显示区域AD的行称为“显示对象行”。
此外，严格来讲，图像信号输出部23为了输出图像信号D[m](图像信号DGB[m])，需要满足以下的第三条件。
(第三条件)图像信号输出部23输出第m行的图像信号D[m](图像信号DGB[m])的定时包含于显示区域AD能够显示图像的期间(图8中后述的水平有效数据期间DHI)。
但是，在满足上述的第一条件及第二条件的情况下，由于定时生成器32控制来自图像信号输出部23的图像信号D[m](图像信号DGB[m])的输出定时，因此第三条件必然被满足。因此，在本实施方式中，在输出控制部31中的判定中不考虑第三条件。
以下对于输出控制部31的控制方法的实现方法进行更为详细地记载。输出控制部31例如通过以下的两个方式能够执行“输出图像信号D[m](图像信号DGB[m])的准备是否完成”的判定。
作为第一方式，其为输出控制部31直接地执行是否满足第一条件的判定(第一判定)和是否满足第二条件的判定(第二判定)这两个判定的方式。
具体而言，当图像处理部21输出写入完成信号PtA时，输出控制部31根据写入完成信号PtA所包含的多个部分写入完成信号PtA-J所示的行编号ma-J的最小值ma，对于m判定是否满足“m≤ma”(执行第一判定)。并且，当图像信号输出部23输出输出完成信号PtB时，输出控制部31判定输出完成信号PtB所示的行编号mb是否满足“mb＝m-1”(执行第二判定)。并且，在第一判定的判定结果和第二判定的判定结果的双方为肯定的情况下，输出控制部31判定为“输出图像信号D[m]的准备完成”。
在第一方式的情况下，输出控制部31通过执行第一判定，作为判定是否生成了对应于应该由显示对象行显示的图像的图像信号的“处理状况判定部”而发挥作用，通过执行第二判定，作为判定是否能够进行显示对象行中的图像的显示的“显示判定部”而发挥作用。
此外，输出控制部31，在第一判定的判定结果或者第二判定的判定结果为否定的情况下，重复第一判定及第二判定直至第一判定的判定结果和第二判定的判定结果的双方变为肯定为止。具体而言，输出控制部31，例如可以在每次从图像处理部21输出写入完成信号PtA时执行第一判定，并且，在每次从图像信号输出部23输出输出完成信号PtB时执行第二判定，直至第一判定和第二判定的双方的判定结果变为肯定为止。此外，例如，输出控制部31也可以以后述的水平扫描期间Hd的周期重复第一判定及第二判定，直至第一判定和第二判定的双方的判定结果变为肯定为止。并且，在第一判定的判定结果和第二判定的判定结果的双方变为肯定时，将输出控制信号CTR(正确为CTR[m])设定为示出判定结果为肯定的值。
下面，作为“输出图像信号D[m](图像信号DGB[m])的准备是否完成”的判定的第二方式，其为在前次判定(输出图像信号D[m-1]的准备是否完成的判定)的结果变为肯定之后的、图像信号输出部23输出输出完成信号PtB所示的行编号mb＝m-1的定时，输出控制部31执行第一条件是否被满足的判定(第一判定)的状态。
在该方式中，输出控制部31，在第一判定的判定结果为否定的情况下，重复第一判定直至第一判定的判定结果变为肯定为止，在第一判定的判定结果变为肯定时，将输出控制信号CTR设定为示出判定结果为肯定的值(CTR[m])。具体而言，例如在输出输出完成信号PtB的定时第一判定的判定结果为否定的情况下，之后，在图像处理部21每次输出写入完成信号PtA时，输出控制部31根据该写入完成信号PtA所示的行编号ma-J的最小值ma，对于m判定是否满足“m≤ma”，在满足“m≤ma”时，判定为第一条件被满足即可。
如上所述，图像处理部21按照行编号的顺序生成图像信号D[m](图像信号DGA[m])，图像信号输出部23按照行编号的顺序输出图像信号D[m](图像信号DGB[m])。并且，在本实施方式中，在第m-2行的图像信号D[m-2]的输出完成，输出控制部31判定“输出图像信号D[m-1]的准备完成”之后，图像信号输出部23输出图像信号D[m-1]。因此，输出控制部31进行是否“完成了输出图像信号D[m](图像信号DGB[m])的准备”的判定的定时，为从图像信号输出部23输出图像信号D[m-2](图像信号DGB[m-2])之后的定时，并且为输出控制部31判定“完成了输出图像信号D[m-1](图像信号DGB[m-1])的准备”之后的定时。也就是说，在输出控制部31进行是否“完成了输出图像信号D[m]的准备”的第一判定的定时，图像信号输出部23输出的输出完成信号PtB所示的行编号mb变为“m-1”。
因此，在第二方式中，输出控制部31凭借输出完成信号PtB从图像信号输出部23的输出判断第二条件被满足。并且，输出控制部31通过在输出完成信号PtB从图像信号输出部23输出后的定时中执行第一条件是否被满足的判定(第一判定)，进行是否“完成了图像信号D[m](图像信号DGB[m])的输出准备”的判定。
在本实施方式中，以采用上述的两个方式中的第二方式为前提进行以下的说明。
定时生成器32生成显示垂直同步信号DVsync、垂直有效数据信号DVactive、显示水平同步信号DHsync、显示点时钟信号DCLK以及启动信号DEnb，将生成的上述信号向图像信号输出部23以及显示部40输出。
图8A至图8D为用于说明定时生成器32生成的显示垂直同步信号DVsync、垂直有效数据信号DVactive、显示水平同步信号DHsync、显示点时钟信号DCLK以及启动信号DEnb的时序图。
如图8A及图8B所示，显示垂直同步信号DVsync(“显示同步信号”的一例)为规定用于通过液晶面板42的显示区域AD的整体(M行)的像素显示图像的显示垂直扫描期间(周期)Fd(“显示同步信号的帧”的一例)的信号。显示水平同步信号DHsync为规定为了通过显示区域AD的一行的像素显示图像的水平扫描期间Hd的信号。显示点时钟信号DCLK为规定用于通过显示区域AD的各像素显示图像的定时的信号。
在本实施方式中，水平扫描期间Hd具有预先确定的一定的时长。并且，在本实施方式中，显示垂直扫描期间Fd由多个水平扫描期间Hd构成，具有时间比拍摄垂直扫描期间Fs的时长(周期)短的可变的时长(周期)。也就是说，各显示垂直扫描期间Fd所包含的水平扫描期间Hd的个数是可变的。在图8A所示的示例中例示了在图8A所示的多个显示垂直扫描期间Fd之中，最初的显示垂直扫描期间Fd即显示垂直扫描期间Fd1，比显示垂直扫描期间Fd1之后的显示垂直扫描期间Fd2短，显示垂直扫描期间Fd2比显示垂直扫描期间Fd2之后的显示垂直扫描期间Fd3短的情况。
此外，在显示垂直同步信号DVsync所具有的波形之中，将规定显示垂直扫描期间Fd的开始及结束的定时的脉冲状的波形称为显示垂直同步脉冲PlsV。此外，在显示水平同步信号DHsync所具有的波形之中，将规定水平扫描期间Hd的开始及结束的定时的脉冲状的波形称为显示水平同步脉冲PlsH。
如图8B所示，显示垂直扫描期间Fd由垂直同步期间DVp、垂直后沿期间DVb、垂直有效数据期间DVI和垂直前沿期间DVf构成。
垂直同步期间DVp为显示垂直同步信号DVsync有效(在该图的示例中为低电平)的期间，其为与显示垂直扫描期间Fd开始的同时开始的具有预先确定的时长的期间。垂直后沿期间DVb为垂直同步期间DVp之后的期间，其为具有预先确定的时长的期间。垂直有效数据期间DVI为垂直后沿期间DVb之后的、可变时长的期间。在该垂直有效数据期间DVI内，从图像信号输出部23输出图像信号DGB(图像信号DGB[1]～DGB[M])。垂直前沿期间DVf为垂直有效数据期间DVI之后的期间，其为与显示垂直扫描期间Fd的结束同时结束的具有预先确定的时长的期间。
垂直有效数据期间DVI为在各显示垂直扫描期间Fd内从启动信号DEnb最初变为有效的水平扫描期间Hd开始至启动信号DEnb第M次变为有效的水平扫描期间Hd结束为止的期间(关于启动信号DEnb变为有效的情况将于后述)。
该垂直有效数据期间DVI例如可以基于对于启动信号DEnb变为有效的次数进行计数的计数器(图示省略)所输出的计数值而确定。不过，在本实施方式中，为了方便说明，引入在各显示垂直扫描期间Fd内从启动信号DEnb最初变为有效的水平扫描期间Hd开始至启动信号DEnb第M次变为有效的水平扫描期间Hd结束为止的期间内变为有效(该图的示例中为高电平)的垂直有效数据信号DVactive。也就是说，在本实施方式中，将垂直有效数据信号DVactive有效的期间作为垂直有效数据期间DVI进行说明。此外，该垂直有效数据信号DVactive为为了方便说明而引入的信号，输出控制部31也可以不输出该垂直有效数据信号DVactive。
如图8C及图8D所示，水平扫描期间Hd由水平同步期间DHp、水平后沿期间DHb、水平有效数据期间DHI和水平前沿期间DHf构成。
水平同步期间DHp为显示水平同步信号DHsync有效(在该图的示例中为低电平)的期间，其为与水平扫描期间Hd开始的同时开始的具有预先确定的时长的期间。水平后沿期间DHb为水平同步期间DHp之后的期间，其为具有预先确定的时长的期间。水平有效数据期间DHI为水平后沿期间DHb之后的、具有预先确定的时长的期间。水平前沿期间DHf为水平有效数据期间DHI之后的期间，其为与水平扫描期间Hd的结束同时结束的具有预先确定的时长的期间。
在本实施方式中，水平扫描期间Hd存在图像信号输出部23用于输出图像信号D[m]的有效水平扫描期间Hd-A(参照图8C)和代替输出图像信号D[m]而输出无效信号Dmy[m]的无效水平扫描期间Hd-D(参照图8D)。
图8C例示了水平扫描期间Hd为有效水平扫描期间Hd-A的情况。如该图所示，启动信号DEnb在水平扫描期间Hd为有效水平扫描期间Hd-A的情况下，在水平有效数据期间DHI内变为有效(在该图的示例中为高电平)。并且，在启动信号DEnb有效的水平有效数据期间DHI内，从图像信号输出部23输出图像信号D[m](图像信号DGB[m])。另一方面，启动信号DEnb，在有效水平扫描期间Hd-A中的水平有效数据期间DHI以外的期间(水平同步期间DHp、水平后沿期间DHb、水平前沿期间DHf)内变为非有效。图像信号输出部23，在有效水平扫描期间Hd-A中的、启动信号DEnb变为非有效的、水平有效数据期间DHI以外的期间内，停止图像信号D[m](图像信号DGB[m])的行数据向各个像素的输出，输出无效行信号DGB-dmy。
上述的第三条件通过定时生成器32在水平有效数据期间DHI内使启动信号DEnb为有效而被满足。也就是说，具备输出控制部31及定时生成器32的定时控制部30，在上述第一条件～第三条件全部被满足的定时，从图像信号输出部23向各像素输出有关对应于显示对象行的图像信号D[m](图像信号DGB[m])的行数据。
图8D例示了水平扫描期间Hd为无效水平扫描期间Hd-D的情况。如该图所示，启动信号DEnb在水平扫描期间Hd为无效水平扫描期间Hd-D的情况下，在水平有效数据期间DHI内变为非有效。并且，图像信号输出部23，在无效水平扫描期间Hd-D中的水平有效数据期间DHI内，代替图像信号D[m](图像信号DGB[m])而输出无效信号Dmy。另一方面，启动信号DEnb，在无效水平扫描期间Hd-D中的水平有效数据期间DHI以外的期间(水平同步期间DHp、水平后沿期间DHb、水平前沿期间DHf)内也变为非有效。图像信号输出部23，在无效水平扫描期间Hd-D中的水平有效数据期间DHI以外的期间，停止图像信号D[m](图像信号DGB[m])的输出，输出无效行信号DGB-dmy。
此外，定时生成器32基于输出控制部31输出的输出控制信号CTR，决定使水平扫描期间Hd为有效水平扫描期间Hd-A还是为无效水平扫描期间Hd-D。换言之，定时生成器32基于输出控制信号CTR决定在水平有效数据期间DHI内是否使启动信号DEnb有效。有关该输出控制信号CTR、启动信号DEnb以及水平扫描期间Hd的种类的关系于后述。
图9为用于说明定时生成器32所生成的各种信号和液晶面板42的显示区域AD中的图像的显示定时的关系的说明图。
如该图所示，显示区域AD所具有的从第一行的行开始至第M行的行为止的M行×N列的像素，在显示垂直扫描期间Fd中的垂直有效数据信号DVactive有效的垂直有效数据期间DVI内，显示图像信号D[1]～D[m]所示的一画面的图像。
并且，显示区域AD中的构成第m行的行的N个像素，在水平扫描期间Hd(有效水平扫描期间Hd-A)中的启动信号DEnb有效的水平有效数据期间DHI内，显示图像信号D[m]示出的行数据的各像素的图像。
此外，垂直有效数据期间DVI根据该垂直有效数据期间DVI所包含的无效水平扫描期间Hd-D的个数而延长，在该图中，设定垂直有效数据期间DVI所包含的水平扫描期间Hd全部为有效水平扫描期间Hd-A的情况。
图10为用于说明输出控制信号CTR和启动信号DEnb的说明图。
如上所述，输出控制部31，在判定图像信号D[m]的输出准备已完成时，也就是说，在第一条件及第二条件被满足时，对输出控制信号CTR设定示出判定结果为肯定的值CTR[m]。在本实施方式中，方便起见，输出控制部31，在判定图像信号D[m]的输出准备已完成时，向输出控制信号CTR输出临时上升至高电平的脉冲状的波形，如图10所示，将对输出控制信号CTR设定的、示出以输出图像信号D[m]的准备已完成为内容的判定结果的输出脉冲波形称为输出许可脉冲PL[m](＝CTR[m])。
如上所述，本实施方式涉及的输出控制部31，凭借从图像信号输出部23输出了输出完成信号PtB来判断第二条件被满足。并且，输出控制部31通过在输出了输出完成信号PtB时执行图像信号D[m]的图像处理是否完成(第一条件是否被满足)的判定(第一判定)，判定图像信号D[m]的输出准备是否完成。
如图10所示，输出控制部31在进行图像信号D[m]的输出准备是否完成的判定的情况下，将输出控制部31判定图像信号D[m]的图像处理完成(判定第一条件被满足)的定时即第一判定的结果变为肯定的定时称为图像处理判定时刻TA[m]。
并且，将输出完成信号PtB被供给至输出控制部31(判断第二条件被满足)的定时称为显示准备判定时刻TB[m]。
此外，以下为了方便说明，将图像处理部21进行的图像信号D[m]的生成实际完成的时刻定义为图像信号生成时刻TC[m]。更具体而言，图像信号生成时刻TC[m]为部分图像信号D-L[m]、D-C[m]及D-R[m]全部完成生成的时刻，其为左侧图像用图像处理部21L使部分图像信号D-L[m]的生成完成的时刻、中央图像用图像处理部21C使部分图像信号D-C[m]的生成完成的时刻以及右侧图像用图像处理部21R使部分图像信号D-R[m]的生成完成的时刻中的最迟的时刻。此外，该图像信号生成时刻TC[m]为“图像信号生成时刻”的一例。
显示准备判定时刻TB[m]为与图像信号D[m-1]从输出控制部31的输出完成的时刻大致相同的时刻，为与图像信号D[m-1]被输出的有效水平扫描期间Hd-A(称为有效水平扫描期间Hd-A[m-1])的水平有效数据期间DHI结束的时刻大致相同的时刻。此外，在显示准备判定时刻TB[m]之后最初的水平扫描期间Hd[m]的水平有效数据期间DHI开始的时刻为“能够显示时刻”的一例。
此外，在本说明书中，所谓“大致相同的时刻”是指，包含在存在起因于信号的发送或接收的时滞或者起因于各种处理的时滞的情况下，在忽视上述时滞时能够视为同一时刻的情况的概念。
图像处理判定时刻TA[m]，在显示准备判定时刻TB[m]以前完成图像信号D[m](图像信号DGA[m])的生成的情况下，即在显示准备判定时刻TB[m]以前经过了图像信号生成时刻TC[m]的情况下(称为情况1)，与显示准备判定时刻TB[m]为大致相同的时刻。
此外，在情况1时，在显示准备判定时刻TB[m]的定时(＝视为第二条件被满足的定时)，输出控制部31，根据在该显示准备判定时刻TB[m]以前被供给至输出控制部31的写入完成信号PtA示出的行编号ma-J的最小值ma对于m进行以“m≤ma”为内容的判定，由于进行了该判定的定时为图像处理判定时刻TA[m]，因此，尽管实际上在图像处理判定时刻TA[m]及显示准备判定时刻TB[m]之间存在时滞，但以下为了简单起见将两时刻视为大致相同。
另一方面，关于图像处理判定时刻TA[m]，在显示准备判定时刻TB[m]以前未完成图像信号D[m](图像信号DGA[m])的生成的情况下(即，在显示准备判定时刻TB[m]以前图像信号生成时刻TC[m]未到来的情况(称为情况2))，其为图像处理部21使图像信号D[m]的生成完成的时刻(即，与图像信号生成时刻TC[m]大致相同的时刻)。
此外，在情况2时，图像处理部21在图像信号生成时刻TC[m]使图像信号D[m]的生成完成之后，图像处理部21输出对应于最小值ma的部分写入完成信号PtA-J，接受该部分写入完成信号PtA-J的供给的输出控制部31以满足“m≤ma”为内容的判定的定时为图像处理判定时刻TA[m]，因此，尽管实际上在图像处理判定时刻TA[m]及图像信号生成时刻TC[m]之间存在时滞，但以下为了简单起见将两时刻视为大致相同。
如此，由于存在情况1和情况2的情况，将两种情况汇总来说，输出控制部31，在图像信号生成时刻TC[m]及显示准备判定时刻TB[m]中的较晚的时刻(即，该时刻为图像处理判定时刻TA[m])，对于输出控制信号CTR设定输出许可脉冲PL[m]。也就是说，该输出许可脉冲PL[m]，在关于图像信号D[m]的第一条件及第二条件被满足时被输出。并且，定时生成器32进行如下控制：在输出许可脉冲PL[m]被输出后的第三条件被满足时，换言之，在输出许可脉冲PL[m]被输出后的启动信号DEnb最初变为有效时，从图像信号输出部23输出图像信号D[m]。
以下为了方便说明，关于图像信号D[m]，将第一条件～第三条件全部被满足的时刻称为输出条件满足时刻TZ[m]。
在本实施方式中，定时生成器32基于输出控制信号CTR决定为了在定时生成器32的内部处理中使用的内部处理信号IS的电平。并且，定时生成器32基于内部处理信号IS决定使启动信号DEnb为有效的定时以及水平扫描期间Hd的类别(有效水平扫描期间Hd-A或者无效水平扫描期间Hd-D)。
具体而言，如图10所示，定时生成器32当对于输出控制信号CTR设定输出许可脉冲PL[m]时，使内部处理信号IS为有效(在该图示例中为高电平)。
定时生成器32，当在水平扫描期间Hd开始的定时中内部处理信号IS为有效时，将该水平扫描期间Hd的类别决定(分类)为有效水平扫描期间Hd-A[m]，在该有效水平扫描期间Hd-A[m]的水平有效数据期间DHI开始的定时，使启动信号DEnb为有效。该启动信号DEnb变为有效的定时相当于输出条件满足时刻TZ[m]。
并且，定时生成器32，在该有效水平扫描期间Hd-A[m]的水平有效数据期间DHI开始、启动信号DEnb变为有效的定时，即输出条件满足时刻TZ[m]，使内部处理信号IS为非有效。
另一方面，在水平扫描期间Hd开始的定时中内部处理信号IS为非有效的情况下，将该水平扫描期间Hd的类别决定(分类)为无效水平扫描期间Hd-D，该无效水平扫描期间Hd-D的期间使启动信号DEnb为非有效。
在此，在图10所示的示例中，在显示准备判定时刻TB[1]以前，PtB信号的mb从输出一帧的最终行之后便维持mb＝M。并且，在垂直同步信号的输出后的垂直后沿期间完成后的某个时间点，能够进行下一帧的数据输出。因此，在显示准备判定时刻TB[1]的时间点，mb信号被重置，变为mb＝0(情况0)。情况0为开始显示一帧的最初的第一行的特殊的定时，在一帧中仅存在一次。并且，其结果是，水平扫描期间Hd[2]的水平有效数据期间DHI开始。
接着，记载第二行之后的示例。以下，在图10所示的示例中，说明输出控制部31进行图像信号D[2]的输出准备是否完成的判定，对于输出控制信号CTR设定输出许可脉冲PL[2]的情况(相当于情况1)。
在图10所示的示例中，显示准备判定时刻TB[2]为图像信号D[1]的输出完成的水平扫描期间Hd[1](有效水平扫描期间Hd-A[1])的水平有效数据期间DHI结束时。并且，在该示例中，设定图像信号D[2]的图像处理完成的图像信号生成时刻TC[2]在显示准备判定时刻TB[2]以前到来。因此，在该示例中，图像处理判定时刻TA[2]与显示准备判定时刻TB[2]为大致相同的时刻。因此，输出控制部31在水平扫描期间Hd[1]的水平有效数据期间DHI结束时即显示准备判定时刻TB[2]时，输出输出许可脉冲PL[2]作为输出控制信号CTR。
定时生成器32，在输出输出许可脉冲PL[2]作为输出控制信号CTR的定时即水平扫描期间Hd[1]的水平有效数据期间DHI结束的定时，使内部处理信号IS为有效。这种情况下，内部处理信号IS在水平扫描期间Hd[2]的开始时变为有效。在此，定时生成器32在水平扫描期间的开始定时(DHsync脉冲)基于内部处理信号IS的状态进行使该水平扫描期间为有效水平扫描期间Hd-A[m]还是为无效水平扫描期间Hd-D的判断。上述情况下，内部处理信号IS为有效。因此，定时生成器32使水平扫描期间Hd[2]为有效水平扫描期间Hd-A[2]，在水平扫描期间Hd[2]的水平有效数据期间DHI使启动信号DEnb为有效。
也就是说，水平扫描期间Hd[2]的水平有效数据期间DHI的开始时刻为关于图像信号D[2]的第一条件～第三条件的全部被满足的输出条件满足时刻TZ[2]。因此，在水平扫描期间Hd[2]，输出图像信号D[2]。并且，定时生成器32在水平扫描期间Hd[2]的水平有效数据期间DHI开始的定时，使内部处理信号IS为非有效。
接着，在图10的示例中，说明输出控制部31进行图像信号D[3]的输出准备是否完成的判定，对于输出控制信号CTR设定输出许可脉冲PL[3]的情况(相当于情况2)。
在图10所示的示例中，显示准备判定时刻TB[3]为图像信号D[2]的输出完成的水平扫描期间Hd[2](有效水平扫描期间Hd-A[2])的水平有效数据期间DHI结束时。并且，在该示例中，设定图像信号D[3]的图像处理完成的图像信号生成时刻TC[3]在显示准备判定时刻TB[3]之后到来的情况。因此，在该示例中，图像处理判定时刻TA[3]为显示准备判定时刻TB[3]之后的时刻。并且，在该示例中，设定图像信号生成时刻TC[3]在水平扫描期间Hd[3]的开始时之后的情况。因此，输出控制部31，在水平扫描期间Hd[3]的开始时之后的时刻，输出输出许可脉冲PL[3]。
如上所述，定时生成器32在水平扫描期间Hd[2]的水平有效数据期间DHI的开始时使内部处理信号IS为非有效。因此，内部处理信号IS在水平扫描期间Hd[3]的开始时变为非有效。因此，在水平扫描期间的开始定时(DHsync脉冲)，由于内部处理信号IS的状态为非有效，因此，定时生成器32将水平扫描期间Hd[3]分类为无效水平扫描期间Hd-D，在水平扫描期间Hd[3]的水平有效数据期间DHI，使启动信号DEnb为非有效。这种情况下，图像信号输出部23在水平扫描期间Hd[3]的水平有效数据期间DHI不输出图像信号D[3]而输出无效信号Dmy。
之后，定时生成器32在输出输出许可脉冲PL[3]作为输出控制信号CTR的定时，使内部处理信号IS为有效。在该示例中，输出输出许可脉冲PL[3]的定时为水平扫描期间Hd[4]开始前。这种情况下，内部处理信号IS，在水平扫描期间Hd[4]的开始时(DHsync脉冲)也为有效。因此，定时生成器32使水平扫描期间Hd[4]为有效水平扫描期间Hd-A[3]，在水平扫描期间Hd[4]的水平有效数据期间DHI使启动信号DEnb为有效。
也就是说，水平扫描期间Hd[4]的水平有效数据期间DHI的开始时刻为关于图像信号D[3]的第一条件～第三条件的全部被满足的输出条件满足时刻TZ[3]。因此，在水平扫描期间Hd[4]，输出图像信号D[3]。
此外，在该图所示的示例中，关于输出控制部31进行图像信号D[1]的输出准备是否完成的判定并对于输出控制信号CTR设定输出许可脉冲PL[1]的情况，以及进行图像信号D[1]的输出准备是否完成的判定并对于输出控制信号CTR设定输出许可脉冲PL[1]的情况(情况0)，设定为作为情况1的条件的情况。
这样，在本实施方式中，输出控制部31，在第一条件及第二条件被满足时，输出输出许可脉冲PL[m]，使内部处理信号IS的状态为有效，在水平扫描期间开始时(DHsync脉冲)决定使其成为有效水平扫描期间Hd-A[m]还是无效水平扫描期间Hd-D[m]。在决定为有效水平扫描期间的情况下，图像信号输出部23，在输出输出许可脉冲PL[m]之后的最初的水平扫描期间Hd内，进行输出图像信号D[m]的动作。通过这种动作，由图像处理部21进行的行单位D[m]的图像处理结果从图像信号输出部23的图像信号D[m]的输出定时，以水平扫描期间Hd的单位的精度被进行输出调整。
此外，在图10所示的示例中，定时生成器32在开始水平扫描期间Hd的定时决定水平扫描期间Hd的类别，但其不过为一例而已，也可以例如在从输出输出许可脉冲PL[m]的水平扫描期间Hd的水平前沿期间DHf开始至输出输出许可脉冲PL[m]之后的最初的水平扫描期间Hd的水平后沿期间DHb结束的期间决定。
此外，在图10所示的示例中，使内部处理信号IS为非有效的定时为启动信号DEnb变为有效的定时，但其不过为一例而已，定时生成器32使内部处理信号IS为非有效的定时，只要在从启动信号DEnb变为有效开始至变为非有效为止的水平有效数据期间DHI的期间内，可以为任何时刻。
此外，在本实施方式中，定时生成器32使用内部处理信号IS决定启动信号DEnb的波形和水平扫描期间Hd的类别，但其不过为一例而已，也可以不使用内部处理信号IS而基于输出控制信号CTR决定上述内容。
此外，在本实施方式中，输出控制信号CTR为包含输出许可脉冲PL[m]的波形，但其不过为一例而已，输出控制信号CTR也可以例如具有图10所示的内部处理信号IS的波形。这种情况下，定时生成器32将输出控制部31为了进行输出控制信号CTR的波形的决定所必要的启动信号DEnb等的各种信号供给至输出控制部31即可。
图11A及图11B为用于说明有效水平扫描期间Hd-A及无效水平扫描期间Hd-D和显示垂直扫描期间Fd的关系的说明图。
显示垂直扫描期间Fd为输出对应于M行的行的图像信号D[1]～D[M]的期间。因此，定时生成器32在各显示垂直扫描期间Fd的垂直有效数据期间DVI内设置M个有效水平扫描期间Hd-A。
另一方面，本实施方式涉及的定时生成器32，将水平扫描期间Hd分类为有效水平扫描期间Hd-A或者无效水平扫描期间Hd-D中的某一个。并且，仅在水平扫描期间Hd为有效水平扫描期间Hd-A的情况下，在该水平扫描期间Hd输出图像信号D[m]。
因此，本实施方式涉及的定时生成器32，当在显示垂直扫描期间Fd的垂直有效数据期间DVI内设置无效水平扫描期间Hd-D的情况下，以相当于该无效水平扫描期间Hd-D的时长延长垂直有效数据期间DVI，以在各显示垂直扫描期间Fd的垂直有效数据期间DVI内设置M个有效水平扫描期间Hd-A的方式，输出显示垂直同步信号DVsync及垂直有效数据信号DVactive。
例如，定时生成器32，如图11A所示的显示垂直扫描期间Fd1所示，使垂直有效数据期间DVI的全部的水平扫描期间Hd为有效水平扫描期间Hd-A的情况下，使垂直有效数据期间DVI的时长为水平扫描期间Hd的M倍的时长。在此，将显示垂直扫描期间Fd1中的除了垂直同步前沿期间(DVf)和垂直同步期间(DVp)和垂直同步后沿期间(DVb)之外的期间即DVI称为垂直有效数据期间DVI、DVactive＝H的期间。
另一方面，定时生成器32，如图11B所示的显示垂直扫描期间Fd2所示，在垂直有效数据期间DVI内设置一个或者多个无效水平扫描期间Hd-D的情况下，垂直有效数据期间DVI的时长(DVactive＝H的期间)为将水平扫描期间Hd的M倍的时长和存在于垂直有效数据期间DVI内的一个或者多个无效水平扫描期间Hd-D的合计的时长相加得到的时长。
也就是说，定时生成器32，通过以水平扫描期间Hd的单位调整显示垂直扫描期间Fd的时长，图像信号输出部23能够在各显示垂直扫描期间Fd内输出图像信号D[1]～D[M]。
此外，如图11A所示的显示垂直扫描期间Fd1所示，将在垂直有效数据期间DVI的全部的水平扫描期间Hd为有效水平扫描期间Hd-A的情况下的显示垂直扫描期间Fd的时长称为标准垂直扫描时间Td。并且，有时将显示部40所能够显示的最高的帧率即显示垂直扫描期间Fd的时长为标准垂直扫描时间Td的情况下的帧率即“1/Td”称为“第二帧率”。并且，有时将定时控制部30所执行的定时的控制中的、以通过第二帧率输出图像信号D的方式进行的定时控制，称为“第一定时控制”。
此外，如图11B所示的显示垂直扫描期间Fd2所示，将在垂直有效数据期间DVI内设置一个或者多个无效水平扫描期间Hd-D的情况下的、该一个或者多个无效水平扫描期间Hd-D的时长的合计值称为延长垂直扫描时间Tex。也就是说，在垂直有效数据期间DVI内设置一个或者多个无效水平扫描期间Hd-D的情况下的显示垂直扫描期间Fd的时长为标准垂直扫描时间Td和延长垂直扫描时间Tex的合计值。此外，有时将定时控制部30所执行的定时的控制中的、以在设置有一个或者多个无效水平扫描期间Hd-D的垂直有效数据期间DVI内输出图像信号D的方式进行的定时控制，称为“第二定时控制”。详细将于后述，在第二定时控制中，定时控制部30以通过第一帧率输出图像信号D的方式控制定时。
下面，参照图12对于显示部40进行说明。
图12为示出显示部40的构成的框图。如上所述，显示部40具备：控制液晶面板42的动作的控制器41、用于显示对应于图像信号D的图像的液晶面板42。
如上所述，在液晶面板42上设置有用于显示对应于图像信号D的图像的显示区域AD。显示区域AD构成为包括在图9上沿横方向延伸的M行的扫描线、沿纵方向延伸的N列的数据线和对应于扫描线及数据线的交叉而设置的M行×N列的像素。并且，液晶面板42具备：用于选择扫描线的扫描线驱动电路421和用于驱动数据线的数据线驱动电路422。
控制器41具备：从图像信号输出部23输入图像信号D(图像信号DGB)的数据输入部411、在各垂直有效数据期间DVI内对有效水平扫描期间Hd-A的个数(启动信号DEnb变为有效的次数)进行计数的计数器412、生成规定液晶面板42的驱动定时的各种定时信号的定时生成部413、对液晶面板42输出图像信号D(图像信号DGC)的数据输出部414、用于存储规定控制器41的动作的设定参数PRM的寄存器415。
此外，在本实施方式中，图像处理电路100(图像信号生成部20及定时控制部30)和控制器41之间的数据传输，通过低电压差动(LVDS)的串行接口(图示省略)进行。因此，与通过并行接口进行图像处理电路100及控制器41之间的数据传输的情况相比较，能够进行高速的数据传送。
在寄存器415中设定的设定参数PRM为用于对应于液晶面板42的规格而使控制器41动作的、规定控制器41的动作的值。
作为设定参数PRM例如可以包含：水平扫描期间Hd的时长(或者，水平扫描期间Hd所包含的显示点时钟信号DCLK的时钟数。以下将显示点时钟信号DCLK的时钟数简单称为“时钟数”)、水平有效数据期间DHI的时长(或者，显示区域AD中的X轴方向的像素数(N))、水平同步期间DHp的时长(或者时钟数)、水平后沿期间DHb的时长(或者时钟数)、水平前沿期间DHf的时长(或者时钟数)、垂直有效数据期间DVI内不包含无效水平扫描期间Hd-D的情况下的垂直有效数据期间DVI的时长(或者，显示区域AD中的纵方向的行数(M)。即，垂直有效数据期间DVI内包含的有效水平扫描期间Hd-A的个数)、垂直同步期间DVp的时长(或者时钟数)、垂直后沿期间DVb的时长(或者时钟数)、垂直前沿期间DVf的时长(或者时钟数)等。
在本实施方式涉及的车辆用拍摄显示装置1中，由于能够从图像处理电路100设定对应于液晶面板42的规格的控制器41的动作定时，因此，即使在变更液晶面板42的尺寸或变更帧率等的液晶面板42的规格的情况下，也没有变更控制器41的必要。因此，能够提高系统的通用性。
从图像处理电路100向数据输入部411供给显示点时钟信号DCLK、包含图像信号D(图像信号DGB)及无效信号Dmy的来自图像信号输出部23的输出信号和启动信号DEnb。
数据输入部411，当启动信号DEnb变为有效时，在该启动信号DEnb有效期间与显示点时钟信号DCLK同步地取入从图像信号输出部23供给的一行的图像信号D[m]，将取入的图像信号D[m]向数据输出部414输出。另一方面，数据输入部411，在启动信号DEnb为非有效的情况下，不取入从图像信号输出部23供给的无效信号Dmy而废弃。
从图像处理电路100向计数器412供给启动信号DEnb和显示垂直同步信号DVsync。计数器412对于启动信号DEnb的上升边缘进行计数并将示出计数结果的计数值Cnt向定时生成部413输出。并且，当显示垂直同步信号DVsync变为有效、显示垂直同步脉冲PlsV作为显示垂直同步信号DVsync被供给时，计数器412将计数值Cnt重置为“0”。因此，计数器412能够对于各显示垂直扫描期间Fd所包含的有效水平扫描期间Hd-A的个数进行计数。也就是说，计数值Cnt在数据输入部411取入指定应该由第m行的行显示的图像的图像信号D[m]的情况下，示出对应于该图像信号D[m]的行编号(m)。
从图像处理电路100向定时生成部413供给显示垂直同步信号DVsync和显示水平同步信号DHsync和设定参数PRM，并且，从计数器412供给计数值Cnt。如上所述，当从图像处理电路100供给设定参数PRM时，定时生成部413在寄存器415中设定被供给的设定参数PRM。
在计数值Cnt示出“m”的情况下，定时生成部413使扫描线驱动电路421进行对应于计数值Cnt的第m行的行(扫描线)的选择。并且，在计数值Cnt示出“m”的情况下，定时生成部413使数据输出部414向数据线驱动电路422供给数据输入部411所取入的一行的图像信号D[m]作为图像信号DGC[m]。这种情况下，数据线驱动电路422对于对应于扫描线驱动电路421所选择的第m行的扫描线而设置的N个像素(第m行的行的像素)，经由数据线写入从数据输出部414供给的图像信号DGC[m]。从而，使被选择的行的图像显示于显示区域AD。此外，在本实施方式中，图像信号DGA及DGB为数字的信号，但图像信号DGC既可以为数字的信号也可以为模拟的信号。
如此，控制器41能够使从图像信号输出部23供给的图像信号D所示的图像显示于液晶面板42的显示区域AD。
此外，控制器41，当检出计数值Cnt变为与对寄存器415设定的显示区域AD的行数“M”相等时，在检出后的最初供给显示水平同步信号DHsync的定时即垂直前沿期间DVf开始的定时，进入改帧处理的准备。并且，在垂直前沿期间DVf开始之后，定时生成部413对于数据输入部411及数据输出部414输出用于指示改帧处理的执行的改帧处理开始信号Cng。
在此，所谓改帧处理是指在下一个显示垂直扫描期间Fd用于显示图像的准备的处理，例如，包含执行存储于数据输入部411及数据输出部414所具备的缓存中的数据的擦去处理等。改帧处理在垂直前沿期间DVf开始以后开始。并且，改帧处理优选在垂直前沿期间DVf结束以前结束。
<2.图像处理>
下面，参照图13至图19，对于图像处理部21所具备的各部分图像处理部21J的详细情况和由各部分图像处理部21J执行的图像处理进行说明。
图13为示出各部分图像处理部21J(21L、21C、21R)的结构的框图。
如该图所示，部分图像处理部21J具备：临时存储从图像传感器12J输出的拍摄信号DS-J的行缓存211J(211L、211C、211R)、对于存储于行缓存211J的拍摄信号DS-J进行插值处理的像素插值处理部212J(212L、212C、212R)、对于被插值的拍摄信号DS-J进行色彩再现处理的色彩再现处理部213J(213L、213C、213R)、对于被色彩再现的拍摄信号DS-J进行过滤处理的过滤处理部214J(214L、214C、214R)、对于被过滤处理的拍摄信号DS-J实施图像灰度校正的图像灰度校正部215J(215L、215C、215R)、临时存储被图像灰度校正的拍摄信号DS-J的行缓存216J(216L、216C、216R)、进行将存储于行缓存216J的拍摄信号DS-J转换为显示区域AD-J所具备的像素数的部分图像信号DRS-J(DRS-L、DRS-C、DRS-R)的调整尺寸处理的调整尺寸处理部217J(217L、217C、217R)、通过对于部分图像信号DRS-J实施修整对应于部分图像信号DRS-J中的驾驶者指定的位置的区域的修整处理而生成部分图像信号DT-J(DT-L、DT-C、DT-R)的修整处理部218J(218L、218C、218R)。
此外，驾驶者能够使用操作部60输入指定修整的位置的指示。
如上所述，拍摄信号DS所包含的拍摄信号DS-J所示的图像的像素数和图像信号D所包含的部分图像信号D-J所示的图像的像素数(显示区域AD中的显示区域AD-J的像素数)不同。因此，通过调整尺寸处理部217J执行将拍摄信号DS-J转换为对应于显示区域AD-J的像素数的部分图像信号DRS-J的调整尺寸处理。
不过，拍摄信号DS-J所示的图像有时存在具有起因于对应于图像传感器12J而设置的拍摄光学系统所具备的透镜的光学特性的畸变的情况。具体而言，示出拍摄被拍摄体时的拍摄结果的图像有时具有与在显示区域AD-J中原本应该显示的图像相比向外侧膨胀的桶形畸变，或者与原本应该显示的图像相比向内侧收缩的枕形畸变。因此，通过调整尺寸处理部217J在调整尺寸处理中执行校正桶形畸变或枕形畸变等的畸变的畸变校正处理。
图14为用于说明调整尺寸处理部217J执行的畸变校正处理的说明图。以下参照图14对于在调整尺寸处理中执行的畸变校正处理进行说明。此外，在图14中，设定拍摄信号DS-J所示的图像的行数PJ为16行(PJ＝16)、部分图像信号D-J(以及部分图像信号DRS-J)所示的图像的行数为12行(M＝12)的情况。
以下，将拍摄信号DS-J中的、应该示出由第pJ行的行显示的图像的一行的拍摄信号DS-J标记为拍摄信号DS-J[pJ](pJ为满足1≤pJ≤PJ的自然数)。并且，以下将部分图像信号DRS-J中的、第m行的一行的部分图像信号DRS-J标记为部分图像信号DRS-J[m]。
在图14中，以符号Pc1表示在产生桶形畸变时拍摄信号DS-J所示的图像，以符号Pc2表示基于示出图像Pc1的拍摄信号DS-J的拍摄被拍摄体时部分图像信号DRS-J所示的图像；以符号Pc3表示在产生枕形畸变时拍摄信号DS-J所示的图像，以符号Pc4表示基于示出图像Pc3的拍摄信号DS-J的拍摄被拍摄体时部分图像信号DRS-J所示的图像。
图像Pc1，(在假定不进行后述的修整处理、水平方向缩小/放大处理、垂直方向缩小/放大处理的情况下)尽管应该显示于显示区域AD-J的图像为四边形SQ，但拍摄信号DS-J为示出四边形SQ由于桶形畸变而膨胀的闭合曲线CV1的情况下的该拍摄信号DS-J所示的信号。并且，图像Pc3，(在假定不进行后述的修整处理、水平方向缩小/放大处理、垂直方向缩小/放大处理的情况下)尽管应该显示于显示区域AD-J的图像为四边形SQ，但拍摄信号DS-J为示出四边形SQ由于枕形畸变而收缩的闭合曲线CV2的情况下的该拍摄信号DS-J所示的信号。
调整尺寸处理部217J，在产生桶形畸变的情况下，在畸变校正处理中，将示出闭合曲线CV1的图像Pc1校正为示出四边形SQ的图像Pc2。同样地，调整尺寸处理部217J，在产生枕形畸变的情况下，在畸变校正处理中，将示出闭合曲线CV2的图像Pc3校正为示出四边形SQ的图像Pc4。
上述情况下，调整尺寸处理部217J，将校正前的图像中的像素和校正后的图像中的像素相关联，以对应于校正后的像素的校正前的像素为中心像素，基于由包含中心像素和其周边的像素即周边像素的参照区域内的像素的各个显示的灰阶，决定校正后的像素应该显示的灰阶。
例如，调整尺寸处理部217J，在决定构成图像Pc2或者图像Pc4的校正后的像素PxS1的灰阶的情况下，将构成图像Pc1或者图像Pc3的校正前的像素PxC1确定为中心像素。并且，调整尺寸处理部217J，基于应该由包含中心像素即像素PxC1的参照区域“区域1”内的各像素显示的灰阶，确定应该由像素PxS1显示的灰阶。
同样地，调整尺寸处理部217J，在决定构成图像Pc2或者图像Pc4的校正后的像素PxS2的灰阶的情况下，将构成图像Pc1或者图像Pc3的校正前的像素PxC2确定为中心像素。并且，调整尺寸处理部217J，基于应该由包含中心像素即像素PxC2的参照区域“区域2”内的各像素显示的灰阶，确定应该由像素PxS2显示的灰阶。
此外，在图像Pc2以及图像Pc4中付与深色剖面线的像素示出部分图像信号D-J中的位于第1行、第7行以及第12行的校正后的像素，在图像Pc1以及图像Pc3中付与深色剖面线的像素示出对应于校正后的像素的各个的校正前的像素(中心像素)，在图像Pc1以及图像Pc3中付与浅色剖面线的像素示出对应于中心像素的各个的周边像素。
如图14所示的示例所明示的，产生桶形畸变时的图像的膨胀的程度根据画面的行的位置而变动，画面中的纵方向的位置越接近端部，图像的膨胀的程度变得越大。并且，产生枕形畸变时的图像的收缩的程度根据画面的行的位置而变动，画面中的纵方向的位置越接近端部，图像的收缩的程度变得越大。
因此，调整尺寸处理部217J生成部分图像信号DRS-J[m]时所必要的拍摄信号DS-J的行数由于对应于部分图像信号D-J[m]的行的位置(m的值)而变动。因此，调整尺寸处理部217J的调整尺寸处理所需要的时长由于行的位置而变动。
例如，在图14所示的示例中，调整尺寸处理部217J为了生成对应于第1行的行的部分图像信号DRS-J[1]，需要对应于第1行～第5行的行的拍摄信号DS-J[1]～DS-J[5]。与此对比，调整尺寸处理部217J为了生成对应于第7行的行的部分图像信号DRS-J[7]，需要对应于第8行～第10行的行的拍摄信号DS-J[8]～DS-J[10]。也就是说，调整尺寸处理部217J为了生成部分图像信号DRS-J[1]所需要的时长比为了生成部分图像信号DRS-J[7]所需要的时长更长。
不过，就现有的侧方后视镜而言，驾驶者能够通过设置于驾驶席旁边的操作杆或者按钮等将镜的上下左右的朝向设定为任意的方向而变更反映在镜中的区域。为了能够进行同样的区域变更，在本实施方式中构成如下：车辆α的驾驶者能够从操作部60的触摸面板(图示省略)对于修整实施了调整尺寸处理的部分图像信号DRS-J所示的图像的一部分的区域的修整处理输入指定修整的位置的指示。
图15A示出由驾驶者指定的修整区域的一例。如图15A所示，修整区域AreaT-J为部分图像信号DRS-J所示的图像的一部分即矩形的区域。驾驶者例如在车辆非运行时，一边目测确认显示于车辆室内的操作部60的触摸面板(图示省略)的部分图像信号DRS-J所示的图像，一边通过触摸操作使显示于该图像上的矩形框FRM-J移动而指定修整区域AreaT-J。在此，矩形框FRM-J为划定规定的大小的区域，修整区域AreaT-J由矩形框FRM-J的例如左上顶点的位置PosT-J确定。
控制部50，当驾驶者通过触摸面板使矩形框FRM-J移动而指定位置PosT-J时，生成示出位置PosT-J的位置指定信号Cp-J并向部分图像处理部21J的修整处理部218J供给。修整处理部218J将以由位置指定信号Cp-J指定的位置PosT-J为左上顶点的矩形框FRM-J决定为修整区域AreaT-J，执行修整部分图像信号DRS-J所示的图像中的修整区域AreaT-J的修整处理。
此外，代替触摸面板，也可以构成为设置与现有同样的操作杆等，驾驶者用手使操作杆等活动而使规定的大小的矩形框FRM-J向左右上下方向移动，从而能够指定修整区域AreaT-J。
在本实施方式中，由于部分图像信号DRS-J与显示区域AD-J所具备的像素数一致，因此，作为其一部分的修整区域AreaT-J的像素数比显示区域AD-J所具备的像素数少。因此，为了使修整区域AreaT-J的像素数与显示区域AD-J所具备的像素数一致，通过修整处理部218J，在指定修整区域AreaT-J之后执行放大该修整区域AreaT-J的放大处理。
图15B示出修整处理后的图像的一例。如从图15A及图15B所理解的，经过修整处理，图15A所示的修整区域AreaT-J所示的图像被放大，生成显示区域AD-J所具备的M行×NJ列的像素数的(与部分图像信号D-J相同的像素数的)部分图像信号DT-J。
此外，也可以通过调整尺寸处理生成Mrs行×NrsJ列(Mrs为M<Mrs<PJ的自然数，NrsJ为NJ<NrsJ<QJ的自然数)的图像，之后，执行从通过调整尺寸处理生成的图像中切出M行×NJ列的图像的修整处理。这种情况下，由于修整区域AreaT-J为M行×NJ列，因此不需要放大处理，能够提高图像的品质。并且，也可以构成为矩形框FRM-J不必为规定的大小，通过驾驶者的操作能够变更。这种情况下，修整区域AreaT-J所示的图像的放大率能够自由地变更。
根据这种修整处理，其优点在于，与例如通过在拍摄部中使包含图像传感器在内的照相机自身的拍摄朝向为可动而变更拍摄范围的结构相比较，由于不需要用于使照相机的朝向为可动的机构，因此抑制了成本。并且，其优点还在于，在修整处理中，由于在指定了修整区域AreaT-J之后根据显示区域AD-J的尺寸而放大，因此，驾驶者希望看到的区域被放大显示。
如图13所示，部分图像处理部21J进一步具备：镜像生成部219J(219L、219C、219R)，通过对于部分图像信号DT-J实施左右反转处理而生成示出将部分图像信号DT-J所示的图像左右反转而成的图像的部分图像信号DF-J(DF-L、DF-C、DF-R)；水平方向缩小/放大处理部220J(220L、220C、220R)，通过对于部分图像信号DF-J实施水平方向缩小/放大处理而生成示出将部分图像信号DF-J所示的图像按照每行沿水平方向缩小及放大而成的图像的部分图像信号DX-J(DX-L、DX-C、DX-R)；垂直方向缩小/放大处理部221J(221L、221C、221R)，通过对于部分图像信号DX-J实施垂直方向缩小/放大处理而生成示出将部分图像信号DX-J所示的图像沿垂直方向缩小及放大而成的图像的部分图像信号D-J。
图15C示出通过镜像生成部219J执行的左右反转处理而生成的部分图像信号DF-J所示的图像的一例。车辆α的驾驶者观察反映于现有类型的侧方后视镜或后视镜的被拍摄体的镜像来进行车辆的后方以及侧后方的安全确认。但是，图像传感器12J拍摄被拍摄体本身而非被拍摄体的镜像。因此，图像传感器12J输出的拍摄信号DS-J所示的图像的朝向与反映于现有类型的侧方后视镜或后视镜的镜像左右相反。
因此，镜像生成部219J进行生成示出使从修整处理部218J输出的部分图像信号DT-J所示的图像(图15B)左右反转而成的镜面图像的部分图像信号DF-J(图15C)的左右反转处理。通过该左右反转处理，能够进行通过与反映于现有的侧方后视镜或叶板后视镜等的镜像左右相同的方向的图像的安全确认，因此，不再有由于反映了与现有左右相反的图像而使驾驶者混乱的担忧。
以下参照图16A～图19，对于水平方向缩小/放大处理部220J执行的水平方向缩小/放大处理以及垂直方向缩小/放大处理部221J执行的垂直方向缩小/放大处理进行说明。此外，以下有时将上述的两个处理统称为缩小/放大处理。
图16A为本实施方式涉及的图像的放大/缩小处理的概念图。在该图中，以部分图像处理部21J(21L、21C、21R)中的左侧图像用图像处理部21L的缩小/放大处理作为例示进行说明。
如该图所示，在左侧图像用图像处理部21L的放大/缩小处理中，将从镜像生成部219L输出的部分图像信号DF-L所示的图像划分为左上区域LR1、左中央区域LR2、左下区域LR3、中央上区域LR4、中央区域LR5、中央下区域LR6这六个区域。在部分图像信号DF-L所示的图像的左右方向(横方向)上左区域(远离车体的区域)和中央区域(靠近车体的区域)的长度之比为“2:3”，在上下方向(纵方向)上上区域、中央区域、下区域的长度之比为“1:3:1”。
并且，在图16A所示的各区域中，预先设定规定的水平方向变倍率(左右方向的放大率或者缩小率)和规定的垂直方向变倍率(上下方向的放大率或者缩小率)。
在反映于侧方后视镜的像中，由于位于靠近车体的区域LRC(图2)的物体与车辆接触的危险性高，因此其为车辆的安全行驶所必要的信息。相反，位于远离车体的区域LRL的图像例如沿路的建筑物等的图像在安全确认中的重要度低。因此，在本实施方式中，以关于左右方向靠近车体的区域LRC比远离车体的区域LRL相对地放大的方式设定左右方向的放大率或者缩小率。并且，在基于拍摄信号DS-J的图像中，其他的车辆或行人等的图像对于车辆的安全驾驶来说是必要的信息，而位于图像之上的区域的天空或者山等的景色的图像或图像之下的区域的路面的图像的重要度低。因此，在本实施方式中，以上下方向的中央的区域与上区域或者下区域相比较被相对地放大的方式，设定上下方向的放大率或者缩小率。
具体而言，在左侧图像用图像处理部21L中的缩小/放大处理中，如图16A所示，关于远离车辆α并且位于其上或者其下的区域即左上区域LR1和左下区域LR3，左右方向的缩小率H2及上下方向的缩小率V2、V3均设定为25％。
并且，关于虽远离车辆α但在上下方向上位于中央的区域即左中央区域LR2，左右方向的缩小率H2被设定为25％且上下方向的放大率V1被设定为150％。并且，关于虽接近车辆α但上或者下的区域即中央上区域LR4和中央下区域LR6，左右方向的放大率H1被设定为150％，上下方向的缩小率V2、V3均被设定为25％。并且，关于靠近车辆α、在上下方向也位于中央的区域即中央区域LR5，左右方向的放大率H1及上下方向的放大率V1均被设定为150％。通过上述设定，能够提高基于拍摄信号DS-L的图像中的、车辆α的行驶时的安全确认所必要的区域的可见确认性。并且，例如在侧方后视镜的镜面上设置平面部和凸面部而使反映于凸面部的镜像被压缩的结构相比较，不需要物理性的加工处理，并且能够提高更靠近车辆α、在上下方向上更靠中央的区域的可见确认性。
此外，右侧图像用图像处理部21R执行的缩小/放大处理，与图16A所示的左侧图像用图像处理部21L执行的缩小/放大处理相比，除了左右反转这点之外都是相同的。
也就是说，在左侧图像用图像处理部21L及右侧图像用图像处理部21R中的缩小/放大处理中，关于左右方向上的靠近车辆α的区域的放大率H1及关于左右方向上的远离车辆α区域的缩小率H2，以如下方式确定：关于靠近车辆α区域将左右方向的长度设为X1、关于远离车辆α区域将左右方向的长度设为X2时，“X1+X2＝X1·H1+X2·H2”。
并且，在左侧图像用图像处理部21L及右侧图像用图像处理部21R中的缩小/放大处理中，上下方向的中央的区域的放大率V1、上区域的缩小率V2以及下区域的缩小率V3以如下方式确定：关于中央的区域将上下方向的长度设为Y1、关于上区域将上下方向的长度设为Y2、关于下区域将上下方向的长度设为Y3时，“Y1+Y2+Y3＝Y1·V1+Y2·V2+Y3·V3”。
通过如上设定放大率及缩小率，无需变更部分图像信号DF-L及DF-R所示的图像本身的大小(像素数)而能够生成各区域间的大小的比率被变更的部分图像信号D-L及D-R。换言之，即使在执行缩小/放大处理的情况下，也能够使部分图像信号D-L及D-R与显示区域AD-L及AD-R所具备的像素数一致。
图16B为用于说明左侧图像用图像处理部21L所具备的水平方向缩小/放大处理部220L执行的水平方向缩小/放大处理的概念图，图16C为用于说明垂直方向缩小/放大处理部221L执行的垂直方向缩小/放大处理的概念图。
通过水平方向缩小/放大处理部220L，对于从镜像生成部219L输出的部分图像信号DF-L，执行关于左右方向与远离车体的区域相比较相对地放大靠近车体的区域的处理(水平方向缩小/放大处理)。具体而言，对于各区域LR1～LR6的图像，执行对应于所设定的放大率H1或者缩小率H2的变倍处理。该变倍处理为逐行执行的处理。例如，在使一行中的像素数为100个(即100列)的情况下，进行以缩小率H2(25％)缩小从属于左上区域LR1、左中央区域LR2、左下区域LR3的第1列至第40列的像素的处理。也就是说，进行使像素数从40个缩小至10个的处理。在该缩小处理中，可以任意地采用例如关于邻接的规定数的像素将受光元件输出的检测信号所示的值进行相加平均等的周知的方法。并且，进行以放大率H1(150％)放大从属于中央上区域LR4、中央区域LR5、中央下区域LR6的第41列至第100列的像素的处理。也就是说，进行使像素数从60个增加至90个的处理。在该放大处理中任意地采用最近邻插值法等周知的方法。当对所有的行实施了水平方向缩小/放大处理时，生成各区域LR1～LR6的图像的大小的比率被如图16B所示变更了的图像(部分图像信号DX-L所示的图像)。
垂直方向缩小/放大处理部221L，对于从水平方向缩小/放大处理部220L逐行输出的部分图像信号DX-L执行关于上下方向与上或者下的区域相比较相对地放大中央的区域的处理(垂直方向缩小/放大处理)。具体而言，对于各区域LR1～LR6的图像，执行对应于设定的放大率V1或者缩小率V2或者V3的变倍处理。该变倍处理为对于多行的每一行执行的处理。例如，在使部分图像信号DX-L的行数为100行的情况下，进行从属于左上区域LR1及中央上区域LR4的第1行至第20行中减去对应于缩小率V2(25％)的根数的行的处理。即，进行每4根减至1根的行的处理。并且，对于属于左中央区域LR2及中央区域LR5的第21行至第80行的像素进行以放大率V1(150％)放大的处理。进行从属于左下区域LR3及中央下区域LR6的第81行至第100行中减去对应于缩小率V3(25％)的根数的行的处理。当对于所有的行实施了垂直方向缩小/放大处理时，生成各区域LR1～LR6的图像的大小的比率被如图16C变更了的图像(部分图像信号D-L所示的图像)。
图17示出经过水平方向缩小/放大处理以及垂直方向缩小/放大处理的部分图像信号D-L所示的图像的一例。该图所示的部分图像信号D-L示出的图像，在显示于左侧显示区域AD-L的基础上，放大显示于放大显示区域Area-L(参照图3A或者图3B)。也就是说，在放大显示区域Area-L中，显示在左右方向上靠近车体的上下方向上中央的区域与其他区域相比较被相对地放大的图像。
图18示出经过水平方向缩小/放大处理以及垂直方向缩小/放大处理的部分图像信号D-R所示的图像的一例。该图所示的部分图像信号D-R示出的图像，在显示于右侧显示区域AD-R的基础上，放大显示于放大显示区域Area-R(参照图3A或者图3B)。也就是说，在放大显示区域Area-R中，显示在左右方向上靠近车体的上下方向上中央的区域与其他区域相比较被相对地放大的图像。如图18所示，放大显示于放大显示区域Area-R的部分图像信号D-R所示的图像，在左右方向上靠近车体的区域RRC(参照图2)与远离车体的区域RRR相比被放大，在上下方向上中央的区域被放大。
下面，对于中央图像用图像处理部21C中的缩小/放大处理(水平方向缩小/放大处理以及垂直方向缩小/放大处理)进行说明。
中央图像用图像处理部21C中的缩小/放大处理，在将部分图像信号DT-J划分为多个区域时的划分的方式和被划分的各区域的缩写及放大的比率方面，与左侧图像用图像处理部21L以及右侧图像用图像处理部21R中的缩小/放大处理不同。
图19为中央图像用图像处理部21C中的缩小/放大处理的概念图。如该图所示，在中央图像用图像处理部21C中的缩小/放大处理中，将从镜像生成部219C输出的部分图像信号DF-C的图像划分为左上区域BR1、左中央区域BR2、左下区域BR3、中央上区域BR4、中央区域BR5、中央下区域BR6、右上区域BR7、右中央区域BR8、右下区域BR9这九个区域。在该图所示的示例中，在部分图像信号DF-C所示的图像的左右方向上，左边的区域BRL(参照图2)、中央的区域BRC、右边的区域BRR的长度之比为“1:3:1”，在上下方向上，上方的区域、中央的区域、下方的区域的长度之比为“1:3:1”。
并且，在图19所示的各区域中，预先设定规定的水平方向的变倍率(左右方向上的放大率或者缩小率)和规定的垂直方向变倍率(上下方向上的放大率或者缩小率)。具体而言，如图19所示，关于在左右方向及上下方向的任一方向上均为端部的区域即左上区域BR1、左下区域BR3、右上区域BR7以及右下区域BR9，左右方向的缩小率及上下方向的缩小率均被设定为25％。并且，关于在左右方向上为端部的区域但在上下方向上为中央的区域即左中央区域BR2和右中央区域BR8，左右方向的缩小率被设定为25％并且上下方向的放大率被设定为150％。并且，关于在左右方向上为中央的区域但位于上方或者下方的区域即中央上区域BR4和中央下区域BR6，左右方向的放大率被设定为150％，上下方向的缩小率被设定为25％。并且，关于在左右方向及上下方向的任一方向上均为中央的区域即中央区域BR5，左右方向的放大率及上下方向的放大率均被设定为150％。
通过上述设定，能够提高基于拍摄信号DS-C的图像中的、车辆的行驶时的安全确认所必要的区域的可见确认性。并且，例如与在后视镜的镜面上设置平面部和凸面部而使反映于凸面部的镜像被压缩的结构相比较，不需要物理性的加工处理，并且能够提高左右及上下方向上的中央的区域的可见确认性。
如上生成的部分图像信号D-C所示的图像，在显示于中央显示区域AD-C的基础上，放大显示于放大显示区域Area-L(参照图3A或者图3B)。
此外，垂直方向缩小/放大处理部221J，当完成用于生成部分图像信号D-J[m]的垂直方向缩小/放大处理时，在将生成的部分图像信号D-J[m](部分图像信号DGA-J[m])存储于行缓存22的同时，输出示出部分图像信号D-J[m]向行缓存22的存储完成的部分写入完成信号PtA-J。
<3.拍摄信号和图像信号的关系>
下面，对于拍摄信号DS和图像信号D的关系，特别是拍摄信号DS从拍摄部10向图像信号生成部20输出(供给)定时和图像信号D从图像信号生成部20输出定时的关系进行说明。
首先，作为说明拍摄信号DS(拍摄信号DS-J[pJ])和图像信号D(图像信号D[m])的关系的前提，对于生成图像信号D[m]所必要的拍摄信号DS-J[pJ]进行说明。
如上述说明所明示的，在部分图像处理部21J进行的图像处理中，生成部分图像信号D-J[m]所必要的拍摄信号DS-J的行数根据对应于部分图像信号D-J[m]的行的位置(m的值)而变动。
例如，部分图像处理部21J的调整尺寸处理部217J通过包含畸变校正处理的调整尺寸处理生成部分图像信号DRS-J[m]时所必要的拍摄信号DS-J的行数，根据对应于部分图像信号DRS-J[m]的行的位置(m的值)而变动。在图14所示的示例中，生成部分图像信号DRS-J[1]所必要的拍摄信号DS-J为拍摄信号DS-J[1]～DS-J[5]这5行的拍摄信号DS-J[pJ]；生成部分图像信号DRS-J[7]所必要的拍摄信号DS-J为拍摄信号DS-J[8]～DS-J[10]这3行的拍摄信号DS-J[pJ]；生成部分图像信号DRS-J[12]所必要的拍摄信号DS-J为拍摄信号DS-J[12]～DS-J[16]这5行的拍摄信号DS-J[pJ]。
并且，例如，垂直方向缩小/放大处理部221J通过垂直方向缩小/放大处理生成部分图像信号D-J[m]时所必要的部分图像信号DX-J的行数根据对应于部分图像信号D-J[m]的行的位置(m的值)而变动。
因此，部分图像处理部21J为了生成部分图像信号D-J[m]而进行的图像处理所需要的时间根据对应于部分图像信号D-J[m]的行的位置(m的值)而变动。
以下为了方便说明，将生成部分图像信号D-J[m]所必要的全部的拍摄信号DS-J[pJ]统称为拍摄信号DGS-J[m]。
图20为概略地示出示出图像信号D[m]及部分图像信号D-J[m]与拍摄信号DS-J[pJ]的关系时序图。如该图所示，在拍摄信号DS-L[1]～DS-L[60](在该图中，设“PL＝60行”)中，在用于部分图像信号D-L[m]的生成的拍摄信号DS-L[pL]为拍摄信号DS-L[10]～DS-L[12]的情况下，将该拍摄信号DS-L[10]～DS-L[12]称为拍摄信号DGS-L[m]。同样地，在拍摄信号DS-C[1]～DS-C[80](在该图中，设“PC＝80行”)中，在用于部分图像信号D-C[m]的生成的拍摄信号DS-C[pC]为拍摄信号DS-C[14]～DS-C[17]的情况下，将该拍摄信号DS-C[14]～DS-C[17]称为拍摄信号DGS-C[m]。同样地，在拍摄信号DS-R[1]～DS-R[60](在该图中，设“PR＝60行”)中，在用于部分图像信号D-R[m]的生成的拍摄信号DS-R[pR]为拍摄信号DS-R[12]～DS-R[14]的情况下，将该拍摄信号DS-R[12]～DS-R[14]称为拍摄信号DGS-R[m]。
并且，将生成图像信号D[m]所必要的由拍摄信号DGS-L[m]、拍摄信号DGS-C[m]以及拍摄信号DGS-R[m]构成的信号称为拍摄信号DGS[m]。
例如，在图20所示的示例中，将用于图像信号D[m]的生成的全部的拍摄信号DS-J[pJ]即由拍摄信号DS-L[10]～DS-L[12]构成的拍摄信号DGS-L[m]、由拍摄信号DS-C[14]～DS-C[17]构成的拍摄信号DGS-C[m]、由拍摄信号DS-R[12]～DS-R[14]构成的拍摄信号DGS-R[m]，称为拍摄信号DGS[m]。
并且，如图20所示，将生成图像信号D[m]的图像处理所需要的时间称为图像处理时间UA[m]，将生成部分图像信号D-J[m]的图像处理所需要的时间称为部分图像处理时间UA-J[m]。
如上所述，部分图像处理部21J的部分图像处理时间UA-J[m]根据对应于部分图像信号D-J[m]的行的位置(m的值)而变动。并且，图像信号D[m]由部分图像信号D-L[m]、部分图像信号D-C[m]以及部分图像信号D-R[m]构成。因此，图像处理时间UA[m]根据对应于图像信号D[m]的行的位置(m的值)而变动。
当开始从拍摄部10供给拍摄信号DGS[m]时，图像处理部21对于该拍摄信号DGS[m]实施图像处理。并且，图像处理部21在图像处理时间UA[m]之后使图像处理完成，生成图像信号D[m]。
更具体而言，如图20所示，图像处理部21中的左侧图像用图像处理部21L，对于左后方用图像传感器12L供给的拍摄信号DGS-L[m]实施图像处理，在部分图像处理时间UA-L[m]之后生成部分图像信号D-L[m]，输出部分写入完成信号PtA-L。并且，图像处理部21中的中央图像用图像处理部21C，对于中央后方用图像传感器12C供给的拍摄信号DGS-C[m]实施图像处理，在部分图像处理时间UA-C[m]之后生成部分图像信号D-C[m]，输出部分写入完成信号PtA-C。并且，图像处理部21中的右侧图像用图像处理部21R，对于右侧后方用图像传感器12R供给的拍摄信号DGS-R[m]实施图像处理，在部分图像处理时间UA-R[m]之后生成部分图像信号D-R[m]，输出部分写入完成信号PtA-R。
此外，拍摄信号DS-J[pJ]的各种信号例如在拍摄水平同步信号SHsync中的一部分期间内持续地输出，在图20(以及之后的附图)中为了方便图示，以圆点表示各种信号输出的期间。
下面，参照图21及图22对于拍摄信号DS从拍摄部10向图像信号生成部20输出(供给)定时和图像信号D从图像信号生成部20输出定时的关系进行说明。
图21为概略地示出在连续的多个拍摄垂直扫描期间Fs(Fs0～Fs3)中的、拍摄垂直扫描期间Fs1～Fs3的各个中，拍摄部10向图像信号生成部20输出(供给)拍摄信号DS(拍摄信号DS-J[1]～拍摄信号DS-J[pJ])的定时的时序图。
如上所述，左后方用的图像传感器12L、中央后方用的图像传感器12C及右侧后方用的图像传感器12R，与定时生成器13输出的各种定时信号同步动作。因此，左后方用的图像传感器12L、中央后方用的图像传感器12C及右侧后方用的图像传感器12R的帧率相等。
但是，有时各图像传感器12J输出的拍摄信号DS-J的像素的尺寸相互不同。并且，有时拍摄信号DS-J从各图像传感器12J向部分图像处理部21J传送所需要的时间也不同。因此，通常情况下，从拍摄部10向图像信号生成部20输出(供给)拍摄信号DS-J的期间在拍摄信号DS-L、拍摄信号DS-C及拍摄信号DS-R中是不同的。
因此，如图21所示，从拍摄部10输出拍摄信号DS的期间即从拍摄部10输出拍摄信号DGS[1]～DGS[M]的期间为从开始拍摄信号DS-L、DS-C及DS-R的输出(供给)的时间中的最早的时间至结束拍摄信号DS-L、DS-C及DS-R的输出(供给)的时间中的最晚的时间为止的期间。
以下，有时将在拍摄垂直扫描期间Fs0～Fs3中输出的拍摄信号DS(拍摄信号DS-J[pJ])分别与拍摄信号DS0～DS3(拍摄信号DS-J0[pJ]～DS-J3[pJ])区别表现。同样地，有时将在拍摄垂直扫描期间Fs0～Fs3中输出的拍摄信号DGS[m]分别与拍摄信号DGS0[m]～DGS3[m]区别表现。
并且，以下为了方便说明，将拍摄部10输出拍摄信号DS的时间和图像信号生成部20接受拍摄信号DS的供给的时间看做大致相同的时间，不进行区别而说明。
图22为概略地示出基于拍摄部10在拍摄垂直扫描期间Fs1～Fs3的各个中输出的拍摄信号DS1～DS3，图像处理部21生成图像信号D(D[1]～D[m])即图像信号DGA(DGA[1]～DGA[m])并将生成的图像信号DGA存储于行缓存22的定时，和在连续的多个显示垂直扫描期间Fd(Fd0～Fd3)中的显示垂直扫描期间Fd1～Fd3的各个中，图像信号输出部23从行缓存22取得图像信号D(D[1]～D[m])即图像信号DGB(DGB[1]～DGB[m])并向显示部40输出的定时的关系的时序图。
以下，有时将基于拍摄信号DGS0[m]～DGS3[m]生成的图像信号D[m](DGA[m]、DGB[m])作为图像信号D0[m]～D3[m](DGA0[m]～DGA3[m]、DGB0[m]～DGB3[m])而区别表现。
如图22所示，将拍摄垂直扫描期间Fs中的、输出拍摄信号DS的期间称为“拍摄信号DS的帧”。并且，将显示垂直扫描期间Fd中的、输出图像信号D的期间即垂直有效数据期间DVI称为“图像信号D的帧”。并且，如图22所示，将从拍摄信号DS的帧的开始至图像信号D的帧的开始为止的时间称为相位差PD。
此外，作为相位差PD，也可以为例如从拍摄垂直扫描期间Fs的帧开始，至图像信号生成部20输出基于拍摄部10在上述拍摄垂直扫描期间Fs中输出的拍摄信号DS的图像信号D的显示垂直扫描期间Fd的帧的开始为止的时间。
在图22中，以线L1表示拍摄部10将拍摄信号DGS[1]～DGS[M]向图像处理部21供给的定时。也就是说，线L1表示图像处理部21逐行开始用于生成图像信号D[1]～D[M](图像信号DGA[1]～DGA[M])的各个的图像处理的时刻方向的样态(定时)。并且，以线L2表示由图像处理部21进行的图像信号DGA[1]～DGA[M]的生成完成，上述图像信号DGA[1]～DGA[M]逐行存储于行缓存22的时刻方向的样态(定时)。图像信号输出部23在图像信号DGA[m]的生成完成后输出图像信号DGB[m]。因此，图像信号DGB[m]不会在线L2所示的时刻以前的时刻被输出。此外，线L2为连结图10说明的图像信号生成时刻TC[1]～TC[M]的线。
此外，以线L3表示图像信号输出部23在以对于显示部40来说理想的定时供给图像信号DGB[1]～DGB[M]的情况下，即，通过以显示部40能够显示的最高的帧率(显示垂直扫描期间Fd的时长为标准垂直扫描时间Td时的帧率)显示的方式供给图像信号DGB[1]～DGB[M]的情况下的、图像信号输出部23逐行地顺序读取图像信号DGB[1]～DGB[M]并显示的定时。
也就是说，线L3为示出假定在显示部40能够显示一行的图像的每个水平扫描期间Hd，图像信号输出部23输出一行的图像信号DGB[m]的情况下(即，显示部40的帧率为第二帧率的情况下)，显示部40在每个水平扫描期间Hd逐行读取图像信号DGB[1]～DGB[M]所示的图像并显示的定时的线，具有每个水平扫描期间Hd增加一行的倾斜度。也就是说，线L3为设定垂直有效数据期间DVI所包含的水平扫描期间Hd的全部为有效水平扫描期间Hd-A的情况，其与在设定垂直有效数据期间DVI内也包含无效水平扫描期间Hd-D的情况的基础上，示出以第m-1行的图像信号D[m-1]的输出完成(第二条件的满足)为前提的图像信号D[m]的输出时刻的显示准备判定时刻TB[m]不一定一致。
图像信号输出部23在显示部40能够显示时输出图像信号DGB[m]。因此，图像信号DGB[m]不会在线L3所示的时刻以前的时刻被读出并输出。
此外，以下有时将对应于图像信号DGA0[m]～DGA3[m]的各个的图像处理时间UA作为图像处理时间UA0[m]～UA3[m]而区别表现。
并且，以下将从图像信号DGA[m]被存储于行缓存22开始至通过图像信号输出部23向显示部40输出为止的时间作为待机时间UB。以下，为了方便说明，有时将对应于图像信号DGB1[m]～DGB3[m]的各个的待机时间UB作为待机时间UB1[m]～UB3[m]而区别表现。
如上所述，在部分图像处理部21J进行的图像处理中，生成部分图像信号D-J[m]所必要的拍摄信号DS-J的行数，根据对应于部分图像信号D-J[m]的行的位置(m的值)而变动。因此，通常情况下，生成对应于各行的图像信号D[m]的图像处理的开始间隔不会为一定的间隔而会变动。也就是说，线L1通常不为直线而为折线。不过，在图22中，为了图示方便而描绘为直线。此外在使线L1为直线的情况下(例如，将线L1的始点和终点连接为直线的情况下)，线L1的倾斜度根据拍摄部10的帧率即第一帧率而确定。
此外，如上所述，图像信号D[m]的生成所需要的图像处理时间UA[m]根据对应于图像信号D[m]的行的位置(m的值)而变动。因此，线L2不为直线而为折线，但在图22中为了图示方便而描绘为直线。
如图22所示，示出在拍摄垂直扫描期间Fs1内图像处理部21基于从拍摄部10输出的拍摄信号DS1(DGS1[m])生成图像信号D1[m](DGA1[m])的时刻的线L2，在时间上领先于示出在显示垂直扫描期间Fd1内显示部40能够显示图像信号D1[m](DGA1[m])所示的图像的最早的时刻的线L4(将与前述的线L3的定义不同的假想的定时作为线L4进行说明)。将这种线L2时间上领先于线L3(线L4)的状态称为“第一状态”。
也就是说，所谓第一状态是指，在图像处理部21基于拍摄信号DS生成图像信号D[m]时，未完成在显示部40中显示该图像信号D[m]所示的图像的准备的状态。这里，所谓未完成在显示部40中显示图像信号D[m]的准备的情况，是指例如在生成图像信号D1[m]时，显示部40正在显示应该在图像信号D1[m]以前显示的图像信号D1[m-1]所示的图像，显示部40不能显示图像信号D1[m]所示的图像的情况等。
也就是说，在第一状态下，即使图像处理部21生成图像信号D[m]，但由于用于显示图像信号D[m]的显示部40侧的准备完成不及，因此，就显示部40中的图像的显示而言，显示部40侧的显示准备成为瓶颈而延迟的状态。换言之，第一状态是指在显示部40变为能够显示图像信号D[m]的定时，不延迟而能够迅速地显示图像信号D[m]的状态。
不过，由于由显示部40显示一画面所必要的时间(周期)比由拍摄部10拍摄一画面所必要的时间(周期)短，因此，显示部40侧的显示准备成为瓶颈的显示的延迟逐渐缩小以至消除。
在图22中，为了图示方便，作为第一状态仅记载了一个拍摄垂直扫描期间Fs(Fs1)及一个显示垂直扫描期间Fd(Fd1)的一组垂直扫描期间，实际上有存在多组垂直扫描期间的情况。这种情况下，第一状态下的相位差PD1(作为第一状态下的相位差PD，如图22所示付与符号PD1)分别缩短相当于显示垂直扫描期间Fd和拍摄垂直扫描期间Fs的差分的时间。换言之，在每个垂直扫描期间组中，线L3和线L2的距离大致分别缩短相当于显示垂直扫描期间Fd和拍摄垂直扫描期间Fs的差分的时间。
在显示部40侧的显示准备成为瓶颈的显示延迟消除以前，线L2在时间上领先于线L3(线L4)。另一方面在变为显示准备成为瓶颈的显示延迟消除的状态的情况下，尽管实际上并不存在，但设定示出在显示部40侧能够显示图像的最早的时刻的线L4作为假想的状态能够成为时间上领先于线L2的定时。也就是说，可知在显示准备成为瓶颈的显示延迟消除的定时，在假想的状态下，在最快的状态下能够成为线L2和线L4交叉的定时。
此外，如上所述，存在线L2不为直线而为折线的情况。这种情况下，可知线L2和假想的线L4的交叉能够发生多次。
在图22所示的示例中，示出在拍摄垂直扫描期间Fs2内图像处理部21基于从拍摄部10输出的拍摄信号DS2(DGS2[m])生成图像信号D2[m](DGA2[m])的时刻的线L2，与示出在显示垂直扫描期间Fd2内显示部40能够显示图像信号D2[m](DGA2[m])所示的图像的最早的时刻的线L4交叉。将这种线L2和线L4交叉的状态称为“第二状态”。此外，在多次发生线L2及线L4的交叉的情况下，将最初发生这种交叉的状态称为“第二状态”。并且，将线L2和线L4交叉的时刻称为时刻Tth。此外，在多次发生线L2及线L4的交叉的情况下，将最初发生交叉的时刻作为时刻Tth。
即，所谓第二状态是指，从图像处理部21基于拍摄信号DS生成图像信号D[m]时在显示部40中未完成显示该图像信号D[m]示出的图像的准备的状态(线L2总是比线L3时间上领先的状态)，向存在变为在显示部40中能够显示图像信号D[m]示出的图像时图像处理部21未完成用于生成图像信号D[m]的图像处理的情况的状态(存在线L4时间上领先于线L2的情况的状态)迁移。
也就是说，第二状态是指，在时刻Tth以前，在变为显示部40能够显示图像信号D[m]示出的图像的定时，不延迟而显示图像信号D[m]示出的图像的状态；另一方面，在时刻Tth以后，即使到了在显示部40侧能够显示图像信号D[m]的时刻，由于用于生成图像信号D[m]的图像处理部21中的图像处理完成不及，因此，显示部40中的图像的显示存在图像处理部21的图像处理成为瓶颈而延迟的情况的状态。
该第二状态中的相位差PD2(作为第二状态下的相位差PD，如图22所示付与符号PD2)如图22所示比相位差PD1短。
此外，在时刻Tth以后，定时生成器32在垂直有效数据期间DVI内插入一次无效水平扫描期间Hd-D，调整图像信号D[m]从图像信号输出部23的输出定时(显示部40中的图像信号D[m]示出的图像的显示定时)。不过，在即使进行一次的无效水平扫描期间Hd-D的插入，也不及完成用于生成图像信号D[m]的图像处理部21中的图像处理的情况下，进一步重复下一个无效水平扫描期间Hd-D的插入。并且，显示部40等待用于生成图像信号D[m]的图像处理的完成，之后，在生成图像信号D[m]的情况下，在水平扫描期间Hd以下的时间内，显示该图像信号D[m]示出的图像。也就是说，在时刻Tth以后，通过无效水平扫描期间Hd-D的插入来调整图像信号D[m](DGB[m])从图像信号输出部23的输出定时，从而，在图像处理部21中的图像处理的完成定时，使显示部40侧的显示定时以水平扫描期间Hd的精度追随。
如图22所示，示出在显示垂直扫描期间Fd3内显示部40能够显示图像信号D3[m](DGA3[m])示出的图像的最早的时刻的线L4，在时间上领先于示出图像处理部21基于在拍摄垂直扫描期间Fs3内输出的拍摄信号DS3(DGS3[m])生成图像信号D3[m](DGA3[m])的时刻的线L2。将这种线L4时间上领先于线L2的状态称为“第三状态”。此外，如上所述，线L2不为直线而为折线，存在产生多次线L2及线L3的交叉的情况。这种情况下，将时刻Tth以后开始的垂直扫描期间的组(Fs及Fd)中的状态称为第三状态。
也就是说，所谓第三状态，是指总是发生在显示部40中显示图像信号D[m]示出的图像的准备完成时，图像处理部21未完成用于生成图像信号D[m]的图像处理的情况的状态。
也就是说，在第三状态下，由于总是发生即使用于显示图像信号D[m]的显示部40侧的准备完成，用于生成图像信号D[m]的图像处理部21中的图像处理完成不及这样的状况，因此，显示部40中的图像的显示，由于图像处理部21的图像处理成为瓶颈而为延迟的状态。
该第三状态下的相位差PD3(作为第三状态下的相位差PD，如图22所示付与符号PD3)，如图22所示，比相位差PD2短。
此外，第一状态下的相位差PD1比图像处理时间UA(更具体而言，图像处理时间UA1[1]～UA1[m]的最大值)大，第三状态下的相位差PD3为图像处理时间UA1[1]～UA1[m]的最大值以下。
此外，在第三状态下，定时生成器32将无效水平扫描期间Hd-D插入垂直有效数据期间DVI，调整显示部40中的图像信号D[m]示出的图像的显示定时。从而，能够以水平扫描期间Hd的精度使显示部40侧的显示定时追随图像处理部21中的图像处理的完成定时。
如上所述，图像处理时间UA逐行变动。但是，其变动幅度与拍摄垂直扫描期间Fs相比足够小。因此，在使图像信号D[m]的输出的定时(显示部40侧的显示定时)追随图像处理部21中的图像处理的完成定时的状态下，拍摄部10输出拍摄信号DS3期间的时长与图像信号输出部23输出图像信号DGB3期间的时长大致相等。换言之，在第三状态下，定时控制部30以使显示部40的帧率为拍摄部10的帧率即第一帧率的方式，调整输出图像信号D[m]的定时(第二定时控制)。
在图22中，为了图示方便，作为第三状态，仅记载了一个拍摄垂直扫描期间Fs(Fs3)及一个显示垂直扫描期间Fd(Fd3)这一组垂直扫描期间，但实际上存在多组垂直扫描期间。在第三状态下，在多组垂直扫描期间的各组内，以拍摄部10输出拍摄信号DS3期间的时长与图像信号输出部23输出图像信号DGB3期间的时长大致相等的方式，调整输出图像信号D[m]的定时。也就是说，在第三状态下，在多组垂直扫描期间的各组内，以显示部40的帧率成为拍摄部10的帧率即第一帧率的方式，调整输出图像信号D[m]的定时。因此，在该第三状态下，在多组垂直扫描期间的各组内，相位差PD3为大致相等时长。
也就是说，定时控制部30，在相位差PD比规定时间长的情况下，通过以第二帧率输出图像信号D的方式控制定时的第一定时控制来逐渐缩短相位差PD；在相位差PD在规定时间以下的情况下，通过以第一帧率输出图像信号D的方式控制定时的第二定时控制来维持相位差PD成为最短的状态。
在本实施方式中，由于使相位差PD为从拍摄信号DS的帧的开始至图像信号D的帧的开始的时间，作为规定时间，例如可以为图像处理时间UA[1]～UA[M]的最大值。
并且，如上所述，在将相位差PD定义为从拍摄垂直扫描期间Fs的帧的开始至显示垂直扫描期间Fd的帧的开始的时间的情况下，作为规定时间，例如可以基于图像处理时间UA[1]～UA[M]的最大值、拍摄垂直扫描期间Fs的帧的开始至拍摄信号DS的帧的开始的时间、显示垂直扫描期间Fd的帧的开始至图像信号D的帧的开始的时间来决定。
以下，参照图22及图23，以在拍摄垂直扫描期间Fs1内拍摄部10输出的拍摄信号DS1(DGS1)和在显示垂直扫描期间Fd1内图像信号生成部20向显示部40输出的图像信号D1(DGB1)的关系为例，对于第一状态进行说明。
图23为用于说明拍摄信号DS-J1[pJ]、拍摄信号DGS1[m]和图像信号D1[m](图像信号DGA1[m]及图像信号DGB1[m])的关系的时序图。
此外，在图23和后述的图24及图25中，简单起见，设定拍摄信号DS示出的图像的行数为5行(P＝5)、图像信号D示出的图像的行数为4行(M＝4)的情况。并且，在图23至图25所示的示例中，简单起见，不区别拍摄信号DS-L[pL]、DS-C[pC]以及DS-R[pR]，标记为DS-J[pJ](DS-J1[pJ]、DS-J2[pJ]、DS-J3[pJ])。并且，在图23至图25所示的示例中，设定拍摄信号DGS[1]包含拍摄信号DS-J[1]及DS-J[2]，拍摄信号DGS[2]包含拍摄信号DS-J[2]及DS-J[3]，拍摄信号DGS[3]包含拍摄信号DS-J[3]及DS-J[4]，拍摄信号DGS[4]包含拍摄信号DS-J[4]及DS-J[5]的情况。也就是说，在图23至图25所示的示例中，设定图像信号D[1]基于拍摄信号DS-J[1]及DS-J[2]生成，图像信号D[2]基于拍摄信号DS-J[2]及DS-J[3]生成，图像信号D[3]基于拍摄信号DS-J[3]及DS-J[4]生成，图像信号D[4]基于拍摄信号DS-J[4]及DS-J[5]生成的情况。并且，在图23至图25所示的示例中，设定线L2及线L3的交叉仅产生一次的情况。
如图23所示，当从拍摄部10输出拍摄信号DS-J1[m]及DS-J1[m+1](方便起见，开始拍摄信号DGS1[m]的输出)时，图像处理部21基于该拍摄信号DGS1[m]开始图像信号DGA1[m]的生成。并且，图像处理部21从图像处理开始在经过图像处理时间UA1[m]之后，完成图像信号DGA1[m]的生成，将其存储于行缓存22。
另一方面，图23所示的示例例示了上述的第一状态，线L2在时间上领先于线L3。即，在图23所示的示例中，在由图像处理部21完成图像信号DGA1[m]的生成的定时，尚未完成在显示部40中显示图像信号DGB1[m]示出的图像的准备。换言之，在由图像处理部21完成图像信号DGA1[m]的生成的定时，未从输出控制部31输出输出许可脉冲PL[m]。
因此，图像信号输出部23在待机时间UB1[m]内等待图像信号DGB1[m]的输出直至输出输出许可脉冲PL[m]之后的最初的水平扫描期间Hd1[m]为止，之后，在水平扫描期间Hd1[m]内输出图像信号DGB1[m]。
并且，图23所例示的第一状态为直至图像处理部21的图像处理完成为止显示部40的显示准备完成不及的情况。换言之，在水平扫描期间Hd1[m]开始以前，完成了由图像处理部21进行的图像信号DGA1[m]的生成，成为能够从图像信号输出部23输出图像信号DGB1[m]的状态。因此，在图23所例示的第一状态下，显示垂直扫描期间Fd1的垂直有效数据期间DVI内所包含的全部的水平扫描期间Hd成为有效水平扫描期间Hd-A。也就是说，在第一状态下，显示垂直扫描期间Fd的时长为标准垂直扫描时间Td。
这样，在图23所例示的第一状态下，尽管时间十分充裕地完成了用于生成图像信号D1的图像处理，但是，显示部40侧的显示准备成为瓶颈，显示部40中的显示延迟。
因此，从拍摄部10输出拍摄信号DS1开始至显示部40显示图像信号D1示出的图像为止的延迟时间ΔT1为图像信号生成部20中的图像处理所需要的时间(图像处理时间UA)和图像处理完成后用于等待显示部40中的显示准备的时间(待机时间UB)的合计时间。
下面，参照图22及图24，以在拍摄垂直扫描期间Fs2内拍摄部10输出的拍摄信号DS2(DGS2)和在显示垂直扫描期间Fd2内图像信号生成部20向显示部40输出的图像信号D2(DGB2)的关系为例，对于第二状态进行说明。
图24为用于说明拍摄信号DS-J2[pJ](拍摄信号DGS2[m])和图像信号D2[m](图像信号DGA2[m]及图像信号DGB2[m])的关系的时序图。如该图所示，当从拍摄部10输出由拍摄信号DS-J2[m]及DS-J2[m+1]构成的拍摄信号(方便起见，开始DGS2[m]的输出)时，图像处理部21基于该拍摄信号DGS2[m]开始图像信号DGA2[m]的生成。并且，图像处理部21从图像处理开始在经过图像处理时间UA2[m]之后，完成图像信号DGA2[m]的生成，将其存储于行缓存22。
此外，在图24所示的示例中，设定图像信号D2[1]、D2[2]及D2[3]为在时刻Tth以前图像信号输出部23输出的图像信号D[m]，图像信号D2[4]为在时刻Tth以后图像信号输出部23输出的图像信号D[m]的情况。
在时刻Tth以前，线L2在时间上领先于线L3(线L4)。也就是说，在时刻Tth以前，在完成由图像处理部21进行的图像信号DGA2[m]的生成的定时，输出许可脉冲PL[m]未从输出控制部31输出。
因此，图像信号输出部23，在时刻Tth以前，在待机时间UB2[m]内等待图像信号DGB2[m]的输出直至输出输出许可脉冲PL[m]之后的最初的水平扫描期间Hd2[m]为止，之后，在水平扫描期间Hd2[m]内输出图像信号DGB2[m]。
在图24所示的示例中，图像信号输出部23在生成图像信号DGA2[1]之后，在待机时间UB2[1]内等待图像信号DGB2[1]的输出，之后，在水平扫描期间Hd2[1]内输出图像信号DGB2[1]。同样地，图像信号输出部23在生成图像信号DGA2[2]之后，在待机时间UB2[2]内等待图像信号DGB2[2]的输出，之后，在水平扫描期间Hd2[2]内输出图像信号DGB2[2]。
另一方面，在时刻Tth以后，通常线L4在时间上领先于线L2。在线L4在时间上领先于线L2的情况下，当图像处理部21生成图像信号DGA2[m]时，显示部40能够立即(在其后的水平扫描期间Hd内)显示该图像信号DGB2[m]示出的图像。因此，在线L4在时间上领先于线L2的情况下，在完成由图像处理部21进行的图像信号DGA2[m]的生成的定时，从输出控制部31输出输出许可脉冲PL[m]。
在图24所示的示例中，图像信号输出部23在生成图像信号DGA2[3]、输出输出许可脉冲PL[3]之后的最初的水平扫描期间Hd2[3]内，输出图像信号DGB2[3]。
并且，在该图所示的示例中，生成图像信号DGA2[4]在水平扫描期间Hd2[4]的开始后。因此，图像信号输出部23在生成图像信号DGA2[4]、输出输出许可脉冲PL[4]之后的最初水平扫描期间Hd2[5]内，输出图像信号DGB2[4]。
并且，定时生成器32将水平扫描期间Hd2[4]作为无效水平扫描期间Hd-D。
这样，在图24所例示的第二状态下，在时刻Tth以后，由于产生起因于图像处理的显示的延迟，因此，在显示垂直扫描期间Fd2的垂直有效数据期间DVI内插入无效水平扫描期间Hd-D。也就是说，在第二状态下，显示垂直扫描期间Fd的时长为标准垂直扫描时间Td及延长垂直扫描时间Tex的合计时长。
并且，从拍摄部10输出拍摄信号DS2开始至显示部40显示图像信号D2示出的图像为止的延迟时间ΔT2，在时刻Tth以前为图像信号生成部20中的图像处理所需要的时间(图像处理时间UA)和用于等待显示部40中的显示准备的时间(待机时间UB)的合计时间，在时刻Tth以后，在线L4在时间上领先于线L2的情况下，仅为图像信号生成部20中的图像处理所需要的时间(图像处理时间UA)。因此，第二状态所涉及的延迟时间ΔT2比第一状态涉及的延迟时间ΔT1短。
接着，参照图22及图25，以在拍摄垂直扫描期间Fs3内拍摄部10输出的拍摄信号DS3(DGS3)和在显示垂直扫描期间Fd3内图像信号生成部20向显示部40输出的图像信号D3(DGB3)的关系为例，对于第三状态进行说明。
图25为用于说明拍摄信号DS-J3[pJ](拍摄信号DGS3[m])和图像信号D3[m](图像信号DGA3[m]及图像信号DGB3[m])的关系的时序图。
如图25所示，当从拍摄部10输出由拍摄信号DS-J3[m]及DS-J3[m+1]构成的拍摄信号(方便起见，开始DGS3[m]的输出)时，图像处理部21基于该拍摄信号DGS3[m]开始图像信号DGA3[m]的生成。并且，图像处理部21从图像处理开始在经过图像处理时间UA3[m]之后，完成图像信号DGA3[m]的生成，将其存储于行缓存22。
在第三状态下，通常线L4在时间上领先于线L2。在线L4在时间上领先于线L2的情况下，当图像处理部21生成图像信号DGA3[m]时，显示部40能够立即(在其后的水平扫描期间Hd内)显示该图像信号DGB3[m]示出的图像。因此，这种情况下，在完成由图像处理部21进行的图像信号DGA3[m]的生成的定时，从输出控制部31输出输出许可脉冲PL[m]。
具体而言，在图25所示的示例中，图像信号输出部23在生成图像信号DGA3[1]、输出输出许可脉冲PL[1]之后的最初的水平扫描期间Hd3[3]内，输出图像信号DGB3[1]；在生成图像信号DGA3[2]、输出输出许可脉冲PL[2]之后的最初的水平扫描期间Hd3[5]内，输出图像信号DGB3[2]；在生成图像信号DGA3[3]、输出输出许可脉冲PL[3]之后的最初的水平扫描期间Hd3[7]内，输出图像信号DGB3[3]；在生成图像信号DGA3[4]、输出输出许可脉冲PL[4]之后的最初的水平扫描期间Hd3[9]内，输出图像信号DGB3[4]。此外，这种情况下，定时生成器32虽然开始显示垂直扫描期间Fd1的垂直有效数据期间DVI，但由于未输出输出许可脉冲PL[1]，因此，在水平扫描期间Hd3[1]、Hd3[2]内输出无效水平扫描期间Hd-D，同样地，在水平扫描期间Hd3[4]、Hd3[6]及Hd3[8]内进行输出无效水平扫描期间Hd-D的处理。
这样，在图25所例示的第三状态下，由于产生起因于图像处理的显示的延迟，因此，在显示垂直扫描期间Fd3的垂直有效数据期间DVI内插入无效水平扫描期间Hd-D。其结果是，在第三状态下，以显示部40能够进行与在拍摄垂直扫描期间Fs内输出的拍摄信号DS同步的显示的方式，以水平扫描期间Hd的精度调整显示垂直扫描期间Fd的时长。也就是说，在第三状态下，概略来看的话，以与拍摄垂直扫描期间Fs为大致相等的时间的方式调整显示垂直扫描期间Fd。
并且，在第三状态下，在线L4在时间上领先于线L2的情况下，在图像处理部21生成图像信号D[m]后的最初的水平扫描期间Hd内，显示部40显示图像信号D[m]示出的图像。因此，从拍摄部10输出拍摄信号DS3开始至显示部40显示图像信号D3示出的图像为止的延迟时间ΔT3，与图像信号生成部20中的图像处理所需要的时间(图像处理时间UA)大致相等。具体而言，在第三状态下，以水平扫描期间Hd的精度，使从拍摄部10开始拍摄信号DS-J[pJ]的输出起至显示部40开始图像信号D[m]示出的图像的显示止的延迟时间ΔT3和图像处理部21生成图像信号D[m]所需要的图像处理时间UA相等。
因此，在第三状态下，能够以水平扫描期间Hd的精度使得从拍摄部10的拍摄开始至显示部40的显示为止的延迟最小化。这种情况下，延迟时间ΔT3比第一状态涉及的延迟时间ΔT1短，并且，在第二状态涉及的延迟时间ΔT2以下。
并且，如上所述，通过显示部40显示一个画面所需要的时间(周期)比通过拍摄部10拍摄一个画面所需要的时间(周期)短。因此，即使在车辆用拍摄显示装置1以第一状态动作，产生显示部40侧的显示准备成为瓶颈的显示的延迟的情况下，该显示的延迟在各个拍摄垂直扫描期间Fs逐渐地缩小。也就是说，车辆用拍摄显示装置1即使在最初以第一状态动作的情况下，最终过渡至以第三状态动作，在以第三状态的动作开始之后，能够维持以第三状态的动作。其结果是，能够以水平扫描期间Hd的精度使显示部40侧的显示定时追随图像处理部21中的图像处理的完成定时。
<4、第一实施方式的效果>
在本实施方式涉及的车辆用拍摄显示装置1中，在第一条件及第二条件被满足的情况下，从图像信号输出部23输出图像信号D[m]，在第一条件或者第二条件未被满足的情况下，通过插入无效水平扫描期间Hd-D，以水平扫描期间Hd的精度调整图像信号D[m]从图像信号输出部23的输出定时。也就是说，在本实施方式涉及的车辆用拍摄显示装置1中，在图像处理部21生成图像信号D[m]之后的最初的水平扫描期间Hd，显示部40能够显示图像信号D[m]示出的图像。从而，能够以水平扫描期间Hd的精度使从拍摄部10的拍摄起至显示部40的显示止的延迟最小化。
并且，在本实施方式涉及的车辆用拍摄显示装置1中，通过将无效水平扫描期间Hd-D插入垂直有效数据期间DVI，在使显示垂直扫描期间Fd的时长可变的同时，能够维持与拍摄垂直扫描期间Fs的时长大致相同的状态。因此，能够实现抑制了显示的闪烁的高品质的显示。
并且，根据本实施方式，例如，即使在存在伴随图像处理的方法的变更等的图像处理时间的变更的情况下、图像处理时间UA逐行变动的情况下、将拍摄部10交换为帧率不同的拍摄部的情况下、或者将显示部40交换为帧率不同的显示部的情况等、拍摄部10及显示部40的相位差、拍摄部10的帧率以及以显示部40能够显示的最高的帧率中的一部分或者全部变化的情况下，能够使相位差PD自动地收敛至图像处理时间UA以下的长度。
并且，在本实施方式中，由于将部分图像信号D-L示出的图像、部分图像信号D-R示出的图像、部分图像信号D-C示出的图像显示于设置于一个显示部40的显示区域AD，因此，与和三个部分图像信号D-J一对一地设置三个显示部的情况相比较，能够抑制车辆用拍摄显示装置1的成本较低。
不过，在本实施方式中，存在由于拍摄部10输出的拍摄信号DS中的拍摄信号DS-L的像素数、拍摄信号DS-R的像素数以及拍摄信号DS-C的像素数的不同(参照图6)等，左侧图像用图像处理部21L生成部分图像信号D-L[m]的图像处理所需要的时间、右侧图像用图像处理部21R生成部分图像信号D-R[m]的图像处理所需要的时间、中央图像用图像处理部21C生成部分图像信号D-C[m]的图像处理所需要的时间彼此不同的情况。
这种情况下，例如在和三个部分图像信号D-J一对一地设置三个显示部，对各显示部分别地显示各部分图像信号D-J所示的图像的情况下，在各显示部的显示定时不同。这种情况下，会导致作为三个显示部整体的显示品质的下降。
对于此，在本实施方式涉及的图像处理电路100中，在示出生成了部分图像信号D-L[m]、部分图像信号D-R[m]、部分图像信号D-C[m]中的全部的第一条件被满足之后，将上述三个部分图像信号D-J[m]作为一个图像信号D[m]输出。并且，显示部40在一个显示区域AD中，将由该三个部分图像信号D-J[m]构成的图像信号D[m]示出的图像在同一水平扫描期间Hd内显示。从而，能够抑制由于每个显示区域AD-J的显示定时不同导致的显示区域AD的整体的显示品质的下降。
<B、第二实施方式>
在上述的第一实施方式中，如图10所示，通过在垂直有效数据期间DVI内插入无效水平扫描期间Hd-D，以水平扫描期间Hd的精度调整图像信号D[m]的输出定时，使水平扫描期间Hd的时长为固定长度。
与此对比，在第二实施方式涉及的车辆用拍摄显示装置中，在使水平扫描期间Hd的时长为可变长度、以例如显示点时钟信号DCLK的周期来调整图像信号D[m]的输出定时方面，与第一实施方式涉及的车辆用拍摄显示装置1不同。
以下，参照图26至图28，对于第二实施方式涉及的车辆用拍摄显示装置进行说明。此外，在以下例示的第二实施方式中，有关作用或功能与第一实施方式同等的要素，沿用在以上的说明中参照的符号，适当地省略各个的详细的说明(以下，对于说明的变形例也是同样)。
图26为用于说明第二实施方式涉及的车辆用拍摄显示装置所具备的定时控制部30(输出控制部31及定时生成器32)生成的输出控制信号CTR、启动信号DEnb和显示水平同步信号DHsync2的关系的说明图。
第二实施方式涉及的车辆用拍摄显示装置所具备的定时控制部30，除了定时生成器32代替显示水平同步信号DHsync而生成具有可变的周期的显示水平同步脉冲PlsH的显示水平同步信号DHsync2，代替显示垂直同步信号DVsync而生成具有可变的周期的显示垂直同步脉冲PlsV的显示垂直同步信号DVsync2的方面之外，与第一实施方式涉及的车辆用拍摄显示装置1(参照图10)同样地构成。
如图26所示，第二实施方式涉及的输出控制部31，与第一实施方式同样地，在图像处理判定时刻TA[m]及显示准备判定时刻TB[m]中的较晚的时刻(在该图中，由于采用上述的第二方式，其为图像处理判定时刻TA[m])，向输出控制信号CTR设定输出许可脉冲PL[m]。
并且，如图26所示，第二实施方式涉及的定时生成器32从向输出控制部31输出的输出控制信号CTR设定了输出许可脉冲PL[m]的定时开始经过固定的时长即基准前沿时间TP之后，输出显示水平同步脉冲PlsH作为显示水平同步信号DHsync2。
因此，在显示准备判定时刻TB[m]以前完成图像信号D[m]的生成、在经过图像信号生成时刻TC[m]的情况下(情况1)，水平前沿期间DHf的时长为基准前沿时间TP。
另一方面，在显示准备判定时刻TB[m]以前未完成图像信号D[m]的生成的情况下，即，图像信号生成时刻TC[m]在显示准备判定时刻TB[m]之后到来的情况下(情况2)，水平前沿期间DHf的时长为基准前沿时间TP和从显示准备判定时刻TB[m]至图像信号生成时刻TC[m](图像处理判定时刻TA[m])的时长即延长前沿时间TPX的合计值。
这样，第二实施方式涉及的定时生成器32，输出控制部31等待判定图像信号D[m]的输出准备完成、输出输出许可脉冲PL[m]作为输出控制信号CTR，从输出输出许可脉冲PL[m]起经过基准前沿时间TP之后，使水平扫描期间Hd[m]开始。换言之，第二实施方式涉及的定时生成器32，使水平前沿期间DHf延长至图像信号D[m]的输出准备完成为止。
因此，图像信号输出部23即使在图像处理部21中的图像信号D[m]的图像处理延迟的情况下，也能够在水平扫描期间Hd内输出图像信号D[m]。这种情况下，从拍摄部10输出拍摄信号DGS[m]起至显示部40显示基于图像信号D[m]的图像止的延迟时间以显示点时钟信号DCLK的精度被最小化。
图27为用于说明显示部40中的显示准备成为瓶颈的显示的延迟被消除的状态(即，图24所说明的第二状态)下的、第二实施方式涉及的车辆用拍摄显示装置的动作的时序图。并且，图28用于说明图像处理部21的图像处理成为瓶颈而显示上产生延迟的状态(即，图25所说明的第三状态)下的、第二实施方式涉及的车辆用拍摄显示装置的动作的时序图。此外，在图27及图28中，沿用图22至图25说明用的符号。
在图27中，例如在水平扫描期间Hd2[2]中的启动信号DEnb的下降的定时以前生成图像信号DGA2[3]。因此，在水平扫描期间Hd2[2]中的启动信号DEnb的下降的定时输出输出许可脉冲PL[3]。这种情况下，水平扫描期间Hd2[2]的水平前沿期间DHf的时长为基准前沿时间TP。
另一方面，在该图所示的示例中，生成图像信号DGA2[4]的定时在水平扫描期间Hd2[3]中的启动信号DEnb的下降的定时之后。因此，在生成图像信号DGA2[4]的定时输出输出许可脉冲PL[4]。这种情况下，水平扫描期间Hd2[3]的水平前沿期间DHf的时长为基准前沿时间TP和延长前沿时间TPX(从水平扫描期间Hd2[3]中的启动信号DEnb的下降的定时至输出输出许可脉冲PL[4]的时间)的合计的时长。也就是说，在显示部40中的显示准备成为瓶颈的显示的延迟被消除的时刻Tth以后，根据图像处理的状况延长水平扫描期间Hd。
此外，在图28中，生成图像信号DGA[3]的定时在水平扫描期间Hd3[m-1]中的启动信号DEnb下降的定时之后。因此，在生成图像信号DGA3[m]的定时，输出输出许可脉冲PL[m]。这种情况下，水平扫描期间Hd3[m]的水平前沿期间DHf的时长为基准前沿时间TP和延长前沿时间TPX(从水平扫描期间Hd3[m]中的启动信号DEnb的下降的定时至输出输出许可脉冲PL[m]的时间)的合计的时长。也就是说，在图像处理部21的图像处理成为瓶颈而在显示上产生延迟的状态(第三状态)下，根据图像处理的状况延长水平扫描期间Hd。
此外，如图27及图28所明示的，在第二实施方式中，不存在无效水平扫描期间Hd-D，全部的水平扫描期间Hd为有效水平扫描期间Hd-A。
此外，在第二实施方式中，水平扫描期间Hd例如以显示点时钟信号DCLK的单位可变，因此，显示垂直扫描期间Fd也具有可变的时长。
<C、变形例>
以上的各方式能够进行多样的变形。具体的变形的方式例示如下。从以下的例示中任意选择的两种以上的方式，在相互不矛盾的范围内能够适当地组合。此外，在以下说明的变形例中，为了避免说明的重复，对于与上述的本说明的共通点省略说明。
<变形例1>
在上述的实施方式中，例示了HUD作为显示部40，但本发明不限于这种方式，也可以为背投型投影仪、液晶显示装置、OLED(organic light emitting diode，有机发光二极管)显示装置、等离子显示装置。
<变形例2>
在上述的实施方式及变形例中，图像处理电路100和显示部40之间的数据传送通过低电压差动(LVDS)的串行接口进行，也可以通过并行接口进行。
<变形例3>
在上述的实施方式及变形例中，由拍摄垂直同步信号SVsync规定的拍摄垂直扫描期间Fs具有比由显示垂直同步信号DVsync(或者DVsync2)规定的显示垂直扫描期间Fd以上的时长，但本发明不限于此方式，拍摄垂直扫描期间Fs也可以具有比显示垂直扫描期间Fd短的时长。
<变形例4>
在上述的实施方式及变形例中，输出控制部31基于图像处理部21输出的写入完成信号PtA和图像信号输出部23输出的输出完成信号PtB，判定输出图像信号D[m]的准备是否完成，但本发明不限于此方式，输出控制部31也可以周期性地参照行缓存22，通过判定图像信号D[m]记录于行缓存22以及从行缓存22读取了图像信号D[m-1]来判定输出图像信号D[m]的准备是否完成。
<变形例5>
在上述的实施方式及变形例中，例示了图像处理时间UA[m]逐行变动的情况进行说明，但本发明不限于此方式，图像处理时间UA[m]也可以在各行间相同。
<变形例6>
在上述的实施方式及变形例中，例示了拍摄部10具备三个图像传感器12J(12L、12C、12R)的情况进行说明，但本发明不限于此方式，拍摄部10只要具备两个以上的图像传感器12J即可。
这种情况下，图像处理部21具有与两个以上的图像传感器12J一一对应的部分图像处理部21J即可，并且，显示区域AD只要能够将图像显示于与两个以上的图像传感器12J一一对应的两个以上的显示区域AD-J即可。
并且，这种情况下，表示作为显示对象行的第m行的图像信号D[m]的图像处理完成的第一条件，设为在两个以上的各部分图像处理部21J输出的部分写入完成信号PtA-J示出的值的最小值ma为显示对象行的行编号m以上的情况下被满足即可。也就是说，“图像处理行信息”为表示显示两个以上的部分图像处理部21J生成的部分图像信号D-J[m]的行中的最后显示图像的行的信息。
<变形例7>
在上述的实施方式及变形例中，对于在图像处理部21中，执行关于左右方向将接近车辆α的区域与远离车辆的区域相比较而相对地放大的水平方向缩小/放大处理和关于上下方向将中央的区域与上或者下的区域相比较而相对地放大的垂直方向缩小/放大处理的双方的方式进行了说明，但既可以执行其中一方，也可以双方均不执行。
并且，关于左右方向将接近车辆α的区域与远离车辆α的区域相比较而相对地放大的水平方向缩小/放大处理为通过缩小远离车辆α的区域的处理或者放大接近车体的区域的处理的至少一者而能够实现的处理。也就是说，在放大接近车体的区域的情况下，缩小远离车体的区域的处理不是必须的；在缩小远离车体的区域的情况下，放大接近车体的区域的处理不是必须的。同样地，关于上下方向将中央的区域与上或者下的区域相比较而相对地放大的垂直方向缩小/放大处理为通过放大中央的区域的处理、缩小上区域的处理或者缩小下区域的处理的至少一者而能够实现的处理。也就是说，在放大中央的区域的情况下，缩小上或者下区域的处理不是必须的；在缩小上或者下区域的情况下，放大中央的区域的处理不是必须的。
此外，在缩小/放大处理中，能够适当地变更各区域LR1～LR6(图16A)或各区域BR1～BR9(图19)间的比率、区分的区域的个数以及其放大率或缩小率。
<变形例8>
在上述的实施方式及变形例中，在修整处理之后执行镜像生成处理，之后执行水平方向缩小/放大处理以及垂直方向缩小/放大处理，但本发明不限于此，能够适当变更其执行顺序。并且，在上述的实施方式中，在一经配合显示区域AD-J的大小而放大在修整处理中修整的修整区域AreaT-J的图像之后，执行左右反转处理、水平方向缩小/放大处理以及垂直方向缩小/放大处理，但也可以不放大经过修整的图像而执行左右反转处理，之后在水平方向缩小/放大处理以及垂直方向缩小/放大处理中执行为了配合显示区域AD-J的大小的放大处理。通过这样构成，能够缩短图像处理时间。
<变形例9>
在上述的实施方式及变形例中，在图3A及图3B中示出了显示于左侧显示区域AD-L的图像被放大显示的放大显示区域Area-L、显示于中央显示区域AD-C的图像被放大显示的放大显示区域Area-C以及显示于右侧显示区域AD-R的图像被放大显示的放大显示区域Area-R的配置例，上述区域在无损本发明的主旨的范围内能够适当变更。
<变形例10>
在夜间行驶中，存在由于反映于侧方后视镜或者后视镜的图像的亮度不足而驾驶者无法察觉危险的情况。因此，也可以在上述的实施方式及变形例中所说明的图像处理的基础上，图像处理部21执行校正基于拍摄信号DS的图像的亮度的处理。通过执行提高基于拍摄信号DS的图像的亮度的校正，即使为在灰暗的地方拍摄的图像，也能够为车辆的安全行驶显示更为有用的车辆外部的图像。
<变形例11>
在上述的实施方式及变形例中，作为“拍摄显示装置”例示了搭载于车辆α的车辆用拍摄显示装置，但“拍摄显示装置”不限于搭载于车辆的车辆用的拍摄显示装置。例如，可以用于投影仪装置、HUD(平视显示器)、HMD(头戴显示器)等的显示装置。
符号说明
1 车辆用拍摄显示装置、10 拍摄部、12 图像传感器、12L 左后方用的图像传感器、12C 中央后方用的图像传感器、12R 右侧后方用的图像传感器、13 定时生成器、20 图像信号生成部、21 图像处理部、21L 左侧图像用图像处理部、21C 中央图像用图像处理部、21R 右侧图像用图像处理部、22 行缓存、23 图像信号输出部、30 定时控制部、31 输出控制部、32 定时生成器、33 参数发送部、40 显示部、41 控制器、42 液晶面板、50 控制部、60操作部、100 图像处理电路、AD 显示区域、AD-L左侧显示区域、AD-C 中央显示区域、AD-R右侧显示区域。

Claims (12)

1.一种拍摄装置，其特征在于具备：
拍摄部，具备K个拍摄被拍摄体并输出拍摄信号的拍摄元件，K为2以上的自然数；
显示部，具备与所述拍摄部的K个拍摄元件一一对应的K个显示区域；
图像信号生成部，基于从所述拍摄部的第j个拍摄元件输出的拍摄信号，生成表示应该由所述显示部的第j个显示区域的各行显示的图像的部分图像信号，将由与所述K个显示区域对应的K个部分图像信号构成的、表示应该由所述显示部的各行显示的图像的图像信号向所述显示部输出，j为满足1≤j≤K的自然数；以及
定时控制部，基于表示与从所述图像信号生成部向所述显示部已完成了输出的图像信号对应的行的显示输出行信息和表示与所述图像信号生成部已生成的部分图像信号对应的行中的、最后显示图像的行的图像处理行信息，控制所述图像信号生成部输出所述图像信号的定时，
其中，所述定时控制部：
在所述显示输出行信息表示领先于显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行中显示图像的定时以后显示图像的行的情况下，
以输出表示应该由所述显示对象行显示的图像的图像信号的方式控制所述图像信号生成部；
所述显示部能够在各个由以一定周期输出的显示水平同步脉冲确定的期间内将图像显示于各行，
所述图像信号生成部与所述显示水平同步脉冲同步地输出所述图像信号，
所述定时控制部：
在所述显示输出行信息表示领先于所述显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行以前显示图像的行的情况下，以停止表示应该由所述显示对象行显示的图像的图像信号的输出的方式控制所述图像信号生成部，
之后，以与所述图像处理行信息表示的行成为所述显示对象行之后输出的所述显示水平同步脉冲同步地输出表示应该由所述显示对象行显示的图像的图像信号的方式，控制所述图像信号生成部。
2.根据权利要求1所述的拍摄装置，其特征在于
所述显示部能够在各个由显示水平同步脉冲确定的期间内将图像显示于各行，
所述图像信号生成部与所述显示水平同步脉冲同步地输出所述图像信号，
所述定时控制部：
能够以可变的周期输出所述显示水平同步脉冲，
在所述显示输出行信息表示领先于所述显示对象行而显示图像的行，并且，所述图像处理行信息表示在所述显示对象行以前显示图像的行的情况下，以停止所述显示水平同步脉冲的输出的同时，停止表示应该由所述显示对象行显示的图像的图像信号的输出的方式控制所述图像信号生成部，
之后，在所述图像处理行信息表示的行成为所述显示对象行的情况下，以输出所述显示水平同步脉冲的同时，与被输出的该显示水平同步脉冲同步地输出表示应该由所述显示对象行显示的图像的图像信号的方式控制所述图像信号生成部。
3.一种拍摄装置，其特征在于具备：
拍摄部，具备K个拍摄被拍摄体并与拍摄同步信号同步地输出表示拍摄结果的拍摄信号的拍摄元件，K为2以上的自然数；
显示部，具备与所述拍摄部的K个拍摄元件一一对应的K个显示区域，能够与显示同步信号同步地、以比所述拍摄部高的帧率进行图像显示；
图像信号生成部，基于从所述拍摄部的第j个拍摄元件输出的拍摄信号，生成表示应该由所述显示部的第j个显示区域显示的图像的部分图像信号，将由与所述K个显示区域对应的K个部分图像信号构成的、表示应该由所述显示部显示的图像的图像信号与所述显示同步信号同步地向所述显示部输出，j为满足1≤j≤K的自然数；以及
定时控制部，控制所述图像信号生成部输出所述图像信号的定时，
在将从所述拍摄同步信号的帧的开始起至所述显示同步信号的帧的开始止的时间作为相位差、
将所述拍摄部的帧率作为第一帧率、
将能够由所述显示部显示的最高的帧率作为第二帧率时，
所述定时控制部能够执行：
第一定时控制，在所述相位差比规定时间长的情况下，通过以所述显示部的帧率成为所述第二帧率的方式使所述图像信号生成部输出所述图像信号，逐渐减小所述相位差，
第二定时控制，在所述相位差变为所述规定时间以下以后，通过以所述显示部的帧率成为所述第一帧率的方式使所述图像信号生成部输出所述图像信号。
4.根据权利要求3所述的拍摄装置，其特征在于
所述定时控制部：
在所述相位差比所述规定时间长的情况下，
在生成所述K个部分图像信号之后，等待直至能够由所述显示部显示所述K个部分图像信号表示的图像为止，将由所述K个部分图像信号构成的图像信号输出至所述显示部。
5.根据权利要求3所述的拍摄装置，其特征在于
所述显示同步信号包含一定周期的显示水平同步脉冲，
所述定时控制部：
在所述相位差成为所述规定时间以下以后，在完成了所述K个部分图像信号的生成的图像信号生成时刻变为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后的情况下，
与在所述图像信号生成时刻之后最初输出的显示水平同步脉冲同步地，将由所述K个部分图像信号构成的图像信号向所述显示部输出。
6.根据权利要求4所述的拍摄装置，其特征在于
所述显示同步信号包含一定周期的显示水平同步脉冲，
所述定时控制部：
在所述相位差成为所述规定时间以下以后，在完成了所述K个部分图像信号的生成的图像信号生成时刻变为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后的情况下，
与在所述图像信号生成时刻之后最初输出的显示水平同步脉冲同步地，将由所述K个部分图像信号构成的图像信号向所述显示部输出。
7.根据权利要求3所述的拍摄装置，其特征在于
所述定时控制部：
输出包含可变的周期的显示水平同步脉冲的所述显示同步信号，
在所述相位差变为所述规定时间以下以后，在完成了所述K个部分图像信号的生成的图像信号生成时刻变为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后的情况下，
在停止所述显示水平同步脉冲的输出的同时，停止由所述K个部分图像信号构成的图像信号的输出，直至所述图像信号生成时刻为止，
在所述图像信号生成时刻之后，在输出所述显示水平同步脉冲的同时，与被输出的该显示水平同步脉冲同步地输出由所述K个部分图像信号构成的图像信号。
8.根据权利要求4所述的拍摄装置，其特征在于
所述定时控制部：
输出包含可变的周期的显示水平同步脉冲的所述显示同步信号，
在所述相位差变为所述规定时间以下以后，在完成了所述K个部分图像信号的生成的图像信号生成时刻变为在所述显示部中能够显示所述K个部分图像信号表示的图像的能够显示时刻以后的情况下，
在停止所述显示水平同步脉冲的输出的同时，停止由所述K个部分图像信号构成的图像信号的输出，直至所述图像信号生成时刻为止，
在所述图像信号生成时刻之后，在输出所述显示水平同步脉冲的同时，与被输出的该显示水平同步脉冲同步地输出由所述K个部分图像信号构成的图像信号。
9.根据权利要求1至8中任一项所述的拍摄装置，其特征在于
所述显示部设置于车辆的内部，
所述拍摄元件拍摄所述车辆的外部。
10.根据权利要求9所述的拍摄装置，其特征在于
所述拍摄部所具备的K个拍摄元件包括：
拍摄所述车辆的中央后方的被拍摄体的第一拍摄元件；
拍摄所述车辆的左后方的被拍摄体的第二拍摄元件；以及
拍摄所述车辆的右后方的被拍摄体的第三拍摄元件，
所述显示部所具备的K个显示区域包括：
对应于所述第一拍摄元件的第一显示区域；
对应于所述第二拍摄元件的、与所述第一显示区域相比设置于左侧的第二显示区域；以及
对应于所述第三拍摄元件的、与所述第一显示区域相比设置于右侧的第三显示区域。
11.一种拍摄显示装置，其特征在于具备：
根据权利要求1至10中任一项所述的拍摄装置。
12.一种车辆，其特征在于具备：
根据权利要求11所述的拍摄显示装置。
CN201580035395.1A 2014-08-11 2015-08-07 拍摄装置、拍摄显示装置以及车辆 Active CN106537903B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014163407 2014-08-11
JP2014-163407 2014-08-11
JP2015136740A JP6582644B2 (ja) 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両
JP2015-136740 2015-07-08
PCT/JP2015/003985 WO2016024396A1 (ja) 2014-08-11 2015-08-07 撮像装置、撮像表示装置、及び、車両

Publications (2)

Publication Number Publication Date
CN106537903A CN106537903A (zh) 2017-03-22
CN106537903B true CN106537903B (zh) 2019-06-21

Family

ID=55304033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580035395.1A Active CN106537903B (zh) 2014-08-11 2015-08-07 拍摄装置、拍摄显示装置以及车辆

Country Status (4)

Country Link
US (1) US10389920B2 (zh)
JP (1) JP6582644B2 (zh)
CN (1) CN106537903B (zh)
WO (1) WO2016024396A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP2017126811A (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
US10640216B2 (en) * 2016-01-27 2020-05-05 Thales Avionics, Inc. Projection cassette assemblies and related systems for use with aircraft seats
JP6602721B2 (ja) * 2016-04-15 2019-11-06 株式会社東海理化電機製作所 車両用視認装置
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
JP6868789B2 (ja) * 2016-11-08 2021-05-12 ソニーグループ株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
JP6903925B2 (ja) 2017-02-07 2021-07-14 セイコーエプソン株式会社 撮像表示システム、乗用装置
DE102017218722A1 (de) * 2017-10-19 2019-04-25 Robert Bosch Gmbh Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
KR102266640B1 (ko) * 2017-11-30 2021-06-18 현대모비스 주식회사 클러스터 일체형 헤드업 디스플레이 장치
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
EP3760467B1 (en) * 2018-03-02 2022-06-22 Panasonic Intellectual Property Management Co., Ltd. Display system
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
JP7184591B2 (ja) * 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7242332B2 (ja) * 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP7349859B2 (ja) * 2019-09-18 2023-09-25 株式会社Subaru 車外モニタ装置
JP2021093628A (ja) * 2019-12-10 2021-06-17 トヨタ自動車株式会社 車両用周辺表示装置
GB2596111B (en) * 2020-06-18 2023-03-22 Dualitas Ltd Frame rate synchronization
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
CN114666455A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 拍摄控制方法、装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
CN102256051A (zh) * 2010-05-18 2011-11-23 精工爱普生株式会社 摄影装置、显示定时控制电路

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812332A (en) 1989-09-28 1998-09-22 Ppg Industries, Inc. Windshield for head-up display system
JPH058661A (ja) 1991-07-02 1993-01-19 Kansei Corp 車両用ヘツドアツプデイスプレー装置
CA2076420C (en) 1991-08-20 1999-07-13 Glenn Edward Freeman Windshield for head-up display system
JP3240074B2 (ja) 1992-11-06 2001-12-17 矢崎総業株式会社 車両用表示装置
JP3400584B2 (ja) 1994-12-19 2003-04-28 本田技研工業株式会社 車載用表示装置
JPH09254681A (ja) 1996-01-16 1997-09-30 Murakami Corp 車両用画像表示装置
JPH10166943A (ja) 1996-12-05 1998-06-23 Horigome Tatsuro 車両用外界モニター装置
JPH10305742A (ja) 1997-05-07 1998-11-17 Suzuki Motor Corp 車両用ヘッドアップディスプレー装置
JP3154676B2 (ja) 1997-06-11 2001-04-09 松下電器産業株式会社 車載カメラ映像合成透視装置
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
JPH11255020A (ja) 1998-03-11 1999-09-21 Toshio Hiura 自動車の小型後方安全確認装置
JP2000177483A (ja) 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の外部監視装置
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2000131642A (ja) 1999-11-01 2000-05-12 Kansei Corp ヘッドアップディスプレ―装置
JP4280648B2 (ja) 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
JP2005284029A (ja) 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd マルチビジョン装置
JP4706896B2 (ja) 2004-09-07 2011-06-22 アイシン精機株式会社 広角画像の補正方法及び車両の周辺監視システム
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP2006248374A (ja) 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
US7925973B2 (en) * 2005-08-12 2011-04-12 Brightcove, Inc. Distribution of content
JP2007110572A (ja) 2005-10-14 2007-04-26 Alpine Electronics Inc 複数カメラ画像合成表示装置
US7974771B2 (en) * 2006-09-22 2011-07-05 Nortel Networks Limited Method and apparatus for enabling commuter groups
JP2008094292A (ja) 2006-10-13 2008-04-24 Nissan Motor Co Ltd 車両用表示装置及び情報表示方法
JP2008126973A (ja) 2006-11-24 2008-06-05 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ部構造
JP4941760B2 (ja) 2007-09-24 2012-05-30 株式会社デンソー 車両周辺監視装置
EP2229761B1 (de) * 2007-12-06 2017-01-25 Continental Teves AG & Co. oHG Verwendung des wlan-standards für eine c2c-kommunikation durch hinzufügen von neuen pakettypen
ES2562685T3 (es) * 2007-12-06 2016-03-07 Continental Teves Ag & Co. Ohg Utilización de la norma WLAN para una comunicación C2C añadiendo nuevos tipos de paquetes
US8280583B2 (en) * 2007-12-11 2012-10-02 Continental Teves Ag & Co. Ohg Transmission of vehicle-relevant data of a vehicle via mobile communication
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
JP4695665B2 (ja) 2008-03-31 2011-06-08 株式会社村上開明堂 発光表示装置付きバックミラー
EP2271522B1 (de) * 2008-04-14 2018-11-07 Continental Teves AG & Co. OHG Ortungssignal für einsatzkräfte
JP2010221899A (ja) 2009-03-24 2010-10-07 Murakami Corp モニター付車両用ミラー
US8995327B2 (en) * 2009-12-02 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Broadcasting messages in multi-channel vehicular networks
JP2011199735A (ja) * 2010-03-23 2011-10-06 Toshiba Corp 画像処理装置および画像処理システム
EP2555518A4 (en) 2010-03-26 2014-06-25 Honda Motor Co Ltd DEVICE FOR DRIVING A VEHICLE
JP2011213185A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子ルームミラー装置
JP2011213186A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子サイドミラー装置
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
JP5757410B2 (ja) 2011-05-17 2015-07-29 日本精機株式会社 車両用表示装置及びその表示方法
US9295375B2 (en) * 2012-09-27 2016-03-29 Hrayr Karnig Shahinian Programmable spectral source and design tool for 3D imaging using complementary bandpass filters
JP6044317B2 (ja) * 2012-11-21 2016-12-14 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9319590B2 (en) 2012-11-21 2016-04-19 Seiko Epson Corporation Image capturing device including display control section that causes display data to be displayed in first and second display regions of display screen, and method for controlling image capturing device
JP6438460B2 (ja) * 2013-05-17 2018-12-12 アヴァンティス メディカル システムズ， インコーポレイテッド 二次撮像内視鏡デバイス

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
CN102256051A (zh) * 2010-05-18 2011-11-23 精工爱普生株式会社 摄影装置、显示定时控制电路

Also Published As

Publication number Publication date
JP6582644B2 (ja) 2019-10-02
CN106537903A (zh) 2017-03-22
WO2016024396A1 (ja) 2016-02-18
JP2016040163A (ja) 2016-03-24
US20170237882A1 (en) 2017-08-17
US10389920B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106537903B (zh) 拍摄装置、拍摄显示装置以及车辆
CN106576154B (zh) 车辆用摄像装置、车辆用摄像显示系统以及车辆
CN102226852B (zh) 一种数码体视显微镜的成像系统
CN106664357B (zh) 成像装置、成像-显示装置及其控制方法
CN102759844B (zh) 投影装置及投影方法
JP2009531979A (ja) 立体メガネシャッタを制御するシステム、方法、及びコンピュータプログラム製品
JP5304329B2 (ja) ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
CN106134173B (zh) 显示控制装置和显示设备
KR101779737B1 (ko) 촬상 장치, 화상 처리 장치, 표시 제어 장치 및 촬상 표시 장치
JP6601020B2 (ja) 撮像表示装置
CN102082901A (zh) 图像摄像装置
JP2016225849A (ja) 表示システム及び表示方法
CN106664355B (zh) 摄像装置、图像处理装置以及摄像显示装置
JP2016040902A (ja) 撮像表示装置及びその制御方法
CN205879130U (zh) 一种基于振镜的三维扫描仪
CN105739105B (zh) 立体画面显示系统及其方法
KR100282540B1 (ko) 그래픽표시장치및그래픽표시방법
JP2016039587A (ja) 画像処理装置及び撮像表示システム
JP2004356962A (ja) 車両用映像表示装置
CN105427774B (zh) 基于fpga产生水平移动图形信号的装置及方法
CN105334648B (zh) 基于fpga产生移动图形信号的装置及方法
JP6365097B2 (ja) 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置
CN114387935A (zh) 一种lcd的驱动方法、控制器及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant