JP2009267923A - Imaging system - Google Patents

Imaging system Download PDF

Info

Publication number
JP2009267923A
JP2009267923A JP2008117137A JP2008117137A JP2009267923A JP 2009267923 A JP2009267923 A JP 2009267923A JP 2008117137 A JP2008117137 A JP 2008117137A JP 2008117137 A JP2008117137 A JP 2008117137A JP 2009267923 A JP2009267923 A JP 2009267923A
Authority
JP
Japan
Prior art keywords
camera
exposure
cameras
common
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008117137A
Other languages
Japanese (ja)
Inventor
Tomoyuki Kurashige
知行 倉重
Kensaku Nomoto
健策 野本
Masanori Tsunochi
正則 津野地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Advanced Digital Inc
Original Assignee
Hitachi Advanced Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Advanced Digital Inc filed Critical Hitachi Advanced Digital Inc
Priority to JP2008117137A priority Critical patent/JP2009267923A/en
Publication of JP2009267923A publication Critical patent/JP2009267923A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging system that suppresses unbalance of brightness at a boundary of each camera image frame without adding any new component and even if the cameras have variation in performance. <P>SOLUTION: The cameras 10A to 10D each are provided with a video processing circuit 13 which provides a common imaging area to be shared with other cameras in an imaging area to be photographed and detects a luminance signal of the common imaging area to generate common area exposure detection information. A central controller 30 has a central processor 33 which compares pieces of common area exposure detection information sent from the respective cameras and outputs exposure correction information 23 to corresponding cameras according to differences of common area exposure detection information in the same common imaging area between the cameras. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、複数のカメラから得られた画像を合成して表示する撮像システムに係り、特に、各カメラからの画像境界部に発生する明るさのアンバランスをなくす撮像システムに関する。   The present invention relates to an imaging system that synthesizes and displays images obtained from a plurality of cameras, and more particularly to an imaging system that eliminates the brightness imbalance that occurs at the image boundary from each camera.

自動車ボディにカメラを設置し、車両周囲を撮像して運転者の死角画像を表示し、運転補助機能を提供する撮像システムが実用化されている。当初の車載撮像システムは、車両の後方や運転席の反対側側面に1台のカメラを設置し、カメラの撮影画像をそのまま表示モニターに表示するものが主流であった。最近では、4台あるいはそれ以上のカメラを車両周囲に配置し、視点変換技術などを用いて、例えば車両上方からの視点画像を擬似的に生成するとともに、各カメラ画像を合成して、車両全周囲をモニタリングすることが可能になっている。このような車両周囲を撮像してユーザに対し駐車支援を行う技術は、例えば特許文献1、2に開示されている。   2. Description of the Related Art An imaging system has been put into practical use in which a camera is installed on an automobile body, a driver's blind spot image is displayed by imaging a vehicle periphery, and a driving assistance function is provided. The original in-vehicle imaging system is mainly one in which one camera is installed on the rear side of the vehicle or on the side opposite to the driver's seat and the captured image of the camera is displayed on the display monitor as it is. Recently, four or more cameras are arranged around the vehicle, and using viewpoint conversion technology or the like, for example, a viewpoint image from the top of the vehicle is generated in a pseudo manner, and each camera image is synthesized, It is possible to monitor the surroundings. A technique for imaging the surroundings of the vehicle and providing parking assistance to the user is disclosed in, for example, Patent Documents 1 and 2.

特開2005−239048号公報Japanese Patent Application Laid-Open No. 2005-239048 特開2008−44529号公報JP 2008-44529 A

一般にカメラには、撮影した画像の輝度信号量に応じて絞りや電子シャッター速度を調整して輝度信号量を適正値に制御する自動露光制御機能や、撮影した画像の赤色成分と青色成分の比率などから被写体色温度を推定し白色バランスを適正に維持する自動色バランス制御機能、ないし自動色温度補正機能が実装されている。すなわち、様々な被写体に対して個々のカメラが出力する画像は、それぞれのカメラが撮影する撮像枠内での画像に対して適正な輝度信号量と色バランスを維持することができる。しかしながらこれらの自動制御機能が原因で、複数のカメラからの画像を組合せて1枚の画像を合成する場合、各カメラの画像枠の境界で明るさや色合いにアンバランスが生じるという課題がある。   Generally, a camera has an automatic exposure control function that controls the brightness signal amount to an appropriate value by adjusting the aperture and electronic shutter speed according to the luminance signal amount of the photographed image, and the ratio of the red component to the blue component of the photographed image. An automatic color balance control function or an automatic color temperature correction function for estimating the subject color temperature from the above and maintaining the white balance appropriately is implemented. That is, the images output by the individual cameras for various subjects can maintain an appropriate luminance signal amount and color balance with respect to the images within the imaging frames captured by the respective cameras. However, due to these automatic control functions, when images from a plurality of cameras are combined to synthesize one image, there is a problem that unbalance in brightness and hue occurs at the boundaries of the image frames of the cameras.

このアンバランスの発生のメカニズムを図面を用いて説明する。
図3は、車両の前後左右に4台のカメラを設置し、前記特許文献にも開示された視点変換技術を用いて、車両上空の視点からの画像を擬似的に合成して表示する例である。(a)に示すように、車両の前後左右にはカメラA,B,C,Dが配置されている。(b)は表示画像であり、それぞれのカメラで撮影された画像が、表示画面の領域A,B,C,Dにそれぞれ出力され全体画像が生成される。ここで、車両前方(図面上方)が日向、車両後方(図面下方)が日陰である場合を想定する。本来なら(b)に示すように、領域Aは明るく、領域Dは暗く、また各領域A,B,C,Dの境界では明るさは同一レベルで表示されるべきである。しかしながら合成後の実際の表示画像では、(c)に示すように、各領域の境界にて明るさにアンバランスが生じる。
The mechanism of occurrence of this imbalance will be described with reference to the drawings.
FIG. 3 shows an example in which four cameras are installed on the front, rear, left and right sides of the vehicle, and an image from a viewpoint above the vehicle is artificially synthesized and displayed using the viewpoint conversion technology disclosed in the patent document. is there. As shown in (a), cameras A, B, C, and D are arranged on the front, rear, left and right sides of the vehicle. (B) is a display image, and the images captured by the respective cameras are output to the areas A, B, C, and D of the display screen, respectively, and an entire image is generated. Here, it is assumed that the front of the vehicle (upward in the drawing) is sunny and the rear of the vehicle (downward in the drawing) is shaded. Originally, as shown in (b), the area A should be bright, the area D should be dark, and the brightness should be displayed at the same level at the boundaries of the areas A, B, C, and D. However, in the actual display image after synthesis, as shown in (c), the brightness is unbalanced at the boundary of each region.

これは、それぞれのカメラが独立に、それぞれの撮影する撮像枠内での画像を元に自動露光制御を行うからである。各カメラは自動露光制御により、撮像枠で得られる輝度信号量の総和量を一定値に維持するように制御する。よって、例えばカメラAとカメラDを比較すると、日向の部分を撮影するカメラAの画像は本来より暗くなるように、逆に日陰の部分を撮影するカメラDの画像は本来より明るくなるように露光されて表示される。また、カメラBとカメラCの画像には日向部分と日陰部分の両方を含むが、その占有割合が異なれば同様の理由で露光条件が異なるので、各領域の境界にて明るさにアンバランスが生じることになる。   This is because each camera independently performs automatic exposure control based on an image within an imaging frame to be photographed. Each camera is controlled by automatic exposure control so that the total amount of luminance signals obtained in the imaging frame is maintained at a constant value. Therefore, for example, when comparing camera A and camera D, exposure is performed so that the image of camera A that captures the sunlit portion is darker than the original, and the image of camera D that captures the shaded portion is brighter than the original. Displayed. The images of the camera B and the camera C include both a sunlit portion and a shaded portion, but if the occupation ratio is different, the exposure condition is different for the same reason, so that the brightness is unbalanced at the boundary of each region. Will occur.

このアンバランスを解消するためには、例えば(1)各カメラの設置位置に照度センサを設置して、各位置の照度値に応じて各カメラの露光条件を制御する方法、(2)各カメラの信号を合成処理する中央制御装置から、それぞれのカメラに対し同一の露光条件(絞り値ないしシャッター速度)になるよう制御する方法、などの対策が考えられる。しかしながら、(1)では新たなセンサ部品を取り付ける必要があり、(2)では複数のカメラ(撮像素子)が同一の性能(光感度特性)を示すことが要求されることから、いずれも実用的とは言えない。   In order to eliminate this unbalance, for example, (1) a method in which an illuminance sensor is installed at the installation position of each camera, and the exposure condition of each camera is controlled according to the illuminance value at each position, and (2) each camera It is conceivable to take measures such as a method for controlling each camera so that the same exposure condition (aperture value or shutter speed) is obtained from the central control device that performs the synthesis processing of the above signals. However, in (1), it is necessary to attach a new sensor component, and in (2), it is required that a plurality of cameras (imaging devices) exhibit the same performance (photosensitivity characteristics). It can not be said.

本発明の目的は、上記課題に鑑み、新たな部品を追加することなく、またカメラの性能にばらつきがあっても、各カメラ画像枠の境界で明るさのアンバランスを抑圧することのできる撮像システムを提供することである。   SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide an imaging that can suppress brightness imbalance at the boundary of each camera image frame without adding new parts and even if the performance of the camera varies. Is to provide a system.

本発明は、複数のカメラで撮影した画像を中央制御装置に伝送し、各カメラからの画像を合成して表示する撮像システムであって、各カメラは、撮影する撮像エリア内に他のカメラとの間で共有する領域である共通撮像エリアを設け、撮影した画像信号を処理すると共に共通撮像エリア部分の輝度信号を検波して共通エリア露光検波情報を生成する映像処理回路と、撮影した画像信号と共通エリア露光検波情報を中央制御装置に伝送する伝送処理回路と、光学系と撮像素子に対して露光制御信号を出力するカメラプロセッサを備え、中央制御装置は、各カメラから伝送された画像信号を合成して画像表示部に表示する表示処理部と、各カメラから伝送された共通エリア露光検波情報を比較し、同一の共通撮像エリアにおける共通エリア露光検波情報のカメラ間の差に応じて該当するカメラに対して露光補正情報を出力する中央プロセッサを備える。   The present invention is an imaging system that transmits images captured by a plurality of cameras to a central control device and combines and displays images from the cameras, and each camera is connected to another camera in an imaging area to be captured. Providing a common imaging area that is an area shared between the two, a video processing circuit that processes the captured image signal and detects the luminance signal of the common imaging area part to generate common area exposure detection information, and the captured image signal And a transmission processing circuit for transmitting the common area exposure detection information to the central control device, and a camera processor for outputting an exposure control signal to the optical system and the image sensor. The central control device transmits the image signal transmitted from each camera. Is compared with the display processing unit that displays the image on the image display unit and the common area exposure detection information transmitted from each camera. A central processor for outputting exposure correction information to the corresponding camera in accordance with the difference between the information of the camera.

ここに中央制御装置の中央プロセッサは、同一の共通撮像エリアにおける2つのカメラの共通エリア露光検波情報の差が予め定めた閾値より大きい場合、共通エリア露光検波情報の差に基づき必要な露光補正量を計算し、一方のカメラに対して露光補正情報を出力する。   Here, when the difference between the common area exposure detection information of the two cameras in the same common imaging area is larger than a predetermined threshold, the central processor of the central control unit needs an exposure correction amount necessary based on the difference of the common area exposure detection information. And the exposure correction information is output to one camera.

また各カメラの映像処理回路は、撮影した画像信号に対して非線形な輝度階調補正を行う機能を有し、中央制御装置の中央プロセッサは、伝送された画像信号の輝度階調に応じて、該当するカメラの映像処理回路に対して輝度階調補正動作の制御を行う。   In addition, the video processing circuit of each camera has a function of performing non-linear luminance gradation correction on the captured image signal, and the central processor of the central control device determines the luminance gradation of the transmitted image signal according to the luminance gradation of the transmitted image signal. The luminance gradation correction operation is controlled for the video processing circuit of the corresponding camera.

本発明によれば、新たな部品を追加することなく、またカメラの性能にばらつきがあっても、各カメラ画像枠の境界で明るさのアンバランスを抑圧する実用的な撮像システムを提供する。   According to the present invention, it is possible to provide a practical imaging system that suppresses brightness imbalance at the boundary of each camera image frame without adding new parts and even if the performance of the camera varies.

以下、本発明の実施形態を図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の撮像システムの一実施例を示すシステム構成図である。
本実施例の撮像システムは、車両の前後左右に4台のカメラA,B,C,D(符号10A,10B,10C,10D)を設置し、各カメラからの画像信号を伝送路20を介して中央制御装置30に伝送し、車両上空の視点からの合成画像を生成して画像表示部40に表示する構成である。
FIG. 1 is a system configuration diagram showing an embodiment of an imaging system of the present invention.
In the imaging system of this embodiment, four cameras A, B, C, and D (reference numerals 10A, 10B, 10C, and 10D) are installed on the front, rear, left, and right sides of the vehicle, and image signals from the cameras are transmitted via the transmission path 20. Thus, the image is transmitted to the central control device 30, and a composite image from a viewpoint above the vehicle is generated and displayed on the image display unit 40.

各カメラ10A〜10Dにおいて、光学系11から撮像素子12に結像した映像は、映像処理回路13と伝送処理回路15にて処理される。映像処理回路13では露光制御に使用する露光検波情報14をプロセッサ(カメラプロセッサ)17に出力する。この露光検波情報14は、撮影画像内の輝度信号を検波して得られる情報で、輝度信号の総和値、平均値、最大値、最小値、輝度分布ヒストグラムなどの情報である。露光検波情報14は、撮影画像全体を単一エリアとして検波する場合と、撮影画像を複数のエリアに分割し、それぞれのエリアの輝度信号を検波する場合とがある。   In each of the cameras 10 </ b> A to 10 </ b> D, an image formed on the image sensor 12 from the optical system 11 is processed by the image processing circuit 13 and the transmission processing circuit 15. The video processing circuit 13 outputs exposure detection information 14 used for exposure control to a processor (camera processor) 17. The exposure detection information 14 is information obtained by detecting the luminance signal in the captured image, and is information such as the sum value, average value, maximum value, minimum value, and luminance distribution histogram of the luminance signal. The exposure detection information 14 includes a case where the entire captured image is detected as a single area, and a case where the captured image is divided into a plurality of areas and the luminance signal of each area is detected.

プロセッサ17では、この露光検波情報14を基に適正な露光状態を維持するよう、光学系11や撮像素子12に対して露光制御命令19を出力する。この命令は、光学系11に対しては絞り値の更新を指示するものであり、撮像素子12に対してはシャッタスピードの更新を指示するものである。またプロセッサ17は、映像処理回路13に対して階調補正命令18を出力する。この階調補正は、画像を実際に出力表示する際に、より自然に近い輝度で表示するためのレベル補正である。   The processor 17 outputs an exposure control command 19 to the optical system 11 and the image sensor 12 so as to maintain an appropriate exposure state based on the exposure detection information 14. This command instructs the optical system 11 to update the aperture value, and instructs the image sensor 12 to update the shutter speed. Further, the processor 17 outputs a gradation correction command 18 to the video processing circuit 13. This gradation correction is a level correction for displaying an image with a more natural brightness when the image is actually output and displayed.

映像処理回路13は、さらに、撮影画像内の特定のエリア(後述する共通撮像エリア)の輝度信号を検波して露光検波情報を生成する。伝送処理回路15では、伝送路20に向けて、カメラ10A〜10Dからの画像信号21とともに、共通撮像エリアの露光検波情報(以下、共通エリア露光検波情報)22を出力する。   The video processing circuit 13 further detects exposure signal of a specific area (common imaging area to be described later) in the captured image to generate exposure detection information. The transmission processing circuit 15 outputs exposure detection information (hereinafter, common area exposure detection information) 22 of the common imaging area together with the image signal 21 from the cameras 10 </ b> A to 10 </ b> D toward the transmission path 20.

中央制御装置30では、伝送路20から伝送処理回路31を介して入力した各カメラの画像信号21を、一旦メモリ32に格納する。表示処理回路34は、各カメラからの画像について視点変換処理、画像合成処理などを施し、合成画像を生成して画像表示部40に出力する。   In the central controller 30, the image signal 21 of each camera input from the transmission path 20 via the transmission processing circuit 31 is temporarily stored in the memory 32. The display processing circuit 34 performs viewpoint conversion processing, image synthesis processing, and the like on the image from each camera, generates a composite image, and outputs the composite image to the image display unit 40.

また中央制御装置30では、伝送路20から入力された共通エリア露光検波情報22について、プロセッサ(中央プロセッサ)33にて比較評価する。そして、共通エリア露光検波情報22についてカメラ間で差異が生じている場合、プロセッサ33は、この差異を緩和するように各カメラ個別に露光補正情報23を生成する。生成した露光補正情報23は、伝送処理回路31と伝送路20を介して各カメラに送信される。各カメラでは、伝送処理回路15を介して露光補正情報23を受け取り、プロセッサ17に露光補正情報16を送り、光学系11や撮像素子12に対して露光補正命令19を出力する。   In the central controller 30, the processor (central processor) 33 compares and evaluates the common area exposure detection information 22 input from the transmission path 20. If there is a difference between the cameras in the common area exposure detection information 22, the processor 33 generates the exposure correction information 23 for each camera so as to reduce the difference. The generated exposure correction information 23 is transmitted to each camera via the transmission processing circuit 31 and the transmission path 20. Each camera receives exposure correction information 23 via the transmission processing circuit 15, sends exposure correction information 16 to the processor 17, and outputs an exposure correction command 19 to the optical system 11 and the image sensor 12.

このように本実施例では、各カメラの撮影画像について共通撮像エリアを設けてそのエリア内の露光検波情報を比較し、その差異を緩和するように各カメラの露光条件を補正することを特徴とする。これにより、各共通撮像エリアの輝度値を一致させ、各カメラ画像枠の境界での明るさのアンバランスをなくすことができる。   As described above, the present embodiment is characterized in that a common imaging area is provided for the captured image of each camera, exposure detection information in the area is compared, and the exposure condition of each camera is corrected so as to reduce the difference. To do. As a result, the luminance values of the common imaging areas can be matched, and the brightness imbalance at the boundaries of the camera image frames can be eliminated.

図2は、本実施例において各カメラに設けた共通撮像エリアを説明する図である。   FIG. 2 is a diagram illustrating a common imaging area provided in each camera in the present embodiment.

各カメラ10A〜10Dはそれぞれ撮像エリアA〜Dを撮影するが、最終的に表示に使用される表示エリアよりも広い領域をカバーする。そして、各撮像エリアA〜Dには隣接する他のカメラの撮像エリアとの間で共有する領域、すなわち共通撮像エリアを設けている。例えば撮像エリアAと撮像エリアBとの共通撮像エリアを符号Sab(斜線部分)で示す。本実施例では、4個の撮像エリアに対し、4箇所の共通撮像エリアSab,Sac,Sbd,Scdを設ける。   Each of the cameras 10A to 10D shoots the imaging areas A to D, respectively, but covers a wider area than the display area that is finally used for display. In each of the imaging areas A to D, an area shared with the imaging areas of other adjacent cameras, that is, a common imaging area is provided. For example, a common imaging area for the imaging area A and the imaging area B is indicated by a symbol Sab (shaded portion). In this embodiment, four common imaging areas Sab, Sac, Sbd, and Scd are provided for four imaging areas.

各カメラの映像処理回路13は、共通撮像エリアSab,Sac,Sbd,Scd内の輝度信号の検波を行い、共通エリア露光検波情報22として中央制御装置30に出力する。例えば共通撮像エリアSabについては、撮像エリアAに属する共通エリア露光検波情報Iab(A)と、撮像エリアBに属する共通エリア露光検波情報Iab(B)を出力する。中央制御装置30ではそれらを比較し、その差が小さくなるようにカメラAまたはBに対し露光補正情報23を生成する。   The video processing circuit 13 of each camera detects luminance signals in the common imaging areas Sab, Sac, Sbd, and Scd, and outputs the detected luminance signals to the central controller 30 as common area exposure detection information 22. For example, for the common imaging area Sab, common area exposure detection information Iab (A) belonging to the imaging area A and common area exposure detection information Iab (B) belonging to the imaging area B are output. The central control unit 30 compares them and generates exposure correction information 23 for the camera A or B so that the difference is reduced.

図3を用いて、本実施例による露光補正の原理を説明する。
例えば、前述した図3(c)のようなアンバランスが発生した場合を想定する。共通撮像エリアSabにおいて、共通エリア露光検波情報Iab(A)は、共通エリア露光検波情報Iab(B)よりも輝度値が小さい(暗い)ので、カメラAの露光条件をより明るくするよう補正する(補正A’)。また、共通撮像エリアSbdにおいて、共通エリア露光検波情報Ibd(D)は、共通エリア露光検波情報Ibd(B)よりも輝度値が大きい(明るい)ので、カメラDの露光条件をより暗くするよう補正する(補正D’)。他の共通撮像エリアSac,Scdについても、それぞれの共通エリア露光検波情報を比較して露光条件を補正する。その結果、図3(b)のように各領域の境界にて明るさにアンバランスのない合成画像を表示することができる。
The principle of exposure correction according to this embodiment will be described with reference to FIG.
For example, it is assumed that the above-described imbalance as shown in FIG. In the common imaging area Sab, the common area exposure detection information Iab (A) has a luminance value smaller (darker) than the common area exposure detection information Iab (B), so that the exposure condition of the camera A is corrected to be brighter ( Correction A ′). Further, in the common imaging area Sbd, the common area exposure detection information Ibd (D) has a luminance value larger (brighter) than the common area exposure detection information Ibd (B), so that the exposure condition of the camera D is corrected to be darker. (Correction D ′). For the other common imaging areas Sac and Scd, the exposure conditions are corrected by comparing the respective common area exposure detection information. As a result, as shown in FIG. 3B, it is possible to display a composite image having no brightness imbalance at the boundary of each region.

本実施例の露光補正によれば、補正のために新たなセンサ部品を追加する必要がない。また、設置する複数のカメラ(撮像素子)の性能(光感度特性)にばらつきがある場合でも、各領域の境界にて明るさのアンバランスの発生を抑圧することができる。よって、実用的な撮像システムを提供する。   According to the exposure correction of this embodiment, it is not necessary to add a new sensor component for correction. Further, even when the performance (photosensitivity characteristics) of a plurality of cameras (imaging devices) to be installed varies, it is possible to suppress the occurrence of brightness imbalance at the boundary between the regions. Therefore, a practical imaging system is provided.

次に、中央制御装置30のプロセッサ33の行う露光補正のアルゴリズムについて説明する。
各共通撮像エリアSab,Sac,Sbd,Scdにおいて、それぞれ2つのカメラからの共通エリア露光検波情報を比較する。比較の結果、両者の差が予め定めた閾値より大きい場合には、一方のカメラの露光条件を補正するための露光補正情報23を発行する。両者の差が閾値以内にある場合は露光条件の補正は行わない。そして、露光条件補正後の各共通撮像エリアSab,Sac,Sbd,Scdにおける露光検波情報を再度比較し、それらの差が閾値以内になるように調整する。その結果、全ての共通撮像エリアにおいて露光検波情報を一致させることができる。
Next, an exposure correction algorithm performed by the processor 33 of the central controller 30 will be described.
In each common imaging area Sab, Sac, Sbd, Scd, the common area exposure detection information from two cameras is compared. As a result of the comparison, if the difference between the two is larger than a predetermined threshold value, exposure correction information 23 for correcting the exposure condition of one camera is issued. When the difference between the two is within the threshold value, the exposure condition is not corrected. Then, the exposure detection information in each of the common imaging areas Sab, Sac, Sbd, and Scd after the exposure condition correction is compared again and adjusted so that the difference is within the threshold. As a result, exposure detection information can be matched in all common imaging areas.

図4は、本実施例の露光補正処理の一般的なフローチャートを示す図である。   FIG. 4 is a diagram showing a general flowchart of the exposure correction process of the present embodiment.

ステップS401で、各共通撮像エリアSab,Sac,Sbd,Scdにおける各カメラ画像の露光検波情報Iab(A),Iab(B),・・・を取得する。ステップS402で、各共通エリア露光検波情報の大小関係を調べ、補正基準カメラを決定する。補正基準カメラとは、露光条件設定の基準とするカメラであり、例えばカメラ画像内の輝度分布(露光検波情報の差)が最大となるものを選ぶのが良い。例えば図3の場合は、カメラB(またはC)を補正基準カメラとするのが良い。ステップS403では、露光補正の対象となる補正対象カメラを決定する。補正対象カメラは上記補正基準カメラ以外のカメラであり、図3の場合はカメラA,C(またはB),Dが相当する。   In step S401, exposure detection information Iab (A), Iab (B),... Of each camera image in each common imaging area Sab, Sac, Sbd, Scd is acquired. In step S402, the magnitude relationship of each common area exposure detection information is examined to determine a correction reference camera. The correction reference camera is a camera that is used as a reference for setting exposure conditions. For example, it is preferable to select a camera having the maximum luminance distribution (difference in exposure detection information) in the camera image. For example, in the case of FIG. 3, the camera B (or C) may be used as the correction reference camera. In step S403, a correction target camera to be subjected to exposure correction is determined. The correction target camera is a camera other than the correction reference camera, and in the case of FIG. 3, cameras A, C (or B), and D correspond.

ステップS404では、1つの補正対象カメラについて露光ずれ量を計算する。例えばカメラAについては、カメラBとの共通エリア露光検波情報の差をとることで、露光ずれ量を求める。ステップS405では、露光ずれ量が閾値以内であるかどうか判定する。閾値以内であれば補正不要としステップS408に進み、閾値より大きければステップS406に進み補正を行う。   In step S404, an exposure deviation amount is calculated for one correction target camera. For example, for the camera A, the amount of exposure deviation is obtained by taking the difference of the common area exposure detection information with the camera B. In step S405, it is determined whether the exposure deviation amount is within a threshold value. If it is within the threshold value, it is determined that correction is unnecessary, and the process proceeds to step S408.

ステップS406では、上記露光ずれ量に変換係数を乗じて補正対象カメラについて露光補正量を計算する。ステップS407では、補正対象カメラに対し露光バランスポイントを上記露光補正量だけ遷移するよう補正する。ステップS405に戻り、露光補正の結果、露光ずれ量が閾値以内になったかどうか判定する。閾値より大きければ、ステップS406に進み再度補正を行う。   In step S406, an exposure correction amount is calculated for the correction target camera by multiplying the exposure deviation amount by a conversion coefficient. In step S407, the exposure balance point is corrected so as to shift by the exposure correction amount with respect to the correction target camera. Returning to step S405, it is determined whether the exposure deviation amount is within the threshold as a result of exposure correction. If it is larger than the threshold value, the process proceeds to step S406 and correction is performed again.

ステップS408では、他の補正対象カメラが残っているかどうか判定する。例えば図3の場合、カメラC,Dが残っているので、ステップS604に戻り、同様に露光補正を実施する。   In step S408, it is determined whether other correction target cameras remain. For example, in the case of FIG. 3, since the cameras C and D remain, the process returns to step S604 and exposure correction is similarly performed.

以上の処理フローにより、全ての共通撮像エリアにおいて露光検波情報を一致させることができる。なお、ステップS402とS403にて補正基準カメラおよび補正対象カメラを任意に選択し、またカメラ数も任意に設定することができる。これにより、実際の表示画像に合わせて露光補正を効率よく実施することができる。   With the above processing flow, exposure detection information can be matched in all common imaging areas. In steps S402 and S403, the correction reference camera and the correction target camera can be arbitrarily selected, and the number of cameras can be arbitrarily set. Thereby, exposure correction can be efficiently performed according to an actual display image.

図5は、合成画像の露光補正の代表例を示す図である。ここでは、日向(日陰)方向が原因で発生するアンバランス画像の例をケース1〜6に分けて示している。日向方向により、共通撮像エリアSab,Sac,Sbd,Scdにおいては、それぞれの共通エリア露光検波情報に差(閾値より大きい差)が生じる。共通エリア露光検波情報Iab(A),Iab(B),・・・の大小関係は図中の表に記述したようになる。ただし、簡単のために表示画面内ではカメラ境界部での明るさの違いは表現していない。   FIG. 5 is a diagram illustrating a representative example of exposure correction of a composite image. Here, examples of unbalanced images generated due to the direction of the sun (shade) are divided into cases 1 to 6. Due to the direction of the sun, a difference (a difference larger than a threshold value) occurs in each common area exposure detection information in the common imaging areas Sab, Sac, Sbd, and Scd. The magnitude relationship between the common area exposure detection information Iab (A), Iab (B),... Is as described in the table in the figure. However, for the sake of simplicity, the difference in brightness at the camera boundary is not expressed in the display screen.

ケース1〜4は、全て(4箇所)の共通撮像エリアSab,Sac,Sbd,Scdにおいて共通エリア露光検波情報に差が生じた場合である。ケース5は、3箇所の共通撮像エリアSac,Sbd,Scdにおいて共通エリア露光検波情報に差が生じた場合である。またケース6は、2箇所の共通撮像エリアSbd,Scdにおいて共通エリア露光検波情報に差が生じた場合である。ケース5とケース6は、日向(日陰)方向が一例の場合のみ示す。なお、図示していないが、1箇所の共通撮像エリアのみにおいて共通エリア露光検波情報に差が生じる場合もある。   Cases 1 to 4 are cases in which a difference occurs in the common area exposure detection information in all (four places) common imaging areas Sab, Sac, Sbd, and Scd. Case 5 is a case where a difference occurs in the common area exposure detection information in the three common imaging areas Sac, Sbd, and Scd. Case 6 is a case where a difference occurs in the common area exposure detection information in the two common imaging areas Sbd and Scd. Case 5 and case 6 are shown only when the sun (shade) direction is an example. Although not shown, there may be a difference in the common area exposure detection information only in one common imaging area.

露光補正は、いずれか1箇所以上の共通撮像エリアにおいて共通エリア露光検波情報に差が生じた場合に実行するのが好ましいが、ケース1〜4のように、全て(4箇所)の共通撮像エリアSab,Sac,Sbd,Scdにおいて共通エリア露光検波情報に差が生じた場合のみ実行するようにしても良い。   The exposure correction is preferably executed when a difference occurs in the common area exposure detection information in any one or more common imaging areas. However, as in cases 1 to 4, all (4 locations) common imaging areas are used. It may be executed only when a difference occurs in the common area exposure detection information in Sab, Sac, Sbd, and Scd.

各ケースに対する露光補正方法は、次のような露光補正情報を該当するカメラに出力する。
ケース1の場合は、カメラAに対する露光バランスポイントE(A)を、カメラBまたはカメラCとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。
The exposure correction method for each case outputs the following exposure correction information to the corresponding camera.
In case 1, the exposure balance point E (A) for the camera A is shifted in the direction of increasing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera B or camera C.

そのために、まずカメラAの露光ずれ量を計算する。露光ずれ量ΔI(A)は、共通撮像エリアSabにおけるカメラBとの差と、共通撮像エリアSacにおけるカメラCとの差の平均をとる。
ΔI(A)=[{Iab(B)−Iab(A)}
+{Iac(C)−Iac(A)}]/2 (1)
次に、露光ずれ量ΔI(A)を緩和するために、変換係数kを乗じて、カメラAに対する露光補正量ΔE(A)を計算する。
ΔE(A)=k・ΔI(A) (2)
これより、カメラAに対して、露光バランスポイントE(A)を上記ΔE(A)だけ明るさを増す方向に補正する。
For this purpose, first, an exposure deviation amount of the camera A is calculated. The exposure deviation amount ΔI (A) is an average of the difference between the common imaging area Sab and the camera B and the common imaging area Sac.
ΔI (A) = [{Iab (B) −Iab (A)}
+ {Iac (C) -Iac (A)}] / 2 (1)
Next, in order to reduce the exposure deviation amount ΔI (A), the exposure correction amount ΔE (A) for the camera A is calculated by multiplying by the conversion coefficient k.
ΔE (A) = k · ΔI (A) (2)
Accordingly, the exposure balance point E (A) is corrected in the direction of increasing the brightness by the above-described ΔE (A) with respect to the camera A.

また、カメラDに対する露光バランスポイントE(D)を、カメラBまたはカメラCとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。この場合の補正量は次の計算で求める。
ΔI(D)=[{Ibd(D)−Ibd(B)}
+{Icd(D)−Icd(B)}]/2 (3)
ΔE(D)=k・ΔI(D) (4)
これより、カメラDに対して、露光バランスポイントE(D)を上記ΔE(D)だけ明るさを減らす方向に補正する。
Further, the exposure balance point E (D) with respect to the camera D is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera B or the camera C. The correction amount in this case is obtained by the following calculation.
ΔI (D) = [{Ibd (D) −Ibd (B)}
+ {Icd (D) -Icd (B)}] / 2 (3)
ΔE (D) = k · ΔI (D) (4)
Thus, the exposure balance point E (D) is corrected with respect to the camera D in the direction of reducing the brightness by the ΔE (D).

他のケースについては以下の通りである。各計算式は省略する。
ケース2の場合は、カメラAに対する露光バランスポイントE(A)を、カメラBまたはカメラCとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラDに対する露光バランスポイントE(D)を、カメラBまたはカメラCとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。
The other cases are as follows. Each calculation formula is omitted.
In case 2, the exposure balance point E (A) for the camera A is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera B or camera C. Further, the exposure balance point E (D) with respect to the camera D is shifted in the direction in which the brightness is increased by an amount corresponding to the difference in the common area exposure detection information with the camera B or the camera C.

ケース3の場合は、カメラBに対する露光バランスポイントE(B)を、カメラAまたはカメラDとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラCに対する露光バランスポイントE(C)を、カメラAまたはカメラDとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。   In case 3, the exposure balance point E (B) for the camera B is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera A or camera D. Further, the exposure balance point E (C) for the camera C is shifted in the direction of increasing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera A or the camera D.

ケース4の場合は、カメラBに対する露光バランスポイントE(B)を、カメラAまたはカメラDとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。また、カメラCに対する露光バランスポイントE(C)を、カメラAまたはカメラDとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。   In case 4, the exposure balance point E (B) for the camera B is shifted in the direction of increasing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera A or camera D. Further, the exposure balance point E (C) for the camera C is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera A or the camera D.

ケース5の場合は、カメラCに対する露光バランスポイントE(C)を、カメラAとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラDに対する露光バランスポイントE(D)を、カメラBとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。   In case 5, the exposure balance point E (C) for the camera C is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera A. Further, the exposure balance point E (D) for the camera D is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera B.

ケース6の場合は、カメラDに対する露光バランスポイントE(D)を、カメラBまたはカメラCとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。
以上のような補正処理を行うことで、各カメラ画像領域の境界で生じる明るさのアンバランスを抑圧し、自然な画像を提供することができる。
In case 6, the exposure balance point E (D) for the camera D is shifted in the direction of reducing the brightness by the amount corresponding to the difference in the common area exposure detection information with the camera B or C.
By performing the correction processing as described above, it is possible to suppress a brightness imbalance that occurs at the boundary between the camera image areas and provide a natural image.

図6は、図5の露光補正処理のフローチャートを示す図である。
ステップS601で、各共通撮像エリアSab,Sac,Sbd,Scdにおける各カメラ画像の露光検波情報Iab(A),Iab(B),・・・を取得する。ステップS602で、各共通エリア露光検波情報の大小関係を調べ、図5に示したどのケースに該当するかを判定する。ケースを判定すると、予め定めたルールにより露光補正の要否が判明する。例えば、図5のケース1〜6は補正=要とし、それ以外は補正=不要としておく。露光補正=要の場合、ステップS603では露光補正の対象となるカメラを決定する。例えば、図5のケース1ではカメラAとカメラDが補正対象であり、ケース3ではカメラBとカメラCが補正対象である。
FIG. 6 is a flowchart of the exposure correction process in FIG.
In step S601, exposure detection information Iab (A), Iab (B),... Of each camera image in each common imaging area Sab, Sac, Sbd, Scd is acquired. In step S602, the magnitude relationship of each common area exposure detection information is examined to determine which case shown in FIG. When the case is determined, the necessity of exposure correction is determined by a predetermined rule. For example, in cases 1 to 6 in FIG. 5, correction = necessary, and otherwise, correction = unnecessary. If exposure correction = necessary, in step S603, a camera to be subjected to exposure correction is determined. For example, in case 1 of FIG. 5, camera A and camera D are correction targets, and in case 3, camera B and camera C are correction targets.

ステップS604では、1つの補正対象カメラについて露光ずれ量を計算する。例えばカメラAについては、共通エリア露光検波情報についてカメラBとの差とカメラCとの差の平均をとることで、前記(1)式によりΔI(A)を計算する。ステップS605では、補正対象カメラについて露光補正量を計算する。例えばカメラAに対しては前記(2)式によりΔE(A)を計算する。ステップS606では、補正対象カメラに対し露光バランスポイントを上記露光補正量だけ明るさを増す(あるいは減らす)方向に補正する。   In step S604, an exposure deviation amount is calculated for one correction target camera. For example, for the camera A, ΔI (A) is calculated by the above equation (1) by taking the average of the difference between the camera B and the difference between the camera C and the common area exposure detection information. In step S605, an exposure correction amount is calculated for the correction target camera. For example, for camera A, ΔE (A) is calculated by the equation (2). In step S606, the exposure balance point is corrected in the direction of increasing (or decreasing) the brightness by the exposure correction amount with respect to the correction target camera.

ステップS607では、他の補正対象カメラが残っているかどうか判定する。例えばケース1の場合はカメラDが残っているので、ステップS604に戻り、同様に露光補正を実施する。   In step S607, it is determined whether other correction target cameras remain. For example, in case 1, since the camera D remains, the process returns to step S604 and exposure correction is performed in the same manner.

図5,6の実施例によれば、アンバランスの発生し易いケースとそれに対する補正方法を予め登録しておき、これに従って露光補正を実行するので、補正処理時間を短縮することができる。   According to the embodiment of FIGS. 5 and 6, a case in which imbalance is likely to occur and a correction method for the case are registered in advance, and exposure correction is executed in accordance with this, so that the correction processing time can be shortened.

前記実施例1による露光制御のバランスポイント補正により、各カメラ撮像エリア境界部での明るさのアンバランスを解消することができる。しかしながら、必ずしも実用に適した明るさの表示画像が得られるとは限らない。例えば、日向の部分を撮影した画像(ケース1でのカメラAの画像)は白とび(明るすぎ)の画像に遷移したり、日陰の部分だけを撮影した画像(ケース1でのカメラDの画像)は、黒沈み(暗すぎ)の画像に遷移してしまい、特に暗部の画像の認識が不十分になることがある。そこで、本実施例2では、露光制御のバランスポイントの補正制御に加え、輝度階調の非線形化制御を行う。   By the exposure control balance point correction according to the first embodiment, it is possible to eliminate the brightness imbalance at each camera imaging area boundary. However, a display image with brightness suitable for practical use is not always obtained. For example, an image obtained by photographing the sunlit portion (image of camera A in case 1) transitions to an overexposed (too bright) image, or an image obtained by photographing only the shaded portion (image of camera D in case 1). ) Transitions to a black sunken (too dark) image, and in particular, recognition of an image in a dark part may be insufficient. Therefore, in the second embodiment, non-linear control of luminance gradation is performed in addition to balance point correction control of exposure control.

図7は、輝度階調の非線形化制御を説明する図である。非線形制御としては、補正曲線71で示す「ガンマ処理」と称される階調制御や、補正曲線72で示す一般に「コントラスト」と称される階調制御が有効である。いずれの補正も、入力輝度信号の階調が大きい場合は階調を下げた輝度信号を出力し、入力輝度信号の階調が小さい場合は階調をあげた輝度信号を出力するものである。   FIG. 7 is a diagram for explaining non-linear control of luminance gradation. As the non-linear control, tone control called “gamma processing” indicated by the correction curve 71 and tone control generally called “contrast” shown by the correction curve 72 are effective. In any correction, when the gradation of the input luminance signal is large, a luminance signal with a lowered gradation is output, and when the gradation of the input luminance signal is small, a luminance signal with an increased gradation is output.

図8は、輝度階調の非線形化制御を付加した輝度補正の例を示す図である。(a)は前記ケース1の場合の本来の輝度分布であり、(b)は前記実施例1によりカメラAとカメラDに対し露光補正A’、D’を施した状態である。露光補正により、カメラAの画像の輝度レベルは高く、カメラDの輝度レベルは低く補正される。(c)は図7の補正曲線71,72による輝度階調の補正を説明する図である。カメラAの画像とカメラBの日向部分画像は輝度階調が高いので補正A”と補正B1”により階調を下げる。一方カメラDの画像とカメラBの日陰部分画像は輝度階調が低いので補正D”と補正B2”により階調を上げる。   FIG. 8 is a diagram illustrating an example of luminance correction to which non-linear control of luminance gradation is added. (A) is an original luminance distribution in the case 1, and (b) is a state in which exposure corrections A ′ and D ′ are applied to the cameras A and D according to the first embodiment. By the exposure correction, the luminance level of the image of the camera A is corrected and the luminance level of the camera D is corrected low. (C) is a diagram for explaining correction of luminance gradation by the correction curves 71 and 72 of FIG. Since the image of the camera A and the sunny partial image of the camera B have high luminance gradation, the gradation is lowered by the correction A ″ and the correction B1 ″. On the other hand, the image of the camera D and the shaded partial image of the camera B have a low luminance gradation, so that the gradation is increased by the correction D ″ and the correction B2 ″.

この輝度階調制御の指示は、該当するカメラへの露光補正情報に付加して伝送し、映像処理回路13に輝度階調補正命令18を送り該当する画像信号に対して階調補正を行う。あるいは輝度階調制御の指示を中央制御装置30の表示処理回路34に伝送し、表示処理回路34にて該当する画像信号に対して階調補正を行う。なお、カメラの映像処理回路13にて階調補正を行う場合には、カメラAの画像はエリア全体が同一輝度であるので、カメラAに対する階調制御のための補正A”を、カメラAに対する露光補正A’に盛り込んで単一の指令にて制御することも可能で、出力画像の明るさは同じ結果が得られる。エリア全体が同一輝度であるカメラDに対しても同様である。   This luminance gradation control instruction is added to exposure correction information for the corresponding camera and transmitted, and a luminance gradation correction command 18 is sent to the video processing circuit 13 to perform gradation correction on the corresponding image signal. Alternatively, a luminance gradation control instruction is transmitted to the display processing circuit 34 of the central controller 30, and the display processing circuit 34 performs gradation correction on the corresponding image signal. When gradation correction is performed by the video processing circuit 13 of the camera, since the entire area of the image of the camera A has the same luminance, the correction A ″ for gradation control for the camera A is applied to the camera A. It is also possible to include the exposure correction A ′ and control it with a single command, and the same result can be obtained for the brightness of the output image, and the same applies to the camera D whose entire area has the same luminance.

本実施例によれば、輝度階調の非線形化制御を露光制御のバランスポイント補正に加えて行うことで、明るさがより自然で、かつ、暗部の認識性にも優れた画像を表示することができる。   According to the present embodiment, brightness gradation non-linearization control is performed in addition to exposure control balance point correction to display an image with more natural brightness and excellent dark area recognition. Can do.

前記各実施例では、各カメラで撮影した画像の輝度のアンバランスをなくす場合を説明した。合成画像を生成するとき、これ以外に、各カメラが行う色温度制御についても同様にアンバランスを生じる場合がある。その場合、共通撮像エリアの色情報を比較し、前記実施例で示した手順で各カメラの色調制御に反映させることで、色再現に関するアンバランスも緩和可能であることは言うまでもない。   In each of the above-described embodiments, a case has been described in which the luminance imbalance of images taken by each camera is eliminated. In addition to this, when generating a composite image, unbalance may occur in the color temperature control performed by each camera. In that case, it is needless to say that the color imbalance regarding color reproduction can be alleviated by comparing the color information of the common imaging area and reflecting it in the color tone control of each camera by the procedure shown in the embodiment.

本発明の撮像システムの一実施例を示すシステム構成図。1 is a system configuration diagram showing an embodiment of an imaging system of the present invention. 本実施例において各カメラに設けた共通撮像エリアを説明する図。FIG. 3 is a diagram illustrating a common imaging area provided in each camera in the present embodiment. 合成画像に発生する明るさのアンバランスとその補正原理を説明する図。The figure explaining the imbalance of the brightness which generate | occur | produces in a synthesized image, and its correction principle. 本実施例の露光補正処理の一般的なフローチャートを示す図。The figure which shows the general flowchart of the exposure correction process of a present Example. 合成画像の露光補正の代表例を示す図。The figure which shows the typical example of exposure correction of a synthesized image. 図5の露光補正処理のフローチャートを示す図。The figure which shows the flowchart of the exposure correction process of FIG. 本実施例による輝度階調の非線形化制御を説明する図。The figure explaining the non-linear control of the brightness | luminance gradation by a present Example. 輝度階調の非線形化制御を付加した輝度補正の例を示す図。The figure which shows the example of the brightness correction which added the non-linear control of the brightness | luminance gradation.

符号の説明Explanation of symbols

10…カメラ、
11…光学系、
12…撮像素子、
13…映像処理回路、
14…露光検波情報、
15…伝送処理回路、
16…露光補正情報、
17…プロセッサ、
18…輝度階調補正命令、
19…露光制御命令、
20…伝送路、
21…画像信号、
22…共通エリア露光検波情報、
23…露光補正情報、
30…中央制御装置、
31…伝送処理回路、
32…メモリ、
33…プロセッサ、
34…表示処理回路、
40…画像表示部、
Sab,Sac,Sbd,Scd…共通撮像エリア。
10 ... Camera,
11 ... Optical system,
12: Image sensor,
13 ... Video processing circuit,
14: Exposure detection information,
15 ... transmission processing circuit,
16: Exposure correction information,
17 ... processor,
18 ... luminance gradation correction command,
19 ... exposure control command,
20 ... transmission line,
21 ... Image signal,
22 ... Common area exposure detection information,
23: Exposure correction information,
30 ... Central control unit,
31 ... Transmission processing circuit,
32 ... Memory,
33 ... Processor,
34 ... display processing circuit,
40. Image display unit,
Sab, Sac, Sbd, Scd... Common imaging area.

Claims (5)

複数のカメラで撮影した画像を中央制御装置に伝送し、各カメラからの画像を合成して表示する撮像システムにおいて、
上記各カメラは、撮影する撮像エリア内に他のカメラとの間で共有する領域である共通撮像エリアを設け、撮影した画像信号を処理すると共に上記共通撮像エリア部分の輝度信号を検波して共通エリア露光検波情報を生成する映像処理回路と、撮影した画像信号と上記共通エリア露光検波情報を上記中央制御装置に伝送する伝送処理回路と、光学系と撮像素子に対して露光制御信号を出力するカメラプロセッサを備え、
上記中央制御装置は、上記各カメラから伝送された画像信号を合成して画像表示部に表示する表示処理部と、上記各カメラから伝送された上記共通エリア露光検波情報を比較し、同一の共通撮像エリアにおける共通エリア露光検波情報のカメラ間の差に応じて該当するカメラに対して露光補正情報を出力する中央プロセッサを備えることを特徴とする撮像システム。
In an imaging system that transmits images taken by a plurality of cameras to a central control unit and synthesizes and displays images from each camera,
Each of the cameras has a common imaging area, which is an area shared with other cameras, in the imaging area to be photographed, and processes the photographed image signal and detects the luminance signal of the common imaging area portion in common. A video processing circuit that generates area exposure detection information, a captured image signal, a transmission processing circuit that transmits the common area exposure detection information to the central control device, and outputs an exposure control signal to the optical system and the image sensor With a camera processor,
The central control unit compares the display processing unit that synthesizes the image signals transmitted from the respective cameras and displays them on the image display unit, and the common area exposure detection information transmitted from the respective cameras. An imaging system comprising a central processor for outputting exposure correction information to a corresponding camera in accordance with a difference between cameras in common area exposure detection information in an imaging area.
請求項1に記載の撮像システムにおいて、
前記中央制御装置の前記中央プロセッサは、同一の共通撮像エリアにおける2つのカメラの共通エリア露光検波情報の差が予め定めた閾値より大きい場合、該共通エリア露光検波情報の差に基づき必要な露光補正量を計算し、一方のカメラに対して露光補正情報を出力することを特徴とする撮像システム。
The imaging system according to claim 1,
When the difference between the common area exposure detection information of the two cameras in the same common imaging area is larger than a predetermined threshold, the central processor of the central control unit performs necessary exposure correction based on the difference between the common area exposure detection information An imaging system that calculates an amount and outputs exposure correction information to one camera.
請求項2に記載の撮像システムにおいて、
前記中央制御装置の前記中央プロセッサは、前記複数のカメラの中から露光補正の基準となる補正基準カメラを設定し、該補正基準カメラの共通エリア露光検波情報と比較しながら他のカメラに対して順次露光補正情報を出力することを特徴とする撮像システム。
The imaging system according to claim 2,
The central processor of the central control unit sets a correction reference camera as a reference for exposure correction from among the plurality of cameras, and compares it with other cameras while comparing with the common area exposure detection information of the correction reference camera. An imaging system characterized by sequentially outputting exposure correction information.
請求項2に記載の撮像システムにおいて、
前記中央制御装置の前記中央プロセッサは、前記各共通撮像エリアにおける2つのカメラの共通エリア露光検波情報の大小関係について予めケース分けしておき、各ケースにおいていずれのカメラに対してどのような露光補正情報を出力するかを予め定めておくことを特徴とする撮像システム。
The imaging system according to claim 2,
The central processor of the central control unit previously classifies the magnitude relationship of the common area exposure detection information of the two cameras in each common imaging area, and what exposure correction is performed for which camera in each case. An imaging system, wherein whether to output information is determined in advance.
請求項1ないし4のいずれか1項に記載の撮像システムにおいて、
前記各カメラの前記映像処理回路は、撮影した画像信号に対して非線形な輝度階調補正を行う機能を有し、
前記中央制御装置の前記中央プロセッサは、伝送された画像信号の輝度階調に応じて、該当するカメラの映像処理回路に対して輝度階調補正動作の制御を行うことを特徴とする撮像システム。
The imaging system according to any one of claims 1 to 4,
The video processing circuit of each camera has a function of performing non-linear luminance gradation correction on a captured image signal,
The imaging system according to claim 1, wherein the central processor of the central control device controls a luminance gradation correction operation for a video processing circuit of a corresponding camera according to the luminance gradation of the transmitted image signal.
JP2008117137A 2008-04-28 2008-04-28 Imaging system Pending JP2009267923A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008117137A JP2009267923A (en) 2008-04-28 2008-04-28 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008117137A JP2009267923A (en) 2008-04-28 2008-04-28 Imaging system

Publications (1)

Publication Number Publication Date
JP2009267923A true JP2009267923A (en) 2009-11-12

Family

ID=41393181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008117137A Pending JP2009267923A (en) 2008-04-28 2008-04-28 Imaging system

Country Status (1)

Country Link
JP (1) JP2009267923A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241012B1 (en) 2011-06-27 2013-03-11 현대자동차일본기술연구소 Method for improving images of around view monitor system
JP2013207637A (en) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp Image processing apparatus and method, and computer program
KR101497933B1 (en) * 2013-08-19 2015-03-03 현대모비스(주) System and Method for compositing various images using clustering technique
JP2018503325A (en) * 2014-11-06 2018-02-01 デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc System and method for performing operations on pixel data
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10652478B2 (en) 2012-09-04 2020-05-12 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10785401B2 (en) 2016-09-01 2020-09-22 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10904505B2 (en) 2015-05-01 2021-01-26 Duelight Llc Systems and methods for generating a digital image
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US10931897B2 (en) 2013-03-15 2021-02-23 Duelight Llc Systems and methods for a digital image sensor
US11375085B2 (en) 2016-07-01 2022-06-28 Duelight Llc Systems and methods for capturing digital images
JP2022534046A (en) * 2019-05-31 2022-07-27 影石創新科技股▲ふん▼有限公司 Method and electronics for determining quasi-synchronous exposure parameters
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241012B1 (en) 2011-06-27 2013-03-11 현대자동차일본기술연구소 Method for improving images of around view monitor system
JP2013207637A (en) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp Image processing apparatus and method, and computer program
US11025831B2 (en) 2012-09-04 2021-06-01 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US12003864B2 (en) 2012-09-04 2024-06-04 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10652478B2 (en) 2012-09-04 2020-05-12 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10931897B2 (en) 2013-03-15 2021-02-23 Duelight Llc Systems and methods for a digital image sensor
KR101497933B1 (en) * 2013-08-19 2015-03-03 현대모비스(주) System and Method for compositing various images using clustering technique
JP2018503325A (en) * 2014-11-06 2018-02-01 デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc System and method for performing operations on pixel data
US11394894B2 (en) 2014-11-06 2022-07-19 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10904505B2 (en) 2015-05-01 2021-01-26 Duelight Llc Systems and methods for generating a digital image
US11356647B2 (en) 2015-05-01 2022-06-07 Duelight Llc Systems and methods for generating a digital image
US11375085B2 (en) 2016-07-01 2022-06-28 Duelight Llc Systems and methods for capturing digital images
US10785401B2 (en) 2016-09-01 2020-09-22 Duelight Llc Systems and methods for adjusting focus based on focus target information
US12003853B2 (en) 2016-09-01 2024-06-04 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10586097B2 (en) 2017-10-05 2020-03-10 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US11455829B2 (en) 2017-10-05 2022-09-27 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US11699219B2 (en) 2017-10-05 2023-07-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
JP7335981B2 (en) 2019-05-31 2023-08-30 影石創新科技股▲ふん▼有限公司 Method and electronics for determining quasi-synchronous exposure parameters
JP2022534046A (en) * 2019-05-31 2022-07-27 影石創新科技股▲ふん▼有限公司 Method and electronics for determining quasi-synchronous exposure parameters

Similar Documents

Publication Publication Date Title
JP2009267923A (en) Imaging system
CN101998053B (en) Image processing method, image processing apparatus, and imaging apparatus
JP4322781B2 (en) Imaging device
JP4869795B2 (en) Imaging control apparatus, imaging system, and imaging control method
US10630920B2 (en) Image processing apparatus
US20070292045A1 (en) Image processing apparatus and image processing method
US7880783B2 (en) Image pickup apparatus and method
JP2007124604A (en) Image processing apparatus and processing method therefor
JP4444218B2 (en) Brightness correction apparatus for moving picture, control method thereof and control program thereof
WO2020034701A1 (en) Imaging control method and apparatus, electronic device, and readable storage medium
US8717449B2 (en) Image synthesizing apparatus, image recording method, and recording medium
US8285134B2 (en) Wide dynamic range hardware apparatus and photographing apparatus including the same
EP3293697A1 (en) Image processing device, imaging device, image processing method, and storage medium storing image processing program for image processing device
US9214034B2 (en) System, device and method for displaying a harmonized combined image
US8989510B2 (en) Contrast enhancement using gradation conversion processing
EP3460748B1 (en) Dynamic range compression device and image processing device cross-reference to related application
EP1998552B1 (en) Imaging apparatus and image processing program
US20130215269A1 (en) Bird view system and compensating method thereof
JP6411644B2 (en) Automatic vehicle camera device with histogram diffusion
JP2010154478A (en) Compound-eye imaging apparatus and method for generating combined image thereof
US11805326B2 (en) Image processing apparatus, control method thereof, and storage medium
JP2006114006A (en) Gradation conversion apparatus, program, electronic camera, and method therefor
JP4857856B2 (en) Electronic camera having saturation adjustment function and image processing program
JP2011181019A (en) Bird&#39;s-eye view image generation device
JP6386843B2 (en) Image processing apparatus, image processing method, program, and storage medium