JP2007022454A - Camera system - Google Patents

Camera system Download PDF

Info

Publication number
JP2007022454A
JP2007022454A JP2005210493A JP2005210493A JP2007022454A JP 2007022454 A JP2007022454 A JP 2007022454A JP 2005210493 A JP2005210493 A JP 2005210493A JP 2005210493 A JP2005210493 A JP 2005210493A JP 2007022454 A JP2007022454 A JP 2007022454A
Authority
JP
Japan
Prior art keywords
area
camera
photometry
vehicle
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005210493A
Other languages
Japanese (ja)
Other versions
JP4644550B2 (en
Inventor
Akio Ishihara
章生 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Wiring Systems Ltd, AutoNetworks Technologies Ltd, Sumitomo Electric Industries Ltd filed Critical Sumitomo Wiring Systems Ltd
Priority to JP2005210493A priority Critical patent/JP4644550B2/en
Publication of JP2007022454A publication Critical patent/JP2007022454A/en
Application granted granted Critical
Publication of JP4644550B2 publication Critical patent/JP4644550B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To adjust photographing conditions of a camera according to photographing environment such as luminosity or the like of a photographing area by a simple constitution and to display the properly photographed image. <P>SOLUTION: In the camera system 1, a rear side of the vehicle is photographed by the on-vehicle rear camera 10 while switching a back mode and a rear side monitoring mode and the image is displayed on an on-vehicle display 40. The camera system 1 is provided with a mode determination part 23 for determining whether the present photographing state is the back mode or the rear side monitoring mode based on a predetermined condition; a night determination part 24 for determining whether or not the present time is night based on a predetermined condition; light measurement control parts (21, 14, 16) for light-measuring a relatively upper area in the photographing area than a light-measurement area at the back mode when the photographing state is the rear side monitoring mode at night; and a photographing condition adjustment part 17 for adjusting the photographing condition by the rear camera 10 based on the light-measurement result. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、カメラシステムに係り、より詳しくは、車両の後退動作時に車両の後方及び側方を撮像する第1のモードと車両の前進動作時に車両の後方及び側方を撮像する第2のモードとを切り替えながら、車両に設置されたカメラによって車両の後方及び側方を撮像し、撮像した画像を車両に設置された表示装置に表示するカメラシステムに関する。   The present invention relates to a camera system. More specifically, the present invention relates to a first mode for imaging the rear and side of a vehicle when the vehicle is moving backward, and a second mode for imaging the rear and side of the vehicle when the vehicle is moving forward. And a camera system that captures the rear and side of the vehicle with a camera installed in the vehicle and displays the captured image on a display device installed in the vehicle.

従来より、車両の車庫入れ等を円滑に行うため、車両の後退動作時に該車両に搭載したカメラにより、該車両の後方エリアを撮像し、撮像した画像を該車両に搭載した表示装置に表示するシステムが知られている。このシステムでは、車両後方の一般的に暗いエリアを撮像するため、撮像用のカメラの感度を高く設定することが殆どである。
特開平9−9136号公報
Conventionally, in order to smoothly put a vehicle in a garage or the like, when a vehicle moves backward, a camera mounted on the vehicle captures an area behind the vehicle and displays the captured image on a display device mounted on the vehicle. The system is known. In this system, in order to image a generally dark area behind the vehicle, the sensitivity of the camera for imaging is mostly set high.
Japanese Patent Laid-Open No. 9-9136

しかしながら、上記の車両搭載のカメラを別の用途にも併用する場合、従来のシステムでは、撮像されるエリアの明るさ等の撮像環境に応じてカメラの感度等を調節できないものが殆どであった。このため、例えば、走行中に車両の後方及び側方を撮像する場合、感度を高く設定したカメラで後続車両を撮像しても、当該後続車両のヘッドライトの影響で、いわゆるブルーミング現象が発生し、適正な明るさの画像を表示させることが困難であった。   However, when the above-mentioned camera mounted on the vehicle is also used for other purposes, most conventional systems cannot adjust the sensitivity of the camera according to the imaging environment such as the brightness of the area to be imaged. . For this reason, for example, when imaging the rear and side of a vehicle while traveling, even if the subsequent vehicle is imaged with a camera with high sensitivity, a so-called blooming phenomenon occurs due to the headlight of the subsequent vehicle. It was difficult to display an image with appropriate brightness.

ただし、カメラの感度を撮像環境に応じて調節する技術自体は、例えば、上記の特許文献1に提案されている。ところが、特許文献1の技術では、オートホワイトバランス制御や自動露光制御等の自動制御を行うための複雑な機器や環境判定用の特別な機器等を設ける必要がある。そのため、かかる複雑な機器や特別な機器を必要とせず、シンプルな構成によって、撮像エリアの明るさ等の撮像環境に応じてカメラの撮像条件を調節する技術が待望されていた。   However, a technique itself for adjusting the sensitivity of the camera in accordance with the imaging environment is proposed in, for example, Patent Document 1 described above. However, in the technique of Patent Document 1, it is necessary to provide a complicated device for performing automatic control such as auto white balance control and automatic exposure control, a special device for environment determination, and the like. Therefore, there has been a demand for a technique for adjusting the imaging condition of the camera in accordance with the imaging environment such as the brightness of the imaging area with a simple configuration without requiring such complicated equipment and special equipment.

本発明は、上記課題を解決するために成されたものであり、シンプルな構成によって、撮像エリアの明るさ等の撮像環境に応じてカメラの撮像条件を調節した上で、適正に撮像された画像を表示させることができるカメラシステムを提供することを目的とする。   The present invention has been made in order to solve the above-described problems. With a simple configuration, an image is properly captured after adjusting the imaging conditions of the camera according to the imaging environment such as the brightness of the imaging area. An object is to provide a camera system capable of displaying an image.

上記目的を達成するために、本発明に係るカメラシステムは、車両の後退動作時に車両の後方及び側方を撮像する第1のモードと車両の前進動作時に車両の後方及び側方を撮像する第2のモードとを切り換えながら、車両に設置されたカメラによって車両の後方及び側方を撮像し、撮像した画像を車両に設置された表示装置に表示するカメラシステムであって、所定条件に基づいて、現在の撮像状態が第1のモードであるか第2のモードであるかを判定するモード判定部と、所定条件に基づいて、現時点が夜間であるか否かを判定する夜間判定部と、モード判定部により撮像状態が第2のモードであると判定され夜間判定部により現時点が夜間であると判定された場合、撮像状態が第1のモードのときの測光領域よりも、カメラの撮像エリアにおける相対的に上方の領域を測光する測光制御部と、測光制御部による測光結果に基づいて、カメラによる撮像条件を調整する撮像条件調整部とを備えたことを特徴とする。   In order to achieve the above object, a camera system according to the present invention includes a first mode in which images of the rear and sides of a vehicle are taken during the backward movement of the vehicle, and a first mode in which images of the rear and sides of the vehicle are taken during forward movement of the vehicle. A camera system that captures the rear and side of a vehicle with a camera installed in the vehicle while switching between the two modes, and displays the captured image on a display device installed in the vehicle, based on a predetermined condition A mode determination unit that determines whether the current imaging state is the first mode or the second mode, a night determination unit that determines whether the current time is night based on a predetermined condition, When the mode determination unit determines that the imaging state is the second mode and the night determination unit determines that the current time is night, the imaging area of the camera is larger than the photometric area when the imaging state is the first mode. A metering control unit for metering a definitive relatively upper region, on the basis of the photometry result of the photometry control unit, characterized in that an imaging condition adjusting unit that adjusts an imaging condition by the camera.

即ち、モード判定部は、所定条件に基づいて現在の撮像状態が第1のモードであるか第2のモードであるかを判定する。ここでは例えば、車両の速度に基づいて現在の撮像状態が第1のモードであるか第2のモードであるかを判定してもよい。つまり、車両の速度が所定の基準値(一例として時速40km)以上の場合、撮像状態が第2のモードと判定し、車両の速度が当該基準値未満の場合(負の速度の場合、即ち、後退動作の場合も含む)、撮像状態が第1のモードと判定してもよい。ここでは、ギアR(リバース)から信号が出力されている場合に後退動作中と判断し、撮像状態が第1のモードと判定してもよい。その他、車両のハンドル操作が行われている場合や、ナビゲーションシステムにより高速道路上を走行中と判断される場合等にも、撮像状態が第2のモードと判定してもよい。   That is, the mode determination unit determines whether the current imaging state is the first mode or the second mode based on a predetermined condition. Here, for example, it may be determined whether the current imaging state is the first mode or the second mode based on the speed of the vehicle. That is, when the vehicle speed is equal to or higher than a predetermined reference value (40 km / h as an example), the imaging state is determined as the second mode, and when the vehicle speed is less than the reference value (in the case of a negative speed, that is, The imaging state may be determined as the first mode, including the case of the backward movement. Here, when a signal is output from the gear R (reverse), it may be determined that the reverse operation is being performed, and the imaging state may be determined as the first mode. In addition, the imaging state may be determined to be the second mode also when the steering operation of the vehicle is performed or when it is determined that the vehicle is traveling on the highway by the navigation system.

また、夜間判定部は、所定条件に基づいて、現時点が夜間であるか否かを判定する。ここでは例えば、内蔵した時計の時刻に応じて現時点が夜間であるか否かを判定してもよいし、測光した場合の測光エリア全体の輝度(明るさ)平均値を求め該平均値が所定基準値以下である場合に現時点が夜間であると判定してもよい。また、夜間判定部は、夜間照明時に操作が行われるライトコントロールスイッチから信号が出力されている場合に、現時点が夜間であると判定してもよい。   The night determination unit determines whether or not the current time is night based on a predetermined condition. Here, for example, it may be determined whether or not the current time is at night according to the time of the built-in clock, or the average value of brightness (brightness) of the entire photometry area in the case of photometry is obtained and the average value is predetermined. You may determine with the present time being nighttime when it is below a reference value. The night determination unit may determine that the current time is night when a signal is output from a light control switch that is operated during night illumination.

本発明の特徴として、モード判定部により撮像状態が第2のモードであると判定され夜間判定部により現時点が夜間であると判定された場合、測光制御部は、撮像状態が第1のモードのときの測光領域よりも、カメラの撮像エリアにおける相対的に上方の領域を測光し、撮像条件調整部は、測光結果に基づいて、カメラの撮像条件を調整する。   As a feature of the present invention, when the mode determination unit determines that the imaging state is the second mode and the night determination unit determines that the current time is night, the photometry control unit determines that the imaging state is the first mode. The area relatively above the image capturing area of the camera is measured with respect to the current photometric area, and the image capturing condition adjusting unit adjusts the image capturing condition of the camera based on the photometric result.

夜間、撮像状態が第2のモードのとき、後続の車両は、カメラの撮像エリアにおける相対的に上方の領域に入ることが多いので、かかる上方の領域を測光し該測光結果に基づいてカメラによる撮像条件を調整することにより、ブルーミング現象を防止し、撮像エリアの明るさ等の撮像環境に応じてカメラの撮像条件を調節した上で、適正に撮像された画像を表示装置に表示させることができ、ドライバによる視認性を向上させることができる。また、本発明は、測光領域を、第1のモードのときの測光領域よりも、カメラの撮像エリアにおける相対的に上方の領域に絞り込むことを本質とするため、複雑な機器や特別な機器を必要とせずシンプルな構成によって、撮像環境に応じた撮像条件の調節が可能となる。   At night, when the imaging state is in the second mode, the following vehicle often enters a relatively upper area in the imaging area of the camera. Therefore, the upper area is photometrically measured by the camera based on the photometric result. By adjusting the imaging conditions, the blooming phenomenon can be prevented, and the imaging conditions of the camera can be adjusted in accordance with the imaging environment such as the brightness of the imaging area, and then properly captured images can be displayed on the display device. And the visibility by the driver can be improved. Further, the present invention is based on the essence that the photometry area is narrowed down to the area relatively higher in the imaging area of the camera than the photometry area in the first mode. The imaging condition can be adjusted according to the imaging environment with a simple configuration that is not necessary.

ところで、上記の測光制御部は、上方の領域の測光にあたり、上方の領域内に輝度が所定のしきい値よりも高い高輝度領域が1つ以上存在するか否かを判断し、高輝度領域が存在する場合、上方の領域のうち、当該高輝度領域を含む所定サイズの測光領域に絞って測光を行う構成とすることが望ましい。かかる構成とすれば、夜間の後続車両の位置に相当する高輝度領域を含む所定サイズの測光領域に絞って測光を行うことができ、より適正な測光結果に基づいてカメラの撮像条件を調整することができる。   By the way, the above-mentioned photometry control unit determines whether or not there is one or more high-luminance areas whose luminance is higher than a predetermined threshold in the upper area in photometry of the upper area. In the upper area, it is desirable that the photometry is performed by limiting the photometry area to a predetermined size including the high luminance area. With this configuration, it is possible to perform photometry in a photometric area of a predetermined size including a high luminance area corresponding to the position of the following vehicle at night, and adjust the imaging conditions of the camera based on a more appropriate photometric result be able to.

また、カメラシステムが車両のハンドルの舵角を検知する舵角検知部をさらに備え、測光制御部が、舵角検知部により検知されたハンドルの舵角に応じて測光対象の領域を変更し、変更後の領域を測光する構成とすることが望ましい。かかる構成とすれば、ハンドルの舵角に応じた適正な領域を測光対象として測光することができ、より一層適正な測光結果に基づいてカメラの撮像条件を調整することができる。   Further, the camera system further includes a steering angle detection unit that detects the steering angle of the steering wheel of the vehicle, and the photometry control unit changes a region to be measured in accordance with the steering angle of the steering wheel detected by the steering angle detection unit, It is desirable that the area after the change is metered. With such a configuration, it is possible to perform photometry on an appropriate area corresponding to the steering angle of the steering wheel as a photometric object, and it is possible to adjust the imaging condition of the camera based on a more appropriate photometric result.

さらに、カメラシステムは、自車線の白線を模擬したシンボルを、撮像した画像に重畳させて表示装置に表示させる表示制御部をさらに備えることが望ましい。かかる構成とすれば、夜間の後続車両の走行しているレーンを容易に認識することができる。   Further, the camera system preferably further includes a display control unit that displays a symbol simulating the white line of the own lane on a captured image so as to be superimposed on the captured image. With this configuration, it is possible to easily recognize the lane in which the following vehicle is traveling at night.

本発明によれば、夜間、撮像状態が第2のモードのとき、後続の車両は、カメラの撮像エリアにおける相対的に上方の領域に入ることが多いので、かかる上方の領域を測光し該測光結果に基づいてカメラによる撮像条件を調整することにより、ブルーミング現象を防止し、撮像エリアの明るさ等の撮像環境に応じてカメラの撮像条件を調節した上で、適正に撮像された画像を表示装置に表示させることができ、ドライバによる視認性を向上させることができる。また、本発明は、測光領域を、第1のモードのときの測光領域よりも、カメラの撮像エリアにおける相対的に上方の領域に絞り込むことを本質とするため、複雑な機器や特別な機器を必要とせずシンプルな構成によって、撮像環境に応じた撮像条件の調節が可能となる。   According to the present invention, when the imaging state is the second mode at night, the following vehicle often enters a relatively upper area in the imaging area of the camera. Adjusting the imaging conditions of the camera based on the result prevents blooming phenomenon and displays the properly captured image after adjusting the imaging conditions of the camera according to the imaging environment such as the brightness of the imaging area It can be displayed on the device, and the visibility by the driver can be improved. Further, the present invention is based on the essence that the photometry area is narrowed down to the area relatively higher in the imaging area of the camera than the photometry area in the first mode. The imaging condition can be adjusted according to the imaging environment with a simple configuration that is not necessary.

以下、本発明に係るカメラシステムの各種の実施形態を順に説明する。なお、本発明に係るカメラシステムは、車両の後方及び側方を撮像するカメラ(以下「後方カメラ」という)を備え、車両の後退動作時に車両の後方及び側方を撮像する第1のモード(以下「バックモード」という)と、車両の前進動作時に車両の後方及び側方(以下「車両の後側方」という)を撮像する第2のモード(以下「後側方監視モード」という)とを切り換えながら、後方カメラによって車両の後方及び側方を撮像し、撮像した画像を車両に設置された表示装置に表示するものである。   Hereinafter, various embodiments of the camera system according to the present invention will be described in order. The camera system according to the present invention includes a camera that captures the rear and side of the vehicle (hereinafter referred to as “rear camera”), and a first mode for capturing the rear and side of the vehicle when the vehicle is moving backward ( (Hereinafter referred to as “back mode”) and a second mode (hereinafter referred to as “rear side monitoring mode”) for imaging the rear and side of the vehicle (hereinafter referred to as “rear side of the vehicle”) during forward movement of the vehicle; , The rear and side of the vehicle are imaged by the rear camera, and the captured images are displayed on a display device installed in the vehicle.

[第1実施形態]
第1実施形態では、夜間に後側方監視モードの場合に、撮像エリアにおいてバックモードのときよりも相対的に上方の領域を測光し、その測光結果に基づいて後方カメラの撮像条件を調整する実施形態を説明する。
[First Embodiment]
In the first embodiment, in the rear side monitoring mode at night, photometry is performed on a region above the imaging area relative to the back mode, and the imaging conditions of the rear camera are adjusted based on the photometry results. An embodiment will be described.

[カメラシステムの構成]
まず、図1、図2を用いてカメラシステムの構成を説明する。図2に示すように、カメラシステム1は、車両2(図1参照)の後方及び側方を撮像するための後方カメラ10と、カメラシステム1の動作を制御する制御ユニット20と、車両2の前方を撮像するための前方カメラ30と、撮像された画像を表示する表示装置としてのディスプレイ40と、車両2の速度(車速)を検知する車速検知部50と、ギアR(リバース)55と、車両2のハンドルの舵角を検知する舵角検知部60と、夜間照明時に操作が行われるライトコントロールスイッチ65とを含んで構成される。
[Camera system configuration]
First, the configuration of the camera system will be described with reference to FIGS. As shown in FIG. 2, the camera system 1 includes a rear camera 10 for imaging the rear and side of the vehicle 2 (see FIG. 1), a control unit 20 that controls the operation of the camera system 1, A front camera 30 for imaging the front, a display 40 as a display device for displaying the captured image, a vehicle speed detection unit 50 for detecting the speed (vehicle speed) of the vehicle 2, a gear R (reverse) 55, A steering angle detection unit 60 that detects the steering angle of the steering wheel of the vehicle 2 and a light control switch 65 that is operated during nighttime illumination are configured.

後方カメラ10は、図1に示す視野角θが大きな角度に設定された広視野角カメラにより構成され、車両2の後方及び側方の広範囲の領域を撮像可能とされている。この後方カメラ10は例えば図1に示す車両2の最後尾中央部に設置されている。図2に示すように後方カメラ10は、イメージセンサ11と、AGC(Automatic Gain Control)12と、ADコンバータ13と、DSP(Digital Signal Processor)14と、エンコーダ15と、測光部16と、撮像条件調整部17と、制御信号受信部18とを含んで構成される。   The rear camera 10 is composed of a wide viewing angle camera in which the viewing angle θ shown in FIG. 1 is set to a large angle, and can capture a wide range of areas on the rear and side of the vehicle 2. The rear camera 10 is installed, for example, at the rearmost central portion of the vehicle 2 shown in FIG. As shown in FIG. 2, the rear camera 10 includes an image sensor 11, an AGC (Automatic Gain Control) 12, an AD converter 13, a DSP (Digital Signal Processor) 14, an encoder 15, a photometry unit 16, and imaging conditions. An adjustment unit 17 and a control signal reception unit 18 are included.

詳細は後述するが、制御信号受信部18は測光部16の動作に関する制御信号をカメラ制御部21から受信した場合、当該制御信号をDSP14へ転送する。制御信号を受信したDSP14は、制御信号に基づいて、例えば測光領域を絞り込むなど、測光部16による測光動作を制御する。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送され、撮像条件調整部17は測光結果に応じて後方カメラ10の撮像条件を調整する。具体的には、イメージセンサ11に対する露光制御や、AGC12に対するゲイン制御を行う。かかる撮像条件調整後、イメージセンサ11で撮像された画像信号は、AGC12、ADコンバータ13を経由してDSP14へ画像データとして入力される。DSP14は、画像データに対し所定の歪み補正を行ってもよい。但し、本実施形態では、歪み補正を行わない例で説明する。その後、画像データはエンコーダ15により符号化され、該符号化された画像データは制御ユニット20の表示制御部22に出力される。   Although details will be described later, when the control signal receiving unit 18 receives a control signal related to the operation of the photometry unit 16 from the camera control unit 21, the control signal receiving unit 18 transfers the control signal to the DSP 14. The DSP 14 that has received the control signal controls the photometric operation by the photometric unit 16 such as narrowing the photometric area based on the control signal. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17, and the imaging condition adjusting unit 17 adjusts the imaging condition of the rear camera 10 according to the photometric result. Specifically, exposure control for the image sensor 11 and gain control for the AGC 12 are performed. After adjusting the imaging conditions, the image signal captured by the image sensor 11 is input as image data to the DSP 14 via the AGC 12 and the AD converter 13. The DSP 14 may perform predetermined distortion correction on the image data. However, in the present embodiment, an example in which distortion correction is not performed will be described. Thereafter, the image data is encoded by the encoder 15, and the encoded image data is output to the display control unit 22 of the control unit 20.

制御ユニット20は、カメラシステム1の全体的な動作を制御するカメラ制御部21と、図示しないデコーダを内蔵しディスプレイ40への画像表示処理を制御する表示制御部22と、所定条件(一例として車速検知部50により検知された車速)に基づいて現在の撮像状態が後側方監視モードであるかバックモードであるかを判定するモード判定部23と、所定条件に基づいて現時点が夜間であるか否かを判定する夜間判定部24とを含んで構成される。   The control unit 20 includes a camera control unit 21 that controls the overall operation of the camera system 1, a display control unit 22 that includes a decoder (not shown) and controls image display processing on the display 40, and predetermined conditions (for example, vehicle speed). Based on the vehicle speed detected by the detection unit 50), a mode determination unit 23 for determining whether the current imaging state is the rear side monitoring mode or the back mode, and whether the current time is night based on a predetermined condition And a night determination unit 24 that determines whether or not.

その他、カメラ制御部21には、舵角検知部60による検知信号(ハンドルの舵角を表す信号)が入力され、カメラ制御部21はハンドルの舵角に応じて測光領域を変更する機能を有する。かかる機能の詳細は第3実施形態にて説明する。また、表示制御部22は、自車線の白線を模擬したシンボルを、撮像された画像に重畳させてディスプレイ40に表示させる機能を有する。かかる機能の詳細は第3実施形態の後で説明するが、表示制御部22は舵角検知部60により検知された舵角に応じて上記シンボルの表示位置を変更したり、前方カメラ30で撮像された画像データを受信し該画像データから自車線の後方における白線の位置や間隔を求めて上記シンボルを表示させるといった機能も有する。   In addition, a detection signal (a signal indicating the steering angle of the steering wheel) by the steering angle detection unit 60 is input to the camera control unit 21, and the camera control unit 21 has a function of changing the photometric area according to the steering angle of the steering wheel. . Details of this function will be described in the third embodiment. The display control unit 22 has a function of superimposing a symbol simulating the white line of the own lane on the captured image and displaying the symbol on the display 40. Details of this function will be described after the third embodiment, but the display control unit 22 changes the display position of the symbol according to the rudder angle detected by the rudder angle detection unit 60 or picks up an image with the front camera 30. The image data is received, the position of the white line behind the own lane and the interval are obtained from the image data, and the symbol is displayed.

なお、本発明に係るモード判定部はモード判定部23に、夜間判定部は夜間判定部24に、撮像条件調整部は撮像条件調整部17に、舵角検知部は舵角検知部60に、表示制御部は表示制御部22に、それぞれ相当する。また、測光制御部はカメラ制御部21、DSP14及び測光部16を含んだ構成に相当する。また、第1実施形態では、図2の前方カメラ30と舵角検知部60は、必須構成要件とはならない。   The mode determination unit according to the present invention is the mode determination unit 23, the night determination unit is the night determination unit 24, the imaging condition adjustment unit is the imaging condition adjustment unit 17, the steering angle detection unit is the steering angle detection unit 60, The display control unit corresponds to the display control unit 22. The photometry control unit corresponds to a configuration including the camera control unit 21, the DSP 14, and the photometry unit 16. Moreover, in 1st Embodiment, the front camera 30 and the steering angle detection part 60 of FIG. 2 are not an essential component requirement.

[第1実施形態の動作]
図3には、後方カメラ10で撮像された車両2の後側方の画像を示す。同図に示すように、画像内には自車両2の後端部が画像の最下部に写り、その上に自車線の白線70が写る。そして、画像の上端付近に水平線71が写る。本実施形態では、広視野角カメラである後方カメラ10で撮像された画像に対し、歪み補正を行わないため、白線70及び水平線71は曲線となる。ここでは、もちろん歪み補正を行っても構わない。その場合、白線70及び水平線71は直線で表示され、ドライバにとって見易くなる。
[Operation of First Embodiment]
FIG. 3 shows an image of the rear side of the vehicle 2 captured by the rear camera 10. As shown in the figure, the rear end portion of the host vehicle 2 is shown in the lowermost part of the image, and the white line 70 of the host lane is shown thereabove. A horizontal line 71 appears in the vicinity of the upper end of the image. In this embodiment, since the distortion correction is not performed on the image captured by the rear camera 10 that is a wide viewing angle camera, the white line 70 and the horizontal line 71 are curved. Here, of course, distortion correction may be performed. In this case, the white line 70 and the horizontal line 71 are displayed as straight lines, and are easy to see for the driver.

さて、後方カメラ10で撮像するに先立ち、撮像条件を調整するために測光部16によって測光を行うが、バックモードの場合は図4に示すように、撮像エリアのうち、自車両2が写る最下部と空が写る最上部とを除いた領域R1を対象として測光を行う。   Prior to imaging with the rear camera 10, photometry is performed by the photometry unit 16 in order to adjust imaging conditions. In the back mode, as shown in FIG. Photometry is performed on an area R1 excluding the lower part and the uppermost part where the sky is reflected.

一方、後側方監視モードの場合は、特に夜間において、後続車両のヘッドライトの影響を十分に考慮する必要があるため、図5に示す後続車両72を包含する上方の領域R2を対象として測光を行う。   On the other hand, in the case of the rear side monitoring mode, it is necessary to fully consider the influence of the headlight of the following vehicle, particularly at night, so photometry is performed on the upper region R2 including the following vehicle 72 shown in FIG. I do.

このように測光の対象領域を切り替えながら測光、撮像、画像表示を行う処理手順を図6に基づき説明する。まず、S01にてモード判定部23は、車速検知部50から得られる車速が所定の基準値以上であるか否かにより、現時点の撮像状態が後側方監視モードであるかバックモードであるかを判定する。例えば、車速が所定の基準値(一例として時速40km)以上の場合に撮像状態が後側方監視モードであると判定し、車速が所定の基準値未満の場合(もちろん、負の速度の場合、即ち、後退動作の場合も含む)に撮像状態がバックモードであると判定してもよい。ここでは、ギアR(リバース)55から信号が出力されている場合に後退動作中と判断し、撮像状態が第1のモードと判定してもよい。その他、舵角検知部60により検知される舵角によって車両のハンドル操作が行われている場合やナビゲーションシステムにより高速道路上を走行中と判断される場合等に、撮像状態が後側方監視モードであると判定してもよい。なお、S01で現時点の撮像状態がバックモードであると判定された場合は、S02へ進み、従前のバックモードでの動作を行う。   A processing procedure for performing photometry, imaging, and image display while switching the target area for photometry will be described with reference to FIG. First, in S01, the mode determination unit 23 determines whether the current imaging state is the rear side monitoring mode or the back mode depending on whether the vehicle speed obtained from the vehicle speed detection unit 50 is equal to or higher than a predetermined reference value. Determine. For example, when the vehicle speed is equal to or higher than a predetermined reference value (40 km / h as an example), it is determined that the imaging state is the rear side monitoring mode, and when the vehicle speed is less than the predetermined reference value (of course, in the case of a negative speed, That is, it may be determined that the imaging state is the back mode (including the case of the backward movement). Here, when the signal is output from the gear R (reverse) 55, it may be determined that the reverse operation is being performed, and the imaging state may be determined as the first mode. In addition, when the steering operation of the vehicle is performed based on the steering angle detected by the steering angle detection unit 60 or when it is determined that the vehicle is traveling on the highway by the navigation system, the imaging state is in the rear side monitoring mode. You may determine that. When it is determined in S01 that the current imaging state is the back mode, the process proceeds to S02, and the operation in the previous back mode is performed.

S01で現時点の撮像状態が後側方監視モードであると判定された場合は、S03へ進み、夜間判定部24が、所定条件に基づいて現時点が夜間であるか否かを判定する。例えば、夜間判定部24に内蔵した時計の時刻に応じて現時点が夜間(例えば、現在時刻が午後6時以降、又は午前6時以前)であるか否かを判定してもよい。また、測光部16の測光結果を制御ユニット20へフィードバックし、制御ユニット20内の夜間判定部24において、測光エリア全体の輝度(明るさ)平均値を求め該平均値が所定基準値以下である場合に現時点が夜間であると判定してもよい。また、夜間判定部24は、夜間照明時に操作が行われるライトコントロールスイッチ65から信号が出力されている場合に、現時点が夜間であると判定してもよい。なお、S03で現時点が夜間ではないと判定された場合は、S04へ進み、昼間での後側方監視モードの所定の動作を行う。   If it is determined in S01 that the current imaging state is the rear side monitoring mode, the process proceeds to S03, and the night determination unit 24 determines whether the current time is night based on a predetermined condition. For example, it may be determined whether the present time is night (for example, the current time is after 6 pm or before 6 am) according to the time of a clock built in the night determination unit 24. In addition, the photometry result of the photometry unit 16 is fed back to the control unit 20, and the night determination unit 24 in the control unit 20 obtains an average luminance (brightness) value of the entire photometry area and the average value is equal to or less than a predetermined reference value. In this case, it may be determined that the current time is at night. The night determination unit 24 may determine that the current time is night when a signal is output from the light control switch 65 that is operated during night illumination. If it is determined in S03 that the current time is not nighttime, the process proceeds to S04 to perform a predetermined operation in the rear side monitoring mode in the daytime.

S03で現時点が夜間であると判定された場合は、S05へ進み、カメラ制御部21は、夜間の後側方監視モードでの測光、即ち、図5に示す上方の領域R2を対象として測光を行うよう指示する制御信号を後方カメラ10へ送信する。かかる制御信号は制御信号受信部18を介してDSP14へ転送され、DSP14は測光部16に対し、図5の上方の領域R2を対象として測光を行うよう制御する。これにより、夜間に後続車両のヘッドライトが写る可能性が高い上方の領域R2を対象として測光が行われる。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送される。   If it is determined in S03 that the current time is night, the process proceeds to S05, and the camera control unit 21 performs photometry in the rear side monitoring mode at night, that is, in the upper region R2 shown in FIG. A control signal instructing to do so is transmitted to the rear camera 10. The control signal is transferred to the DSP 14 via the control signal receiving unit 18, and the DSP 14 controls the photometry unit 16 to perform photometry on the upper region R2 in FIG. As a result, photometry is performed on the upper region R2 where the headlight of the following vehicle is likely to be captured at night. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17.

次のS06では、撮像条件調整部17は測光結果に応じて後方カメラ10の撮像条件を調整する。具体的には、イメージセンサ11に対する露光制御や、AGC12に対するゲイン制御を行う。本実施形態では、S05にて夜間に後続車両のヘッドライトが写る可能性が高い上方の領域R2を対象として測光が行われているため、一般に測光値が高くなる。そのため、S06では後方カメラ10の感度を下げるよう撮像条件が調整されることとなる。   In next S06, the imaging condition adjustment unit 17 adjusts the imaging condition of the rear camera 10 according to the photometric result. Specifically, exposure control for the image sensor 11 and gain control for the AGC 12 are performed. In the present embodiment, since the photometry is performed for the upper region R2 in which the possibility of the headlight of the following vehicle being captured at night in S05, the photometric value generally increases. Therefore, in S06, the imaging condition is adjusted so as to reduce the sensitivity of the rear camera 10.

次のS07では、撮像条件が調整された後方カメラ10で撮像された後側方の画像がディスプレイ40に表示される。具体的には、上記のような撮像条件調整後、イメージセンサ11で撮像された画像信号は、AGC12、ADコンバータ13を経由してDSP14へ画像データとして入力される。そして、画像データはエンコーダ15により符号化され、該符号化された画像データは制御ユニット20の表示制御部22に出力される。表示制御部22は、内蔵したデコーダにより、上記符号化された画像データを復号化した後、ディスプレイ40に後側方の画像を表示させる。以上説明した図6の処理手順は、カメラシステム1が電源オンの間は所定時間おきに繰り返し実行される。   In the next S07, the rear side image captured by the rear camera 10 in which the imaging conditions are adjusted is displayed on the display 40. Specifically, after adjusting the imaging conditions as described above, the image signal captured by the image sensor 11 is input as image data to the DSP 14 via the AGC 12 and the AD converter 13. Then, the image data is encoded by the encoder 15, and the encoded image data is output to the display control unit 22 of the control unit 20. The display control unit 22 displays the rear side image on the display 40 after decoding the encoded image data by the built-in decoder. The processing procedure of FIG. 6 described above is repeatedly executed at predetermined intervals while the camera system 1 is powered on.

以上のような第1実施形態によれば、夜間に後続車両のヘッドライトが写る可能性が高い上方の領域R2を対象として測光を行い、かかる測光結果に応じて後方カメラ10の撮像条件を調節するので、ブルーミング現象を防止し、撮像エリアの明るさ等の撮像環境に応じてカメラの撮像条件を調節した上で、適正に撮像された画像を表示装置に表示させることができ、ドライバによる視認性を向上させることができる。また、測光領域を上方の領域R2(バックモードのときよりも相対的に上方の領域)に絞り込むため、複雑な機器や特別な機器を必要とせずシンプルな構成によって、撮像環境に応じた撮像条件の調節が可能となる。   According to the first embodiment as described above, photometry is performed on the upper region R2 in which the headlight of the following vehicle is likely to be captured at night, and the imaging condition of the rear camera 10 is adjusted according to the photometry result. Therefore, the blooming phenomenon can be prevented, the image capturing condition of the camera can be adjusted according to the image capturing environment such as the brightness of the image capturing area, and the properly captured image can be displayed on the display device. Can be improved. In addition, since the photometric area is narrowed down to the upper area R2 (an area relatively higher than that in the back mode), an imaging condition corresponding to the imaging environment can be obtained with a simple configuration without requiring complicated equipment or special equipment. Can be adjusted.

[第2実施形態]
第2実施形態では、夜間に後側方監視モードの場合に、撮像エリア内における高輝度領域を検出し、高輝度領域を含む所定サイズの測光領域に絞って測光を行い、その測光結果に基づいて後方カメラの撮像条件を調整する実施形態を説明する。
[Second Embodiment]
In the second embodiment, in the case of the rear side monitoring mode at night, a high brightness area in the imaging area is detected, and the photometry is performed by focusing on a photometry area of a predetermined size including the high brightness area. An embodiment for adjusting the imaging conditions of the rear camera will be described.

第2実施形態におけるカメラシステム1の構成は、前述した図1、図2の構成と同様であるので、重複した説明は省略する。なお、第2実施形態では、図2の前方カメラ30と舵角検知部60は、必須構成要件とはならない。   Since the configuration of the camera system 1 in the second embodiment is the same as the configuration in FIGS. 1 and 2 described above, a duplicate description is omitted. In the second embodiment, the front camera 30 and the steering angle detection unit 60 in FIG. 2 are not essential constituent requirements.

[第2実施形態の動作]
図8に基づき第2実施形態の動作を説明する。第1実施形態と同様に、S11にてモード判定部23は、車速検知部50から得られる車速が所定の基準値以上であるか否かにより、現時点の撮像状態が後側方監視モードであるかバックモードであるかを判定する。ここで現時点の撮像状態がバックモードであると判定された場合は、従前のバックモードでの動作を行う(S12)。
[Operation of Second Embodiment]
The operation of the second embodiment will be described based on FIG. As in the first embodiment, in S11, the mode determination unit 23 determines that the current imaging state is the rear side monitoring mode depending on whether the vehicle speed obtained from the vehicle speed detection unit 50 is equal to or higher than a predetermined reference value. Or back mode. If it is determined that the current imaging state is the back mode, an operation in the previous back mode is performed (S12).

S11で現時点の撮像状態が後側方監視モードであると判定された場合は、S13へ進み、夜間判定部24が、所定条件に基づいて現時点が夜間であるか否かを判定する。例えば、夜間判定部24に内蔵した時計の時刻に応じて現時点が夜間(例えば、時刻が午後6時以降、又は、午前6時以前)であるか否かを判定してもよい。ここで現時点が夜間ではないと判定された場合は、昼間での後側方監視モードの所定の動作を行う(S14)。   If it is determined in S11 that the current imaging state is the rear side monitoring mode, the process proceeds to S13, and the night determination unit 24 determines whether the current time is night based on a predetermined condition. For example, it may be determined whether or not the present time is night (for example, the time is after 6 pm or before 6 am) according to the time of a clock incorporated in the night determination unit 24. If it is determined that the current time is not nighttime, a predetermined operation in the rear side monitoring mode in the daytime is performed (S14).

S13で現時点が夜間であると判定された場合は、S15へ進み、図5の上方の領域R2を対象とした測光を行い、該測光結果から領域R2内に1つ以上の高輝度領域(輝度値が所定のしきい値以上の領域)が存在するか否かを判定する。この判定は例えば、以下のように行うことができる。即ち、S13で現時点が夜間であると判定された場合、夜間判定部24からの判定信号を受けたカメラ制御部21は、図5の領域R2を対象として測光し該測光結果から領域R2内に1つ以上の高輝度領域が存在するか否かを判定するよう指示する制御信号をDSP14に送信する。かかる制御信号を受けたDSP14は、測光部16によって図5の領域R2を対象として測光させ、該測光結果に基づき領域R2内に1つ以上の高輝度領域が存在するか否かを判定することができる。   If it is determined in S13 that the current time is nighttime, the process proceeds to S15, and photometry is performed on the upper region R2 in FIG. 5, and one or more high-luminance regions (luminances) in the region R2 are determined from the photometry results. It is determined whether or not there is a region whose value is equal to or greater than a predetermined threshold value. This determination can be performed as follows, for example. That is, when it is determined in S13 that the current time is night, the camera control unit 21 that has received the determination signal from the night determination unit 24 performs photometry on the region R2 in FIG. A control signal is transmitted to the DSP 14 for instructing whether or not one or more high-luminance areas exist. Upon receiving such a control signal, the DSP 14 causes the photometry unit 16 to perform photometry on the region R2 in FIG. 5, and determines whether one or more high-luminance regions exist in the region R2 based on the photometry result. Can do.

S15で高輝度領域が存在しないと判定された場合、DSP14は、第1実施形態と同様に、測光部16に対し、図5の上方の領域R2を対象として測光を行うよう制御する。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送される。   When it is determined in S15 that the high brightness area does not exist, the DSP 14 controls the photometry unit 16 to perform photometry on the upper area R2 in FIG. 5 as in the first embodiment. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17.

一方、S15で高輝度領域が存在すると判定された場合、DSP14は、測光部16に対し、高輝度領域を含む所定サイズの測光領域に絞って測光を行うよう制御する。例えば、図7に示す高輝度領域73が存在すると判定された場合、高輝度領域73を含む所定サイズの測光領域R3に絞って測光が行われる。即ち、夜間に後続車両のヘッドライトが写った高輝度領域73を含む測光領域R3に絞って測光が行われることとなる。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送される。   On the other hand, when it is determined in S15 that the high brightness area exists, the DSP 14 controls the photometry unit 16 to perform the photometry while narrowing down to a predetermined photometry area including the high brightness area. For example, when it is determined that the high brightness area 73 illustrated in FIG. 7 exists, the photometry is performed by focusing on the photometry area R3 having a predetermined size including the high brightness area 73. That is, photometry is performed by focusing on the photometry region R3 including the high luminance region 73 in which the headlight of the following vehicle is captured at night. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17.

なお、図7には高輝度領域73が1つだけ存在する例を示したが、高輝度領域73が複数存在する場合には、高輝度領域73を含む所定サイズの測光領域が各高輝度領域73ごとに設定され、それら複数の測光領域を対象として測光が行われる。   FIG. 7 shows an example in which only one high-luminance area 73 exists. However, when there are a plurality of high-luminance areas 73, a photometric area having a predetermined size including the high-luminance areas 73 is a high-luminance area. It is set for each 73, and photometry is performed with respect to the plurality of photometry areas.

次のS18では、撮像条件調整部17は測光結果に応じて後方カメラ10の撮像条件を調整する。具体的には、イメージセンサ11に対する露光制御や、AGC12に対するゲイン制御を行う。そして、次のS19では、撮像条件が調整された後方カメラ10で撮像された後側方の画像がディスプレイ40に表示される。具体的には、上記のような撮像条件調整後、イメージセンサ11で撮像された画像信号は、AGC12、ADコンバータ13を経由してDSP14へ画像データとして入力される。そして、画像データはエンコーダ15により符号化され、該符号化された画像データは制御ユニット20の表示制御部22に出力される。表示制御部22は、内蔵したデコーダにより、上記符号化された画像データを復号化した後、ディスプレイ40に後側方の画像を表示させる。以上説明した図8の処理手順は、カメラシステム1が電源オンの間は所定時間おきに繰り返し実行される。   In next S18, the imaging condition adjustment unit 17 adjusts the imaging condition of the rear camera 10 according to the photometric result. Specifically, exposure control for the image sensor 11 and gain control for the AGC 12 are performed. In the next S19, the rear side image captured by the rear camera 10 in which the imaging conditions are adjusted is displayed on the display 40. Specifically, after adjusting the imaging conditions as described above, the image signal captured by the image sensor 11 is input as image data to the DSP 14 via the AGC 12 and the AD converter 13. Then, the image data is encoded by the encoder 15, and the encoded image data is output to the display control unit 22 of the control unit 20. The display control unit 22 displays the rear side image on the display 40 after decoding the encoded image data by the built-in decoder. The processing procedure of FIG. 8 described above is repeatedly executed at predetermined intervals while the camera system 1 is powered on.

以上のような第2実施形態によれば、夜間に後続車両のヘッドライトが写った高輝度領域73を含む測光領域R3に絞って測光を行うことができ、より適正な測光結果に基づいてカメラの撮像条件を調整することができる。   According to the second embodiment as described above, photometry can be performed by focusing on the photometry area R3 including the high brightness area 73 in which the headlight of the following vehicle is captured at night, and the camera is based on a more appropriate photometry result. The imaging conditions can be adjusted.

[第3実施形態]
第3実施形態では、夜間に後側方監視モードの場合に、ハンドルの舵角に応じて測光領域を変更し(例えば同一走行レーンの真後ろのみに変更し)、変更後の測光領域を測光し、その測光結果に基づいて後方カメラの撮像条件を調整する実施形態を説明する。
[Third Embodiment]
In the third embodiment, in the rear side monitoring mode at night, the photometric area is changed according to the steering angle of the steering wheel (for example, changed to just behind the same lane), and the photometric area after the change is metered. An embodiment in which the imaging conditions of the rear camera are adjusted based on the photometric result will be described.

第3実施形態におけるカメラシステム1の構成は、前述した図1、図2の構成と同様であるので、重複した説明は省略する。なお、第3実施形態では、図2の前方カメラ30は必須構成要件とはならない。   Since the configuration of the camera system 1 in the third embodiment is the same as the configuration in FIGS. 1 and 2 described above, a duplicate description is omitted. In the third embodiment, the front camera 30 in FIG. 2 is not an essential component.

[第3実施形態の動作]
図10に基づき第3実施形態の動作を説明する。第1実施形態と同様に、S21にてモード判定部23は、車速検知部50から得られる車速が所定の基準値以上であるか否かにより、現時点の撮像状態が後側方監視モードであるかバックモードであるかを判定する。ここで現時点の撮像状態がバックモードであると判定された場合は、従前のバックモードでの動作を行う(S22)。
[Operation of Third Embodiment]
The operation of the third embodiment will be described based on FIG. As in the first embodiment, in S21, the mode determination unit 23 determines that the current imaging state is the rear side monitoring mode depending on whether or not the vehicle speed obtained from the vehicle speed detection unit 50 is equal to or higher than a predetermined reference value. Or back mode. If it is determined that the current imaging state is the back mode, the operation in the previous back mode is performed (S22).

S21で現時点の撮像状態が後側方監視モードであると判定された場合は、S23へ進み、夜間判定部24が、所定条件に基づいて現時点が夜間であるか否かを判定する。例えば、夜間判定部24に内蔵した時計の時刻に応じて現時点が夜間(例えば、時刻が午後6時以降、又は、午前6時以前)であるか否かを判定してもよい。ここで現時点が夜間ではないと判定された場合は、昼間での後側方監視モードの所定の動作を行う(S24)。   When it is determined in S21 that the current imaging state is the rear side monitoring mode, the process proceeds to S23, and the night determination unit 24 determines whether the current time is night based on a predetermined condition. For example, it may be determined whether or not the present time is night (for example, the time is after 6 pm or before 6 am) according to the time of a clock incorporated in the night determination unit 24. If it is determined that the current time is not nighttime, a predetermined operation in the rear side monitoring mode in the daytime is performed (S24).

S23で現時点が夜間であると判定された場合は、S25へ進み、カメラ制御部21は、当該時点でハンドル操作中(即ち、右又は左にハンドルを切っている状態)であるか否かを、舵角検知部60の出力信号(検知された舵角)に基づいて判定する。この判定では例えば、右又は左への舵角の絶対値が所定基準値以上の場合にハンドル操作中であると判定し、舵角の絶対値が所定基準値未満の場合にハンドル操作中でないと判定することができる。   If it is determined in S23 that the current time is nighttime, the process proceeds to S25, and the camera control unit 21 determines whether or not the steering wheel is being operated at that time (ie, the steering wheel is turned to the right or left). The determination is made based on the output signal (detected rudder angle) of the rudder angle detector 60. In this determination, for example, when the absolute value of the steering angle to the right or left is greater than or equal to a predetermined reference value, it is determined that the steering operation is being performed, and when the absolute value of the steering angle is less than the predetermined reference value, the steering operation is not being performed. Can be determined.

S25でハンドル操作中でないと判定された場合、カメラ制御部21は、S26において、自車両の真後ろ(同一レーン後方)の領域(例えば図7の領域R3)を対象として測光を行うよう指示する制御信号を後方カメラ10へ送信する。かかる制御信号は制御信号受信部18を介してDSP14へ転送され、DSP14は測光部16に対し、自車両の真後ろ(同一レーン後方)の領域を対象として測光を行うよう制御する。このように自車両の真後ろ(同一レーン後方)の領域のみを対象として測光を行う理由は、ヘッドライトには指向性があるため、隣接レーンを走行中の後続車両のヘッドライトよりも同一レーンを走行中の後続車両のヘッドライトの方が、測光結果に大きな影響を与え、ブルーミングの発生の原因となりやすいからである。即ち、ハンドル操作中でないときに、自車両の真後ろ(同一レーン後方)の領域のみを対象として測光を行うことで、より適正な測光結果に基づいてカメラの撮像条件を調整することができる。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送される。   If it is determined in S25 that the steering wheel is not being operated, in S26, the camera control unit 21 instructs to perform light metering on a region (for example, the region R3 in FIG. 7) immediately behind the host vehicle (back of the same lane). A signal is transmitted to the rear camera 10. Such a control signal is transferred to the DSP 14 via the control signal receiving unit 18, and the DSP 14 controls the photometry unit 16 to perform photometry on the area immediately behind the host vehicle (the rear of the same lane). The reason for performing light metering only on the area just behind the host vehicle (behind the same lane) is that the headlight has directivity, so the same lane is used rather than the headlight of the following vehicle traveling in the adjacent lane. This is because the headlight of the following vehicle that is running has a greater influence on the photometric result and is likely to cause blooming. That is, when the steering operation is not being performed, by performing photometry on only the area immediately behind the host vehicle (back of the same lane), the imaging conditions of the camera can be adjusted based on a more appropriate photometry result. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17.

一方、S25でハンドル操作中であると判定された場合、カメラ制御部21は、舵角検知部60により検知されたハンドルの舵角に応じて測光対象の領域を変更し変更後の領域を対象として測光を行うよう指示する制御信号を後方カメラ10へ送信する。かかる制御信号は制御信号受信部18を介してDSP14へ転送される。DSP14は、制御信号に基づき、舵角検知部60により検知されたハンドルの舵角に応じて測光対象の領域を変更し(S27)、測光部16によって変更後の領域を対象として測光を行う(S28)。例えば、図7の領域R3から図9の領域R4へ測光対象の領域が変更され、変更後の領域R4を対象として測光が行われることとなる。これにより、たとえハンドル操作中であっても、夜間に同一レーンの後続車両74(図9参照)のヘッドライトが写る可能性が高い領域R4を対象として測光が行われる。かかる測光動作で得られた測光結果は撮像条件調整部17へ転送される。   On the other hand, when it is determined in S25 that the steering wheel is being operated, the camera control unit 21 changes the photometric target region according to the steering angle detected by the steering angle detection unit 60 and targets the changed region. A control signal instructing to perform photometry is transmitted to the rear camera 10. Such a control signal is transferred to the DSP 14 via the control signal receiver 18. Based on the control signal, the DSP 14 changes the photometric target region according to the steering angle of the steering wheel detected by the steering angle detection unit 60 (S27), and performs photometry on the changed region by the photometric unit 16 (S27). S28). For example, the photometric area is changed from the area R3 in FIG. 7 to the area R4 in FIG. 9, and photometry is performed on the changed area R4. As a result, even if the steering wheel is being operated, photometry is performed on the region R4 where the headlight of the following vehicle 74 (see FIG. 9) in the same lane is likely to be captured at night. The photometric result obtained by the photometric operation is transferred to the imaging condition adjusting unit 17.

次のS29では、撮像条件調整部17は測光結果に応じて後方カメラ10の撮像条件を調整する。具体的には、イメージセンサ11に対する露光制御や、AGC12に対するゲイン制御を行う。そして、次のS30では、撮像条件が調整された後方カメラ10で撮像された後側方の画像がディスプレイ40に表示される。具体的には、上記のような撮像条件調整後、イメージセンサ11で撮像された画像信号は、AGC12、ADコンバータ13を経由してDSP14へ画像データとして入力される。そして、画像データはエンコーダ15により符号化され、該符号化された画像データは制御ユニット20の表示制御部22に出力される。表示制御部22は、内蔵したデコーダにより、上記符号化された画像データを復号化した後、ディスプレイ40に後側方の画像を表示させる。以上説明した図10の処理手順は、カメラシステム1が電源オンの間は所定時間おきに繰り返し実行される。   In next S29, the imaging condition adjustment unit 17 adjusts the imaging condition of the rear camera 10 according to the photometric result. Specifically, exposure control for the image sensor 11 and gain control for the AGC 12 are performed. In the next S30, the rear side image captured by the rear camera 10 in which the imaging conditions are adjusted is displayed on the display 40. Specifically, after adjusting the imaging conditions as described above, the image signal captured by the image sensor 11 is input as image data to the DSP 14 via the AGC 12 and the AD converter 13. Then, the image data is encoded by the encoder 15, and the encoded image data is output to the display control unit 22 of the control unit 20. The display control unit 22 displays the rear side image on the display 40 after decoding the encoded image data by the built-in decoder. The processing procedure of FIG. 10 described above is repeatedly executed at predetermined intervals while the camera system 1 is powered on.

以上のような第3実施形態によれば、ハンドルの舵角に応じた適正な領域を測光対象として測光することができ、より適正な測光結果に基づいてカメラの撮像条件を調整することができる。   According to the third embodiment as described above, it is possible to perform photometry on an appropriate area corresponding to the steering angle of the steering wheel as a photometric object, and to adjust the imaging condition of the camera based on a more appropriate photometric result. .

なお、上記の第2、第3実施形態のポイントを組み合わせて、夜間に後側方監視モードの場合に、撮像エリア内における高輝度領域を検出し該高輝度領域を含む所定サイズの測光領域に絞って測光を行いつつ、走行中にハンドル操作した場合は、そのハンドルの舵角に応じて測光領域を変更し、変更後の測光領域を対象として測光してもよい。かかる場合、より一層適正な測光結果に基づいてカメラの撮像条件を調整することができる。   In addition, in the case of the rear side monitoring mode at night by combining the points of the second and third embodiments described above, a high brightness area in the imaging area is detected and a photometric area of a predetermined size including the high brightness area is detected. When the steering wheel is operated while traveling while performing the metering while narrowing down, the metering area may be changed according to the steering angle of the steering wheel, and the metering area after the change may be measured. In such a case, the imaging conditions of the camera can be adjusted based on a more appropriate photometric result.

また、上記各実施形態では、測光領域やカメラの撮像条件を自動的に設定変更する例を示したが、ドライバがユーザインターフェースからマニュアルで設定変更できるよう構成してもよく、また、自動の設定変更とマニュアルの設定変更とを共存させてもよい。   In each of the above-described embodiments, an example in which the photometry area and the imaging condition of the camera are automatically changed has been described. However, the driver may be configured to be able to change the setting manually from the user interface. The change and manual setting change may coexist.

また、上記各実施形態では、制御ユニット20内のカメラ制御部21がカメラシステム1の動作を中心的に制御する例を示したが、カメラ制御部21に代わり、後方カメラ10内のDSP14が車速検知部50や舵角検知部60からの検知結果に基づいてカメラシステム1の動作を中心的に制御するよう構成してもよい。   In each of the above embodiments, the camera control unit 21 in the control unit 20 mainly controls the operation of the camera system 1. However, instead of the camera control unit 21, the DSP 14 in the rear camera 10 has a vehicle speed. You may comprise so that operation | movement of the camera system 1 may be controlled centrally based on the detection result from the detection part 50 or the steering angle detection part 60. FIG.

また、図2の各構成間の信号伝送、例えば、後方カメラ10と制御ユニット20間の信号伝送については、追加で設置した信号線経由で伝送する形態を採用してもよいし、電源供給線に重畳させて伝送する形態を採用してもよいし、無線通信により伝送する形態を採用してもよい。   Further, for signal transmission between the respective components in FIG. 2, for example, signal transmission between the rear camera 10 and the control unit 20, a form of transmission via an additionally installed signal line may be adopted, or a power supply line A mode in which the data is transmitted while being superimposed on the screen may be employed, or a mode in which the data is transmitted by wireless communication may be employed.

さて、上記第1〜第3実施形態に対する共通の工夫として、表示制御部22が、自車線の白線を模擬したシンボルを、撮像した画像に重畳させてディスプレイ40に表示させる態様が考えられるので、以下、この態様について説明する。   As a common contrivance for the first to third embodiments, a mode in which the display control unit 22 displays a symbol simulating the white line of the own lane on the captured image on the display 40 is considered. Hereinafter, this aspect will be described.

具体的には、図11に示すように自車線の白線を模擬したシンボル80を、画像に重畳させてディスプレイ40に表示するものである。ここで、シンボル80の幅は、一般的な走行レーン幅に基づいて予め求めて記憶しておいた固定値を用いてもよい。また、昼間の前進動作時に後方カメラ10で撮像して得られた画像から、従来より知られたHough変換の技術によって白線を抽出し、該抽出結果から平均的な走行レーン幅を求めて該平均値をシンボル80の幅として用いてもよい。即ち、撮像して得られた画像を歪み補正した上で、補正画像内では白線が直線で表示されることを利用し、Hough変換に基づく直線抽出の技術を用いて白線を抽出し、該抽出結果から平均的な走行レーン幅を求めて該平均値をシンボル80の幅として用いてもよい。なお、ここでは後方カメラ10で撮像して得られた画像に代わり、図2の前方カメラ30で撮像して得られた画像を用いてもよい。また、白線が存在しない路上を走行している場合は、一般的な走行レーン幅に基づいて予め求めた固定値を用いることが有効である。   Specifically, as shown in FIG. 11, a symbol 80 simulating a white line of the own lane is superimposed on the image and displayed on the display 40. Here, as the width of the symbol 80, a fixed value obtained and stored in advance based on a general traveling lane width may be used. In addition, a white line is extracted by a conventionally known Hough transform technique from an image captured by the rear camera 10 during daytime forward movement, and an average driving lane width is obtained from the extraction result to obtain the average The value may be used as the width of the symbol 80. That is, after correcting the distortion of the image obtained by imaging, the white line is extracted by using a straight line extraction technique based on the Hough transform using the fact that the white line is displayed as a straight line in the corrected image. An average traveling lane width may be obtained from the result, and the average value may be used as the width of the symbol 80. Here, instead of the image obtained by imaging with the rear camera 10, an image obtained by imaging with the front camera 30 of FIG. 2 may be used. Further, when traveling on a road where no white line exists, it is effective to use a fixed value obtained in advance based on a general traveling lane width.

また、シンボル80の向きについては、図11に示すように第3実施形態の技術を応用してハンドルの舵角に応じてシンボル80の向きを変更するものとする。   As for the direction of the symbol 80, the direction of the symbol 80 is changed according to the steering angle of the steering wheel by applying the technique of the third embodiment as shown in FIG.

以上のように自車線の白線を模擬したシンボル80を、画像に重畳させてディスプレイ40に表示させることで、例えば、図11に示す後続車両75が自車両とは異なるレーンを走行しているものとドライバは容易に視覚的に判断することができる。即ち、夜間の後続車両の走行しているレーンを容易に認識することが可能となる。   As described above, the symbol 80 simulating the white line of the own lane is superimposed on the image and displayed on the display 40. For example, the following vehicle 75 shown in FIG. 11 is traveling on a lane different from the own vehicle. And the driver can easily judge visually. That is, it becomes possible to easily recognize the lane in which the following vehicle is traveling at night.

車両における後方カメラの設置位置を示す図である。It is a figure which shows the installation position of the rear camera in a vehicle. カメラシステムの構成を示すブロック図である。It is a block diagram which shows the structure of a camera system. 後方カメラで撮像された車両の後側方の画像を示す図である。It is a figure which shows the image of the rear side of the vehicle imaged with the rear camera. バックモードの場合の測光領域を示す図である。It is a figure which shows the photometry area | region in the case of back mode. 後側方監視モードの場合の測光領域を示す図である。It is a figure which shows the photometry area | region in the case of rear side monitoring mode. 第1実施形態のカメラシステムにおける処理手順を示す流れ図である。It is a flowchart which shows the process sequence in the camera system of 1st Embodiment. 高輝度領域を含む所定サイズの測光領域を示す図である。It is a figure which shows the photometry area | region of the predetermined size containing a high-intensity area | region. 第2実施形態のカメラシステムにおける処理手順を示す流れ図である。It is a flowchart which shows the process sequence in the camera system of 2nd Embodiment. ハンドルの舵角に応じて変更された後の測光領域を示す図である。It is a figure which shows the photometry area | region after changing according to the steering angle of a steering wheel. 第3実施形態のカメラシステムにおける処理手順を示す流れ図である。It is a flowchart which shows the process sequence in the camera system of 3rd Embodiment. 自車線の白線を模擬したシンボルを画像に重畳させて表示した例を示す図である。It is a figure which shows the example which superimposed and displayed the symbol which simulated the white line of the own lane on the image.

符号の説明Explanation of symbols

1…カメラシステム、2…車両、10…後方カメラ、11…イメージセンサ、12…AGC、13…ADコンバータ、14…DSP、15…エンコーダ、16…測光部、17…撮像条件調整部、18…制御信号受信部、20…制御ユニット、21…カメラ制御部、22…表示制御部、23…モード判定部、24…夜間判定部、30…前方カメラ、40…ディスプレイ、50…車速検知部、60…舵角検知部、70…白線、71…水平線、72…後続車両、73…高輝度領域、74…後続車両、75…後続車両、80…シンボル。   DESCRIPTION OF SYMBOLS 1 ... Camera system, 2 ... Vehicle, 10 ... Back camera, 11 ... Image sensor, 12 ... AGC, 13 ... AD converter, 14 ... DSP, 15 ... Encoder, 16 ... Photometry part, 17 ... Imaging condition adjustment part, 18 ... Control signal receiving unit, 20 ... control unit, 21 ... camera control unit, 22 ... display control unit, 23 ... mode determination unit, 24 ... night determination unit, 30 ... front camera, 40 ... display, 50 ... vehicle speed detection unit, 60 ... rudder angle detection unit, 70 ... white line, 71 ... horizontal line, 72 ... following vehicle, 73 ... high brightness area, 74 ... following vehicle, 75 ... following vehicle, 80 ... symbol.

Claims (4)

車両の後退動作時に車両の後方及び側方を撮像する第1のモードと車両の前進動作時に車両の後方及び側方を撮像する第2のモードとを切り換えながら、車両に設置されたカメラによって車両の後方及び側方を撮像し、撮像した画像を車両に設置された表示装置に表示するカメラシステムであって、
所定条件に基づいて、現在の撮像状態が前記第1のモードであるか前記第2のモードであるかを判定するモード判定部と、
所定条件に基づいて、現時点が夜間であるか否かを判定する夜間判定部と、
前記モード判定部により撮像状態が前記第2のモードであると判定され前記夜間判定部により現時点が夜間であると判定された場合、撮像状態が前記第1のモードのときの測光領域よりも、前記カメラの撮像エリアにおける相対的に上方の領域を測光する測光制御部と、
前記測光制御部による測光結果に基づいて、前記カメラによる撮像条件を調整する撮像条件調整部と、
を備えたカメラシステム。
The camera installed on the vehicle is switched between a first mode for imaging the rear and side of the vehicle during the backward movement of the vehicle and a second mode for imaging the rear and side of the vehicle during the forward movement of the vehicle. A camera system that takes an image of the rear and sides of the camera and displays the captured image on a display device installed in the vehicle,
A mode determination unit that determines whether the current imaging state is the first mode or the second mode based on a predetermined condition;
A night determination unit that determines whether the current time is night based on a predetermined condition;
When the mode determination unit determines that the imaging state is the second mode and the night determination unit determines that the current time is night, than the photometric area when the imaging state is the first mode, A photometric control unit that performs photometry on a relatively upper area in the imaging area of the camera;
An imaging condition adjusting unit that adjusts an imaging condition by the camera based on a photometric result by the photometric control unit;
Camera system equipped with.
前記測光制御部は、
前記上方の領域の測光にあたり、前記上方の領域内に輝度が所定のしきい値よりも高い高輝度領域が1つ以上存在するか否かを判断し、高輝度領域が存在する場合、前記上方の領域のうち、当該高輝度領域を含む所定サイズの測光領域に絞って測光を行うことを特徴とする請求項1記載のカメラシステム。
The photometry control unit
In photometry of the upper area, it is determined whether or not there is one or more high-brightness areas whose luminance is higher than a predetermined threshold in the upper area. 2. The camera system according to claim 1, wherein the photometry is performed by focusing on a photometry area having a predetermined size including the high brightness area.
前記カメラシステムは、車両のハンドルの舵角を検知する舵角検知部をさらに備え、
前記測光制御部は、前記舵角検知部により検知されたハンドルの舵角に応じて測光対象の領域を変更し、変更後の領域を測光することを特徴とする請求項1又は2に記載のカメラシステム。
The camera system further includes a steering angle detection unit that detects a steering angle of a steering wheel of the vehicle,
The said photometry control part changes the area | region of photometry object according to the steering angle of the steering wheel detected by the said steering angle detection part, and measures the area | region after a change. Camera system.
自車線の白線を模擬したシンボルを、前記撮像した画像に重畳させて前記表示装置に表示させる表示制御部をさらに備えた請求項1〜3の何れか1項に記載のカメラシステム。   The camera system according to any one of claims 1 to 3, further comprising a display control unit configured to superimpose a symbol simulating a white line of the own lane on the captured image and to display the symbol on the display device.
JP2005210493A 2005-07-20 2005-07-20 Camera system Expired - Fee Related JP4644550B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005210493A JP4644550B2 (en) 2005-07-20 2005-07-20 Camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005210493A JP4644550B2 (en) 2005-07-20 2005-07-20 Camera system

Publications (2)

Publication Number Publication Date
JP2007022454A true JP2007022454A (en) 2007-02-01
JP4644550B2 JP4644550B2 (en) 2011-03-02

Family

ID=37783756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005210493A Expired - Fee Related JP4644550B2 (en) 2005-07-20 2005-07-20 Camera system

Country Status (1)

Country Link
JP (1) JP4644550B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304407A (en) * 2006-05-12 2007-11-22 Alpine Electronics Inc Automatic exposure device and method for vehicle-mounted camera
JP2008222061A (en) * 2007-03-13 2008-09-25 Toyota Motor Corp Vehicular image pick-up device
JP2010012904A (en) * 2008-07-02 2010-01-21 Honda Motor Co Ltd Drive assist device
JPWO2013129354A1 (en) * 2012-03-01 2015-07-30 日産自動車株式会社 Three-dimensional object detection device
JP2017005678A (en) * 2015-06-04 2017-01-05 ソニー株式会社 On-vehicle camera system and image processing apparatus
JP2017183945A (en) * 2016-03-29 2017-10-05 京セラ株式会社 Imaging apparatus, imaging method, and vehicle
JP2019122010A (en) * 2018-01-11 2019-07-22 アルパイン株式会社 Rear image display device for vehicle
WO2019146162A1 (en) * 2018-01-25 2019-08-01 クラリオン株式会社 Display control device and display system
JP2020036165A (en) * 2018-08-29 2020-03-05 アルパイン株式会社 Image display device and image display system
JP2020121717A (en) * 2017-07-25 2020-08-13 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG Indirect view system for vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2556541B2 (en) * 1988-01-22 1996-11-20 日産自動車株式会社 Vehicle image information display device
JPH09142210A (en) * 1995-11-27 1997-06-03 Yazaki Corp Monitor device for vehicular peripheral circumference
JP2000280822A (en) * 1999-03-30 2000-10-10 Yazaki Corp Back monitor device for vehicle
JP2005135203A (en) * 2003-10-31 2005-05-26 Hitachi Ltd Vehicle-driving support device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2556541B2 (en) * 1988-01-22 1996-11-20 日産自動車株式会社 Vehicle image information display device
JPH09142210A (en) * 1995-11-27 1997-06-03 Yazaki Corp Monitor device for vehicular peripheral circumference
JP2000280822A (en) * 1999-03-30 2000-10-10 Yazaki Corp Back monitor device for vehicle
JP2005135203A (en) * 2003-10-31 2005-05-26 Hitachi Ltd Vehicle-driving support device

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304407A (en) * 2006-05-12 2007-11-22 Alpine Electronics Inc Automatic exposure device and method for vehicle-mounted camera
JP2008222061A (en) * 2007-03-13 2008-09-25 Toyota Motor Corp Vehicular image pick-up device
JP2010012904A (en) * 2008-07-02 2010-01-21 Honda Motor Co Ltd Drive assist device
JPWO2013129354A1 (en) * 2012-03-01 2015-07-30 日産自動車株式会社 Three-dimensional object detection device
JP2017005678A (en) * 2015-06-04 2017-01-05 ソニー株式会社 On-vehicle camera system and image processing apparatus
US11539894B2 (en) 2015-06-04 2022-12-27 Sony Group Corporation In-vehicle camera system and image processing apparatus
US11089229B2 (en) 2015-06-04 2021-08-10 Sony Group Corporation In-vehicle camera system and image processing apparatus
JP2020080550A (en) * 2015-06-04 2020-05-28 ソニー株式会社 Vehicle-mounted camera system, image processing apparatus, and image processing method
US10582131B2 (en) 2015-06-04 2020-03-03 Sony Corporation In-vehicle camera system and image processing apparatus
JP2017183945A (en) * 2016-03-29 2017-10-05 京セラ株式会社 Imaging apparatus, imaging method, and vehicle
JP2020121717A (en) * 2017-07-25 2020-08-13 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG Indirect view system for vehicle
JP2019122010A (en) * 2018-01-11 2019-07-22 アルパイン株式会社 Rear image display device for vehicle
JP2019129417A (en) * 2018-01-25 2019-08-01 クラリオン株式会社 Display control apparatus and display system
JP7140498B2 (en) 2018-01-25 2022-09-21 フォルシアクラリオン・エレクトロニクス株式会社 Display controller and display system
CN111656775A (en) * 2018-01-25 2020-09-11 歌乐株式会社 Display control device and display system
WO2019146162A1 (en) * 2018-01-25 2019-08-01 クラリオン株式会社 Display control device and display system
CN111656775B (en) * 2018-01-25 2022-04-29 歌乐株式会社 Display control device and display system
US11450040B2 (en) 2018-01-25 2022-09-20 Clarion Co., Ltd. Display control device and display system
JP2020036165A (en) * 2018-08-29 2020-03-05 アルパイン株式会社 Image display device and image display system
JP7009334B2 (en) 2018-08-29 2022-01-25 アルパイン株式会社 Image display device, image display system

Also Published As

Publication number Publication date
JP4644550B2 (en) 2011-03-02

Similar Documents

Publication Publication Date Title
JP4644550B2 (en) Camera system
US20200086794A1 (en) Vehicle rear monitoring system
JP4738778B2 (en) Image processing device, driving support device, and driving support system
JP4706466B2 (en) Imaging device
JP2007304407A (en) Automatic exposure device and method for vehicle-mounted camera
JP5629521B2 (en) Obstacle detection system and method, obstacle detection device
JP6969488B2 (en) Image display device
US20120002052A1 (en) Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method
JP2007189369A (en) Device for detecting dirt of camera lens, and image display system
JP2008110715A (en) Vehicular automatic lighting system
JP5759907B2 (en) In-vehicle imaging device
JP2008098858A (en) Vehicle periphery monitoring device
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP4400512B2 (en) In-vehicle camera control device
JP2004096345A (en) Imaging apparatus
JP4782491B2 (en) Imaging device
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP2008230464A (en) Automatic exposure device for on-vehicle camera
JP4314103B2 (en) Car camera
JP2010183152A (en) Optical communication equipment for vehicle
JP2002274257A (en) Monitoring device for vehicle
JP2004123061A (en) Photographing system
JP7009334B2 (en) Image display device, image display system
JP4734727B2 (en) Video camera
KR20070108615A (en) Auto vision system and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101206

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees