JP6740756B2 - Imaging device and automobile - Google Patents
Imaging device and automobile Download PDFInfo
- Publication number
- JP6740756B2 JP6740756B2 JP2016132796A JP2016132796A JP6740756B2 JP 6740756 B2 JP6740756 B2 JP 6740756B2 JP 2016132796 A JP2016132796 A JP 2016132796A JP 2016132796 A JP2016132796 A JP 2016132796A JP 6740756 B2 JP6740756 B2 JP 6740756B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- control device
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、撮像装置および自動車に関する。 The present invention relates to an image pickup device and an automobile.
車両に搭載したカメラが知られている（特許文献１参照）。従来の車両に搭載したカメラでは、車両の位置によって撮影条件の設定を行うことができないという問題がある。 A camera mounted on a vehicle is known (see Patent Document 1). A conventional camera mounted on a vehicle has a problem that it is not possible to set shooting conditions depending on the position of the vehicle.
本発明の第１の態様による撮像装置は、移動体に搭載される撮像装置において、異なる撮像条件が設定可能である複数の領域を有する撮像部と、前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報を取得する取得部と、前記複数の領域の撮像条件を設定する設定部と、を備え、前記設定部は、前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報に基づいて、前記複数の領域のうち前記移動体の進行方向に位置する特定の対象物の領域について、撮像条件を他の領域と異ならせる。An image pickup apparatus according to a first aspect of the present invention is an image pickup apparatus mounted on a moving body, wherein an image pickup unit having a plurality of regions in which different image pickup conditions can be set, position information of the moving body, and the moving body. An acquisition unit that acquires information about a road located in the traveling direction, and a setting unit that sets the imaging conditions of the plurality of regions, wherein the setting unit is the positional information of the moving body and the traveling direction of the moving body. Based on the information of the road located at, the imaging condition is made different from the other areas for the area of the specific object located in the traveling direction of the moving body among the plurality of areas.
本発明の第２の態様による自動車は、第１の態様による撮像装置を搭載する。 A vehicle according to a second aspect of the present invention is equipped with the imaging device according to the first aspect.
（第一の実施の形態）
＜カメラの使用場面＞
図１は、カメラ３を搭載した車両１の運転支援装置２の概略構成図である。図１において、自動車等の車両１に運転支援装置２が搭載されている。運転支援装置２は、カメラ３と、制御装置４と、第１の走行制御ユニット５と、第２の走行制御ユニット６等により構成される。なお、本実施の形態では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
(First embodiment)
<When to use the camera>
FIG. 1 is a schematic configuration diagram of a
カメラ３は、複数のレンズを有する撮像光学系、後述する積層型撮像素子を備え、例えば車室内の天井前方に取り付けられている。カメラ３は車両１の前方に向けられ、その取り付け高さ（地面からカメラ３までの距離）は、例えば１．４(ｍ)に調整されている。カメラ３は、車両１の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体（対象物）までの距離測定（測距）を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。測距については後述する。カメラ３により取得された画像のデータおよび測距データは、制御装置４へ送出される。なお、カメラ３を車外に設けてもよく、車内・車外のカメラ３を協働してもよく、カメラ３の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ３を用い、対象物や障害物の認識は、車内・車外のカメラ３を協働させるようにしてもよい。
The
制御装置４は、図２に例示するように、ＣＰＵ４ａおよび記憶部４ｂを含む。ＣＰＵ４ａは、記憶部４ｂに記憶されている各種プログラムに基づいて、記憶部４ｂに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。 The control device 4 includes a CPU 4a and a storage unit 4b, as illustrated in FIG. The CPU 4a performs various calculations based on various programs stored in the storage unit 4b using control parameters stored in the storage unit 4b and detection signals from each sensor described later.
第１の走行制御ユニット５は、制御装置４からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両１を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置４にて認識された先行車の速度が車両１に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
The first
第２の走行制御ユニット６は、制御装置４からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両１が道路に沿って走行するように操舵制御装置９にステアリング制御信号を出力したり、車両１が対象物と衝突するのを回避するようにブレーキ制御装置８にブレーキ制御信号を出力したりする制御である。
The second traveling control unit 6 performs driving assistance control based on an instruction from the control device 4. Based on a predetermined control program, the driving assistance control outputs a steering control signal to the
図１にはさらに、スロットル制御装置７と、ブレーキ制御装置８と、操舵制御装置９と、ステアリングホイール１０と、ターンシグナルスイッチ１１と、車速センサ１２と、ヨーレートセンサ１３と、表示装置１４と、ＧＰＳ装置１５と、シフトレバー位置検出装置１６と、マイク１７と、ナビゲーション装置（情報装置）１８とが図示されている。
1, the throttle control device 7, the
スロットル制御装置７は、アクセルペダル７ａの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置７は、第１の走行制御ユニット５から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置７はさらに、アクセルペダル７ａの踏み込み量を示す信号を制御装置４へ送出する。
The throttle control device 7 controls the opening degree of a throttle valve (not shown) according to the depression amount of the accelerator pedal 7a. The throttle control device 7 also controls the opening of the throttle valve according to a throttle control signal sent from the first
ブレーキ制御装置８は、ブレーキペダル８ａの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置８は、第２の走行制御ユニット６からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置８はさらに、ブレーキペダル８ａの踏み込み量を示す信号を制御装置４へ送出する。
The
操舵制御装置９は、ステアリングホイール１０の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置９は、第２の走行制御ユニット６からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置９はさらに、ステアリングホイール１０の回転角を示す信号を第１の走行制御ユニット５と、制御装置４と、にそれぞれ送出する。
The
ターンシグナルスイッチ１１は、不図示のターンシグナル（ウィンカー）装置を作動させるためのスイッチである。ターンシグナル装置は、車両１の進路変更を示す点滅発光装置である。車両１の乗員によってターンシグナルスイッチ１１が操作されると、ターンシグナルスイッチ１１からの操作信号がターンシグナル装置、第２の走行制御ユニット６および制御装置４にそれぞれ送出される。車速センサ１２は車両１の車速Ｖを検出し、検出信号を第１の走行制御ユニット５と、第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。
The
ヨーレートセンサ１３は車両１のヨーレートを検出し、検出信号を第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。ヨーレートは、車両１の旋回方向への回転角の変化速度である。表示装置１４は、第１の走行制御ユニット５、および第２の走行制御ユニット６による制御状態を示す情報などを表示する。表示装置１４は、例えばフロントガラスに情報を投映するＨＵＤ(Head Up Display)によって構成される。なお、表示装置１４として、ナビゲーション装置１８の表示部を利用するようにしてもよい。
The
ＧＰＳ装置１５は、ＧＰＳ衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両１の位置（緯度、経度など）を算出する。ＧＰＳ装置１５で算出した位置情報は、ナビゲーション装置１８や制御装置４へ送出される。シフトレバー位置検出装置１６は、車両１の乗員によって操作された不図示のシフトレバーの位置（例えば、パーキング（Ｐ）、リバース（Ｒ）、ドライブ（Ｄ）など）を検出する。シフトレバー位置検出装置１６で検出したシフトレバーの位置情報は、制御装置４へ送出される。
The
マイク１７は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両１の前方の音を集音する指向性を有する。右側方マイクは、専ら車両１の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両１の左側方の音を集音する指向性を有する。マイク１７で集音された各音情報（前方、右側方、左側方）は、それぞれ制御装置４へ送出される。
The microphone 17 includes, for example, a front microphone, a right microphone, and a left microphone. The front microphone has a directivity that exclusively collects sounds in front of the
ナビゲーション装置（情報装置）１８は、ＧＰＳ装置１５から取得した位置情報に対応する地図データを記憶媒体やネットワークから取得して液晶モニターに表示し、入力された目的地まで走行経路（移動に関する情報）を案内するシステムである。ナビゲーション装置１８は、運転者による操作を受け付ける操作部と、前述の液晶モニターと、音声ガイダンスを行うスピーカと、地図データを読み取る読み取り部などを有している。
なお、通信部１９は、第三の実施の形態において用いるものであり、第一の実施の形態では必須の構成ではない。
The navigation device (information device) 18 acquires map data corresponding to the position information acquired from the
The
＜対象物の検出＞
制御装置４は、車両１の走行路および対象物を検出するために、カメラ３からの画像に対し、以下のように画像処理を行う。先ず、制御装置４は、撮影画面内の複数の位置における測距データに基づいて距離画像（奥行き分布画像）を生成する。制御装置４は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部４ｂに記憶しておいた３次元的な道路形状データ、側壁データ、対象物データ等の枠（ウインドウ）と比較し、白線（道路に沿った白線データおよび道路を横断する白線（停止線：交差点情報）を含む）、道路に沿って存在するガードレール、縁石等の側壁を検出するとともに、対象物・障害物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して検出する。
本実施の形態では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
<Detection of object>
The control device 4 performs image processing on the image from the
In the present embodiment, a white or yellow line drawn on the road is called a white line. In addition, the solid line and the broken line are referred to as a white line.
＜運転支援＞
制御装置４は、上記のように検出した各情報、すなわち、白線、ガードレール側壁、および対象物に基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第２の走行制御ユニット６に上記運転支援制御を行わせる。すなわち、車両１を道路に沿って走行させ、車両１が対象物と衝突するのを回避させる。
<Driving support>
The control device 4 recognizes the traveling path and the obstacle/obstacle, which is an obstacle, based on the information detected as described above, that is, the white line, the guardrail side wall, and the obstacle, and the second based on the recognition result. The driving control unit 6 is caused to perform the driving support control. That is, the
＜走行制御＞
制御装置４は、例えば、以下の４ 通りにより自車進行路の推定を行う。
（１）白線に基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
<Travel control>
The control device 4 estimates the traveling route of the own vehicle, for example, by the following four ways.
(1) Estimating the vehicle's traveling path based on the white line The white line data on either the left or right side or the left or right side of the road is obtained from the image acquired by the
（２）ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
(2) Vehicle traveling path estimation based on side wall data of guardrails, curbs, etc. Side wall data on either the left or right side or the left or right side of the traveling path is obtained from the image acquired by the
（３）先行車軌跡に基づく自車進行路推定
制御装置４は、記憶部４ｂに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両１と同じ方向に走行する対象物のうち、車両１に最も近い車両をいう。
(3) Estimation of own vehicle traveling route based on preceding vehicle trajectory The control device 4 estimates the own vehicle traveling route based on the past traveling trajectory of the preceding vehicle stored in the storage unit 4b. The preceding vehicle is the vehicle closest to the
（４）車両１の走行軌跡に基づく自車走行路推定
制御装置４は、車両１の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ１３による検出信号と、車速センサ１２による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Ｃuaは、Ｃua ＝ｄψ／ｄｔ／Ｖ により算出する。ｄψ／ｄｔは上記ヨーレート（旋回方向への回転角の変化速度）であり、Ｖは車両１の車速である。
(4) Own vehicle traveling path estimation based on the traveling path of the
制御装置４は、記憶部４ｂに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両１の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置４はさらに、カメラ３の撮像結果に基づき上記先行車を認識する。すなわち、制御装置４は、走行領域内に存在して順方向（車両１と同じ方向）に走行する対象物の中から、車両１に最も近い車両を先行車とする。
The control device 4 estimates the traveling area of the
制御装置４は、先行車と車両１との車間距離情報、および先行車の車速情報を、車外情報として第１の走行制御ユニット５へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両１の車速Ｖと、車速Ｖの取得タイミングに同期して上記所定時間ごとにカメラ３で取得された画像に基づいて測距した撮影画面内の先行車までの距離（車間距離）の変化と、に基づいて算出する。
The control device 4 outputs the inter-vehicle distance information between the preceding vehicle and the
第１の走行制御ユニット５は、車速センサ１２で検出される車速Ｖが、あらかじめセットされている所定の車速（目標速度）に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を自動で定速走行させる。
The first
また、第１の走行制御ユニット５は、定速状態の走行制御を行っている際に制御装置４から入力された先行車の車速情報が車両１に設定されている目標速度以下の場合には、制御装置４から入力された車間距離情報に基づいてスロットル制御装置７へスロットル制御信号を送出する。具体的には、車両１から先行車までの車間距離および先行車の車速と、車両１の車速Ｖと、に基づいて適切な車間距離の目標値を設定し、カメラ３で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を先行車に追従走行させる。
When the vehicle speed information of the preceding vehicle input from the control device 4 during the traveling control in the constant speed state is less than or equal to the target speed set in the
＜積層型撮像素子の説明＞
上述したカメラ３に備わる積層型撮像素子１００は、本願出願人が先に出願し公開された国際公開ＷＯ１３／１６４９１５号に記載されているものである。撮像素子１００には、入射光に対応した画素信号を出力する裏面照射型の撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層されている。撮像素子１００は、単位領域ごとに撮像条件を設定可能に構成される。
<Explanation of stacked image sensor>
The
図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。撮像素子１００への入射光は、Ｚ軸プラス方向へ向かって入射する。座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面上方向をＹ軸プラス方向とする。以降のいくつかの図においては、図３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
FIG. 3 is a diagram illustrating the pixel array of the
撮像チップ１１１の画素領域には、例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数はいくらでもよく、例えば１０００画素でも１画素でもよい。また、単位領域間で画素の数が異なっていても構わない。
In the pixel area of the
画素領域の部分拡大図に示すように、単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in a partially enlarged view of the pixel area, the
本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so that one block includes at least one
＜測距の説明＞
本実施の形態では、撮像チップ１１１に離散的に設けられた焦点検出用画素からの測距用の画像信号に基づいて、撮像光学系３１（図４）の異なる瞳位置を通過する複数の光束による複数の像のずれ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を求める。デフォーカス量と対象物までの距離とが一対一で対応するため、カメラ３Ａから対象物までの距離を求めることができる。
なお、撮像チップ１１１において焦点検出画素以外の画素位置には通常の撮像用画素が設けられる。撮像用画素は、車外監視用の画像信号を出力する。
<Explanation of distance measurement>
In the present embodiment, a plurality of light fluxes passing through different pupil positions of the imaging optical system 31 (FIG. 4) are based on the image signals for distance measurement from the focus detection pixels discretely provided on the
In the
＜カメラの説明＞
図４は、上述した撮像素子１００を有するカメラ３の構成を例示するブロック図である。図４において、カメラ３は、撮像光学系３１と、撮像部３２と、画像処理部３３と、ワークメモリ３４と、制御部３５と、記録部３６とを有する。
<Description of camera>
FIG. 4 is a block diagram illustrating the configuration of the
撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、上記撮像素子１００および駆動部３２ａを含み、撮像光学系３１によって撮像チップ１１１上に結像された対象物の像を光電変換する。駆動部３２ａは、撮像素子１００（撮像チップ１１１）に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部３５から駆動部３２ａへ送信される。
The imaging
画像処理部３３は、ワークメモリ３４と協働して撮像部３２で撮像された画像データに対する画像処理を行う。画像処理部３３は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
The
ワークメモリ３４は、画像処理前後の画像データなどを一時的に記憶する。記録部３６は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部３５は、例えばＣＰＵによって構成され、制御装置４からの制御信号に応じて、カメラ３による全体の動作を制御する。例えば、撮像部３２で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ１１１の蓄積時間を駆動部３２ａへ指示する。
The
制御部３５には、測距演算部３５ａと、不揮発性メモリ３５ｂとが含まれる。測距演算部３５ａは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）を行う。カメラ３で取得した画像データおよびカメラ３で算出した測距データは、制御装置４へ送出される（図１）。不揮発性メモリ３５ｂは、制御部３５が実行するプログラム、および測距に必要な情報を記憶する。
The
＜撮像素子のブロック制御＞
制御装置４は、カメラ３の撮像素子１００（撮像チップ１１１）に対し、上述した単位領域１３１ごとに独立した蓄積制御を行わせる。このため、制御装置４には、車両１の各部から次の信号が入力される（図２）。
（１）ナビゲーション装置１８からの情報
車両１の運転に関し、地図情報、目的地・経由地の情報、交差点やカーブ等の道路情報、信号機や標識等の設置物の有無、位置若しくは大きさ等の情報、または渋滞の有無、交通量、工事区間や事故情報等の交通状況についての情報等の、車両１の運転に関する各種の情報が、制御装置４に入力される。
（２）車両１のヨーレート
ヨーレートセンサ１３による検出信号が、制御装置４に入力される。
<Block control of image sensor>
The control device 4 causes the image pickup device 100 (image pickup chip 111) of the
(1) Information from the
(2) Yaw rate of
（３）アクセルペダル７ａの踏み込み量
スロットル制御装置７から制御装置４に、アクセルペダル７ａの踏み込み量を示す信号が入力される。
（４）ブレーキペダル８ａの踏み込み量
ブレーキ制御装置８から制御装置４に、ブレーキペダル８ａの踏み込み量を示す信号が入力される。
(3) Depression amount of accelerator pedal 7a A signal indicating the depression amount of the accelerator pedal 7a is input from the throttle control device 7 to the control device 4.
(4) Depression amount of brake pedal 8a A signal indicating the depression amount of the brake pedal 8a is input from the
（５）ステアリングホイール１０の回転角
操舵制御装置９から制御装置４に、ステアリングホイール１０の回転角を示す信号が入力される。ステアリングホイール１０の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
（６）車両１の車速Ｖ
車速センサ１２による検出信号が、制御装置４に入力される。
(5) Rotation Angle of Steering Wheel 10 A signal indicating the rotation angle of the
(6) Vehicle speed V of
A detection signal from the
（７）ターンシグナルスイッチ１１の操作信号
ターンシグナルスイッチ１１の操作信号が、制御装置４に入力される。
（８）シフトレバーの位置
シフトレバー位置検出装置１６が検出したシフトレバーの位置を示す信号が、制御装置４に入力される。
(7) Operation Signal of
(8) Shift lever position A signal indicating the shift lever position detected by the shift lever
（９）車両１の位置情報
ＧＰＳ装置１５で測位された位置情報が、ＧＰＳ装置１５から制御装置４に入力される。
（１０）車両１の周囲の音情報
マイク１７で集音された車両１の前方、右側方、および左側方からの音情報が、それぞれ制御装置４に入力される。
(9) Position information of
(10) Sound information around the
図５は、車両１の前方を撮像するカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。図５において、撮像チップ１１１の撮像面と、撮像チップ１１１において電荷蓄積（撮像）を行わせる領域（準注目領域８１および注目領域８２）と、行方向および列方向の電荷蓄積（撮像）を行わせない領域（休止領域８３）とを例示する。注目領域８２は、準注目領域８１と異なる条件で電荷蓄積（撮像）を行う領域である。撮像チップ１１１における準注目領域８１、注目領域８２のサイズや位置も、撮像条件の一つである。
なお、図５は、車両１が平坦な直線道路の左側レーンを走行中の場合に取得される像を例示する。このような状態で、正面遠方の対象物が画面の略中央に出現するように、すなわち消失点を画面の略中央に合わせるように、カメラ３の向きが調節されている。
FIG. 5 is a diagram schematically illustrating an image of a subject (object) formed on the
Note that FIG. 5 exemplifies an image acquired when the
制御装置４は、準注目領域８１に含まれる単位領域１３１に対し、それぞれ第１の条件（例えば、注目領域８２に比べてフレームレートを低くする）を設定して撮像するように制御するとともに、注目領域８２に含まれる単位領域１３１に対し、それぞれ第２の条件（例えば、準注目領域８１に比べてフレームレートを高くする）を設定して撮像するように制御する。また、制御装置４は、休止領域８３に含まれる単位領域１３１については撮像しないように休止させる。なお、注目領域８２を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、休止領域８３を設けなくてもよい。
The control device 4 sets a first condition (for example, lowers the frame rate compared to the attention area 82) for each
図６(a)は、車両１が走行する道路を例示する図である。図６(a)において、車両１の進行方向に２か所の交差点が設けられている。車両１の現在位置に近い（車両１からの距離ｄ１）交差点を第１の交差点Ｐとし、車両１の現在位置から遠い（車両１からの距離ｄ２）交差点を第２の交差点Ｓとする。第１の交差点Ｐおよび第２の交差点Ｓには、それぞれ信号機７０−１と、信号機７０−２とが設けられている。本例では、車両１が第１の交差点Ｐおよび第２の交差点Ｓを直進するものとする。
FIG. 6A is a diagram illustrating a road on which the
第１の交差点Ｐには左方から他の車両７２が接近し、第２の交差点Ｓには右方から他の車両７３が接近している。また、車両１が進行する道路の高低差は、曲線７５のグラフで示される。Ｘ軸は車両１の走行距離を表し、Ｚ軸は標高を表す。図６(a)によれば、車両１が走行する道路は、第１の交差点Ｐ付近までは上り坂であり、第１の交差点Ｐを過ぎると第２の交差点Ｓへ向けて下り坂である。
Another
図６(b)は、車両１の前方を撮像するカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。図６(b)において、第１の交差点Ｐにおける対象物（本例では信号機７０−１と車両７２の前部）を含む領域が注目領域８２に設定され、注目領域８２を除く領域が準注目領域８１に設定される。なお、図６(b)の例では休止領域は設定されていない。
FIG. 6B is a diagram schematically showing an image of a subject (object) formed on the
車両１の制御装置４は、距離ｄ１があらかじめ設定された距離Ｄ（例えば１００ｍ）より短かくなると、画像に基づいて認識した対象物を含む注目領域８２を設定する。対象物には、移動体として車両や人物が含まれ、非移動体として信号機や横断歩道、遮断機等が含まれる。制御装置４は、注目領域８２に対応する撮像素子１００の単位領域１３１（図４）について、以下のように撮像条件を制御する。なお、距離ｄ１は、撮像素子１００による測距結果、またはナビゲーション装置１８からの地図情報により得ることができる。
When the distance d1 becomes shorter than the preset distance D (for example, 100 m), the control device 4 of the
車両１の制御装置４は、注目領域８２に対応する単位領域１３１に対し、準注目領域８１の場合と比べてフレームレートを高くしたり、間引き率を低くしたり、ゲインを上げたりする。間引き率を低くするほど、解像度は高まる。解像度、フレームレートおよびゲインの少なくとも１つを高くすることにより、注目領域８２において第１の交差点Ｐ付近の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えて、効率的な撮像を行わせることができる。
The control device 4 of the
ところで、図６(a)によると、第２の交差点Ｓは第１の交差点Ｐより標高が低いため、車両１の現在位置からは第２の交差点Ｓを見通すことができない。このため、たとえ距離ｄ２があらかじめ設定された距離Ｄ（例えば１００ｍ）より短くなったとしても、第２の交差点Ｓ付近の情報を車両１のカメラ３で取得することが困難である。
By the way, according to FIG. 6A, since the second intersection S has a lower altitude than the first intersection P, the second intersection S cannot be seen from the current position of the
そこで、車両１の制御装置４は、ナビゲーション装置１８からの情報に基づいて、車両１の進行方向の道路に関する情報を解析する。解析には、進行方向の道路の形状についての情報と、第２の交差点Ｓの三次元位置（緯度、経度、標高）の情報と、対象物（本例では、設置されている信号機７０−２）の高さや大きさの情報等を用いる。制御装置４は、解析結果を用いて、第２の交差点Ｓに設けられている信号機７０−２が見え始める車両１の位置を演算する。
Therefore, the control device 4 of the
図７(a)は、図６(a)に比べて車両１が進行した状態を例示する図である。図７(a)において、距離ｄ２は、上記距離Ｄ（例えば１００ｍ）より短い。制御装置４は、車両１の位置が上記演算した位置を通過する手前（例えば３０ｍ手前）から、第２の交差点Ｓにおける信号機７０−２が写ると見込まれる撮像素子１００の領域を、注目領域８２Ｂとして設定する。図７(b)は、カメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。
FIG. 7(a) is a diagram illustrating a state in which the
図７(b)において、第１の交差点Ｐにおける信号機７０−１および車両７２の前部を含む注目領域８２と、第２の交差点Ｓにおける信号機７０−２が写ると見込まれる注目領域８２Ｂとが設定され、注目領域８２、注目領域８２Ｂを除く領域が準注目領域８１に設定される。
In FIG. 7B, an
制御装置４は、撮像素子１００における注目領域８２Ｂの位置、大きさを、カメラ３の位置から信号機７０−２の存在する方向の立体角に対応して決定する。信号機７０−２の存在する方向の立体角は、信号機７０−２または第２の交差点Ｓの位置情報、車両１（カメラ３）の位置情報、カメラ３の撮影方向、カメラ３の撮影画角、信号機７０−２の高さおよび大きさについての情報から算出する。撮影画角については、撮像光学系３１（図４）の設計データに基づく画角情報を用いる。信号機７０−２の大きさが不明の場合は、例えば、信号機のサイズとして公知のＭ型サイズを用いる。また、信号機７０−２の高さが不明の場合は、例えば５(ｍ)とする。５(ｍ)は、路面からの所定高さの空間を確保する旨を定めた建築限界に基づく値である。カメラ３の路面からの高さは、本例の場合上述した１．４(ｍ)である。
The control device 4 determines the position and size of the
なお、制御装置４は、車両１が、上記演算した位置（第２の交差点Ｓの信号機７０−２が見え始める位置）の手前３０(ｍ)に達する前でも、第２の交差点までの距離ｄ２があらかじめ設定された距離Ｄより短くなったときから、信号機７０−２の存在する方向の立体角に対応して、撮像素子１００に注目領域８２Ｂを設定してもよい。
また、制御装置４は、信号機７０−２に限らず、第２の交差点Ｓにおける設置物、建造物、あるいは第２の交差点Ｓ全体を含む方向の立体角に基づく注目領域８２Ｂを、撮像素子１００に設定してもよい。
Note that the control device 4 controls the distance d2 to the second intersection even before the
In addition, the control device 4 is not limited to the traffic light 70-2, and the installation area, the building at the second intersection S, or the
図７(b)によれば、信号機７０−２が写ると見込まれる方向にあらかじめ注目領域８２Ｂを設定しているため、制御装置４は、車両１が第２の交差点Ｓを見通せる位置へ到達して信号機７０−２の像が撮像素子１００に写り始める時から、適切に信号機７０−２を認識することができる。
制御装置４は、注目領域８２Ｂおよびこの周囲において実際に取得した画像に基づき、必要に応じて注目領域８２Ｂの位置や大きさ（範囲）および撮像条件を変更してよい。具体的には、画像から信号機７０−２以外の横断者や自転車が認識される場合には、これらの横断者、自転車および信号機７０−２を含む領域を注目領域８２として、従前の注目領域８２Ｂに代えて設定する。
According to FIG. 7(b), since the
The control device 4 may change the position, size (range), and imaging condition of the
なお、車両１の自動走行制御が解除されている場合（マニュアル運転されている場合）で、かつ車両１が第１の交差点Ｐに十分に近づいたとき（例えば２５ｍ以内）は、車両１の運転者が第１の交差点Ｐに進入する他の車両７２に十分注意するから、制御装置４は、図７(b)の第１の交差点Ｐについての注目領域８２の設定を解除してもよい。
In addition, when the automatic traveling control of the
＜フローチャートの説明＞
以下、図８および図９のフローチャートを参照して注目領域８２、８２Ｂおよび準注目領域８１の決め方について説明する。図８は、制御装置４が実行するカメラ３の制御処理の流れを説明するフローチャートである。図８のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂ（図２）に格納されている。制御装置４は、例えば車両１から電源供給が開始されたり、エンジンが始動されたりすると、図８による処理を行うプログラムを起動する。
<Explanation of flow chart>
Hereinafter, how to determine the
図８のステップＳ１０において、制御装置４は、フラグａが０か否かを判定する。フラグａは、初期設定が終了している場合に１、初期設定が終了していない場合に０がセットされるフラグである。制御装置４は、フラグａ＝０の場合にステップＳ１０を肯定判定してステップＳ２０へ進み、フラグａ≠０の場合にステップＳ１０を否定判定してステップＳ３０へ進む。 In step S10 of FIG. 8, the control device 4 determines whether the flag a is 0. The flag a is a flag which is set to 1 when the initial setting is completed and is set to 0 when the initial setting is not completed. The controller 4 makes an affirmative decision in step S10 if the flag a=0 to proceed to step S20, whereas it makes a negative decision in step S10 if the flag a≠0 to proceed to step S30.
ステップＳ２０において、制御装置４は、カメラ３へ初期設定を行ってステップＳ３０へと進む。初期設定とは、カメラ３に所定の動作をさせるためにあらかじめ定められた設定を行うものである。これにより、カメラ３が撮像素子１００の撮像面の全域に同じ撮像条件を設定し、例えば毎秒６０フレーム（６０ｆｐｓ）のフレームレートで撮像を開始する。
In step S20, the control device 4 initializes the
ステップＳ３０において、制御装置４は、撮像条件設定処理を行ってステップＳ４０へ進む。撮像条件設定処理では、注目領域８２（必要な場合は注目領域８２Ｂ）および準注目領域８１を設定し、それぞれの領域に対応する単位領域１３１に対して撮像条件を設定する。撮像条件設定処理の詳細については後述する。
In step S30, the control device 4 performs an imaging condition setting process and proceeds to step S40. In the imaging condition setting process, the attention area 82 (the
ステップＳ４０において、制御装置４はカメラ３へ指示を送り、注目領域８２（注目領域８２Ｂ）および準注目領域８１に対応する撮像素子１００の単位領域１３１をそれぞれ所定の条件で駆動させて、画像の取得および測距演算を行わせる。これにより、画像データや測距情報が取得される。また、制御装置４は、カメラ３の画像処理部３３または制御部３５等に所定の画像処理および画像解析を行わせる。
In step S40, the control device 4 sends an instruction to the
ステップＳ５０において、制御装置４は、情報を表示する設定が行われているか否かを判定する。制御装置４は、表示設定が行われている場合にステップ５０を肯定判定してステップＳ６０へ進む。制御装置４は、表示設定が行われていない場合には、ステップＳ５０を否定判定してステップＳ７０へ進む。 In step S50, the control device 4 determines whether or not the setting for displaying information is made. The control device 4 makes an affirmative decision in step 50 if the display settings have been made to proceed to step S60. When the display setting is not performed, the control device 4 makes a negative determination in step S50 and proceeds to step S70.
ステップＳ６０において、制御装置４は、表示装置１４またはナビゲーション装置１８（図１）に対する表示情報を送出してステップＳ７０へ進む。表示情報は、撮像条件設定処理（Ｓ３０）の中で判断された車両１の状態または進行方向の道路に関する情報で、例えば「１ｋｍ先に工事区間があります」「車両が接近しています」、「緊急停車します」、「右折します」というメッセージを表示装置１４またはナビゲーション装置１８に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合、音声再生装置として、ナビゲーション装置１８の音声再生部を用いてもよい。
In step S60, the control device 4 sends the display information for the display device 14 or the navigation device 18 (FIG. 1), and proceeds to step S70. The display information is information about the state of the
Instead of transmitting the display information or together with the display information, an audio signal for reproducing the message may be transmitted to an audio reproducing device (not shown). In this case, the audio reproduction unit of the
ステップＳ７０において、制御装置４は、オフ操作されたか否かを判定する。制御装置４は、例えば車両１からオフ信号（例えば、エンジンのオフ信号）を受けると、ステップＳ７０を肯定判定し、所定のオフ処理を行って図８による処理を終了する。制御装置４は、例えば車両１からオフ信号を受けない場合は、ステップＳ７０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。
In step S70, the control device 4 determines whether the off operation has been performed. For example, when the control device 4 receives an off signal (for example, an engine off signal) from the
＜撮像条件設定処理＞
図９のフローチャートを参照して、上記撮像条件設定処理（ステップＳ３０）の詳細について説明する。本実施の形態では、ナビゲーション装置１８等から取得した車両１の位置に関する情報に基づき、また、車両１の走行環境（道路状況や撮影環境）の変化に対応させて、注目領域８２、注目領域８２Ｂおよび準注目領域８１にそれぞれ対応する撮像素子１００の単位領域１３１に対して撮像条件を設定する。
<Imaging condition setting process>
Details of the imaging condition setting process (step S30) will be described with reference to the flowchart of FIG. In the present embodiment, the
ステップＳ３１において、制御装置４は、ナビゲーション装置１８等から情報を取得する。取得する情報には、車両１の進行方向に位置する交差点等（交差点、踏切、バス停留所等）における対象物（車両、信号機、横断歩道、遮断機、警報機、建造物等）の位置、大きさ、高さについての情報と、車両１の位置情報と、道路の形状、高低差、遮蔽物等の情報等とが含まれる。
In step S31, the control device 4 acquires information from the
ステップＳ３３において、制御装置４は、車両１の現在位置から対象物までの距離ｄが、上記所定の距離Ｄより短いか否かを判定する。制御装置４は、距離ｄが距離Ｄより短い場合に、ステップＳ３３を肯定判定してステップＳ３５に進む。制御装置４は、距離ｄが距離Ｄより短くない場合には、ステップＳ３３を否定判定してステップＳ３１へ戻る。ステップＳ３１へ戻る場合は、注目すべき対象物が車両１の近くに存在しない場合である。ステップＳ３１へ戻った制御装置４は、ステップＳ２０の場合と同様に、撮像素子１００の撮像面の全域で共通の撮像条件を採用する。
In step S33, the control device 4 determines whether or not the distance d from the current position of the
ステップＳ３５において、制御装置４は、対象物を光学的に（例えば視覚情報として）認識できるか否かを判定する。制御装置４は、例えば、撮像素子１００により撮像された画像から対象物の外形的特徴や、対象物に付された識別情報（識別コードやマーク等）を検出することにより、対象物の認識を行う。制御装置４は、対象物の外形的特徴を検出、または対象物の識別情報を検出した場合に対象物を光学的に認識できると判断し、ステップＳ３５を肯定判定してステップＳ３７へ進む。制御装置４は、対象物の外形的特徴も識別情報も検出しない場合には、対象物を光学的に認識できないと判断し、ステップＳ３５を否定判定してステップＳ３５１へ進む。
In step S35, the control device 4 determines whether the object can be optically recognized (for example, as visual information). The control device 4 recognizes the target object by detecting the external characteristics of the target object and the identification information (identification code, mark, etc.) attached to the target object from the image captured by the
ステップＳ３７において、制御装置４は、認識した対象物を含む範囲を注目領域８２として設定し、ステップＳ３９へ進む。なお、注目領域８２の範囲は、必ずしも対象物を包含する大きさでなくてもよい。
In step S37, the control device 4 sets the range including the recognized target object as the
ステップＳ３９において、制御装置４は、注目領域８２および準注目領域８１に対応する撮像素子１００の単位領域１３１に対して、それぞれ撮像条件を設定する。制御装置４は、例えば、車両１の移動速度が速いほど、道路の曲率が大きいほど、注目領域８２に該当する撮像素子１００の単位領域１３１のフレームレートを高く設定し（例えば１２０ｆｐｓ）、間引き率を０〜２０％とする。反対に、車両１の移動速度が遅いほど、道路の曲率が小さいほど、準注目領域８１に該当する撮像素子１００の単位領域１３１のフレームレートを低く設定し（例えば３０ｆｐｓ）、間引き率を３０〜６０％とする。
In step S39, the control device 4 sets the imaging conditions for the
このように、ナビゲーション装置１８等から取得した車両１の位置に関する情報に基づき、車両１の走行環境（道路状況）に対応させて、撮像素子１００の撮像条件を設定する。撮像条件には、フレームレートや間引き率の他に、ゲインや画素信号加算時の加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等を含めてもよい。蓄積時間は、露光時間に相当する。画素信号加算時の加算行数や加算列数を増やすと、解像度は低下する。
As described above, based on the information about the position of the
また、制御装置４は、対象物の特性（例えば、対象物の輝度が高いか低いか等）に対応させて、撮像素子１００の撮像条件を設定する。例えば、対象物が高輝度の場合は、対象物が低輝度の場合に比べて露光時間を短く設定したり、低ゲインに設定したりする。
Further, the control device 4 sets the imaging condition of the
さらにまた、制御装置４は、撮影環境に応じて撮像条件の設定を適宜調節してもよい。例えば、夜間走行の場合や、昼間におけるトンネルの出入り口を走行する場合、画面の暗部において画面の明部よりも高ゲインに設定したり、露光時間を長く設定したりする。画面の明部と暗部とで差をつけるのは、画面の暗部において黒つぶれを抑えるとともに、画面の明部において白とびを防ぐためである。 Furthermore, the control device 4 may appropriately adjust the setting of the imaging condition according to the imaging environment. For example, when traveling at night or when traveling through the entrance/exit of a tunnel in the daytime, the dark part of the screen is set to have a higher gain than the bright part of the screen, or the exposure time is set to be long. The difference between the bright part and the dark part of the screen is set in order to suppress blackout in the dark part of the screen and to prevent blown-out highlights in the bright part of the screen.
上述したステップＳ３５を否定判定して進むステップＳ３５１において、制御装置４は、対象物を光学的に（例えば視覚情報として）認識できる位置へ車両１が到達したか否かを判定する。制御装置４は、進行方向の道路の形状と、交差点等の三次元位置（緯度、経度、標高）と、対象物の高さや大きさとに基づく上記解析結果を用いて演算した位置（すなわち、対象物が見え始める位置）へ車両１が到達した場合、ステップＳ３５１を肯定判定してステップＳ３５３へ進む。制御装置４は、対象物が見え始める位置へ車両１が到達していない場合には、ステップＳ３５１を否定判定して当該判定処理を繰り返す。
In step S351 that proceeds after making a negative decision in step S35 described above, the control device 4 determines whether or not the
ここで、対象物を光学的に認識できる位置までの距離を、直線距離でなく、地図上の道路に沿った経路上の距離にすることが好ましい。車両１から対象物を光学的に認識できる位置までの距離が、あらかじめ設定されている所定の距離Ｄより短くない場合は、ステップ３５１を否定判定する。
Here, it is preferable that the distance to the position where the object can be optically recognized is not a linear distance but a distance on a route along a road on the map. When the distance from the
ステップＳ３５３において、制御装置４は、上述したように、対象物（本例では信号機７０−２）の方向の立体角に対応して注目領域８２Ｂを設定し、ステップＳ３５５へ進む。すなわち、注目領域８２Ｂの位置および大きさを、カメラ３の位置から対象物の存在する方向の立体角に対応して決定する。対象物が存在する方向の立体角は、カメラ３と対象物との位置関係、対象物の情報（対象物が設置されている路面からの高さ、対象物の一般的な大きさ等）に基づいて算出する。
In step S353, the control device 4 sets the
ステップＳ３５５において、制御装置４は、注目領域８２Ｂおよび準注目領域８１に対応する撮像素子１００の単位領域１３１に対して、それぞれ撮像条件を設定する。撮像条件の決め方は、ステップＳ３９の場合と同様である。
In step S355, the control device 4 sets the imaging conditions for each of the
ステップＳ３５７において、制御装置４は、ステップＳ３５の場合と同様に、対象物を光学的に（例えば視覚情報として）認識できるか否かを判定する。制御装置４は、対象物の外形的特徴を検出、または対象物の識別情報を検出した場合に対象物を光学的に認識できると判断し、ステップＳ３５７を肯定判定してステップＳ３７へ進む。ステップＳ３７へ進むと、制御装置４は、取得された画像から認識した対象物を含む範囲を注目領域８２として設定し直す。例えば、図７(a)に示す車両７３を認識した場合には、車両７３および信号機７０−２を含む領域を注目領域８２として、従前の注目領域８２Ｂに代えて設定する。
なお、制御装置４は、ステップＳ３５７を肯定判定した場合に、従前の注目領域８２Ｂに車両７３および信号機７０−２を含む領域を加えた領域を注目領域８２として設定し直してもよい。
In step S357, the control device 4 determines whether or not the object can be optically recognized (as visual information, for example), as in the case of step S35. The control device 4 determines that the target object can be optically recognized when the external characteristic of the target object is detected, or when the identification information of the target object is detected, the control device 4 makes a positive determination in step S357 and proceeds to step S37. When proceeding to step S37, the control device 4 resets the range including the object recognized from the acquired image as the
When the determination in step S357 is affirmative, the control device 4 may reset an area in which the area including the
一方、制御装置４は、ステップＳ３５７において対象物の外形的特徴も識別情報も検出しない場合には、対象物を光学的に認識できないと判断し、ステップＳ３５７を否定判定してステップＳ３５１へ戻る。ステップＳ３５１へ戻る場合は、上述した処理を繰り返す。 On the other hand, the control device 4 determines that the target object cannot be optically recognized when neither the external characteristic of the target object nor the identification information is detected in step S357, and the process returns to step S351 by making a negative determination in step S357. When returning to step S351, the above-described processing is repeated.
以上説明した第一の実施の形態によれば、次の作用効果が得られる。
（１）撮像装置は、複数の単位領域１３１の撮像条件を独立して設定可能な撮像素子１００を備えた撮像部３２と、車両１の位置に関する情報に基づいて、複数の単位領域１３１の撮像条件を設定する制御装置４とを備えたので、撮像素子１００の単位領域１３１ごとに適切な撮像条件を設定できる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The image capturing apparatus captures an image of a plurality of
（２）撮像装置は、車両１の位置に関する情報をナビゲーション装置１８から取得する制御装置４を備えたので、例えば、ナビゲーション装置１８で探索された走行経路の情報を用いて、撮像素子１００の単位領域１３１ごとに適切な撮像条件を設定できる。
(2) Since the imaging device includes the control device 4 that acquires information about the position of the
（３）制御装置４は、車両１の進行方向の道路に関する情報を車両１の位置に関する情報として取得するので、例えば、車両１の進行方向に位置する交差点等を撮像する撮像素子１００の単位領域１３１に対して、適切な撮像条件を設定できる。
(3) Since the control device 4 obtains the information about the road in the traveling direction of the
（４）制御装置４は、撮像部３２のフレームレート、露光時間、ゲイン、解像度（画素間引き条件、画素加算条件）、注目領域８２Ｂのサイズ、および注目領域８２Ｂの位置の少なくとも１つを撮像条件として設定するので、例えば注目領域８２Ｂに対応する撮像素子１００の単位領域１３１に適切な撮像条件を設定できる。
(4) The control device 4 sets at least one of the frame rate, the exposure time, the gain, the resolution (pixel thinning condition, pixel addition condition), the size of the
（５）制御装置４は、車両１の進行方向の道路に関する情報として交差点に関する情報を取得するとともに、複数の単位領域１３１のうち交差点が写る注目領域８２Ｂについて、解像度、ゲイン、フレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいて交差点付近の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
(5) The control device 4 acquires the information about the intersection as the information about the road in the traveling direction of the
（６）制御装置４は、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１よりも高くするので、注目領域８２Ｂにおいて準注目領域８１より詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
(6) Since the control device 4 sets at least one of the resolution, the gain, and the frame rate higher than that of the
（７）制御装置４は、車両１の運転状況を併用して、注目領域８２Ｂの撮像条件を設定する。例えば車両１の移動速度が速いほど、注目領域８２Ｂのフレームレートを高く設定することで、注目領域８２Ｂにおいて準注目領域８１より詳細な情報が得られる。
(7) The control device 4 sets the imaging condition of the
（８）制御装置４は、車両１の位置に関する情報として、車両１の進行方向に位置する信号機７０−２の高さおよび大きさ、および車両１と信号機７０−２との位置関係を示す情報（信号機７０−２の位置、カメラ３の位置、カメラ３の高さ、カメラ３の撮影方向）をそれぞれ取得し、取得した情報に基づいて、信号機７０−２が写ると見込まれる撮像素子１００における注目領域８２Ｂを算出し、さらに、算出した注目領域８２Ｂについて、準注目領域８１と異なる撮像条件を設定するようにした。これにより、車両１が信号機７０−２を見通せる位置へ到達する前から、信号機７０−２が写ると見込まれる注目領域８２Ｂに対して事前に適切な撮像条件を設定しておくことができる。
なお、上述した実施の形態では、制御装置４の制御によりカメラ３を制御したが、カメラ３の制御の一部をカメラ３の制御部３５により行うようにしてもよい。
(8) The control device 4, as the information on the position of the
Although the
次のような変形も本発明の範囲内であり、変形例の一つ、若しくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
撮像条件設定処理（図９）のステップＳ３５１において、車両１が、対象物を光学的に認識できる位置まで到達したか否かを判定する例を説明したが、車両１が、対象物を光学的に認識できる位置まで所定の時間内で到達できるか否かを判定するようにしてもよい。制御装置４は、例えば、車両１の現在位置から、上記対象物を光学的に認識できる位置までの距離を、車両１の車速Ｖ、あるいは走行中の一定時間内の平均車速等で除算することにより、上記所定の時間を算出する。これにより、車両１の移動速度を考慮し、撮像素子１００の単位領域１３１に対して適切な撮像条件を設定することができる。
The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(Modification 1)
In step S351 of the imaging condition setting process (FIG. 9), the example in which the
（変形例２）
撮像条件設定処理（図９）において、制御装置４は、進行方向の道路に存在する対象物に対して注目領域８２を設定し、または対象物の存在する方向に注目領域８２Ｂを設定するようにした。対象物は、車両１の進行方向に存在していればよく、ナビゲーション装置１８による案内中の走行経路上に対象物が存在していなくてもよかった。これに対し、変形例２における制御装置４は、ナビゲーション装置１８の経路探索機能によって導出されたルート上にある設置物等のみを対象物としてステップＳ３１以降の処理を行う。これにより、制御装置４は、走行経路上にない対象物については、対象物の位置、高さ、大きさについての情報を取得しなくてよいので、通信負荷や情報処理等の負荷を減らしつつ、撮像素子１００の単位領域１３１に対して適切な撮像条件を設定することができる。
(Modification 2)
In the imaging condition setting process (FIG. 9), the control device 4 sets the
（変形例３）
撮像条件設定処理（図９）において、制御装置４は、対象物を、走行する道路のカーブや、道路幅の変化（幅員減少、走行レーン数の減少）地点等の道路の形状としてもよい。図１０は、山道等のカーブが多い道路を走行する車両１のカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。
(Modification 3)
In the imaging condition setting process (FIG. 9), the control device 4 may set the object to be a shape of a road such as a curve of a road on which the vehicle travels or a point where the width of the road changes (width decreases, the number of traveling lanes decreases). FIG. 10 is a diagram schematically showing an image of a subject (object) formed on the
制御装置４は、ナビゲーション装置１８から、進行方向の道路の情報としてカーブの有無、カーブの方向、カーブの曲率等のカーブに関する情報を取得する。取得した情報によると、車両１が進む道路の前方には、右へ曲がるカーブが存在する。右カーブの先にはさらに、左へ曲がるカーブが存在する。ところが、道路の右側に設けられた遮蔽物９０の存在により、カメラ３で取得される画像には左カーブが写らない。
The control device 4 acquires from the
この場合において、制御装置４は、右カーブが写る領域を注目領域８２として設定するとともに、遮蔽物９０の陰に入って光学的に認識できない左カーブについては、この左カーブが写ると見込まれる領域を注目領域８２Ｂとして設定する。制御装置４は、上述したように、左カーブが存在する方向の立体角に対応して注目領域８２Ｂを設定する。すなわち、注目領域８２Ｂの位置および大きさを、カメラ３の位置から左カーブの存在する方向の立体角に対応して決定する。立体角は、カメラ３と左カーブとの位置関係、左カーブの情報（標高、道路の規格等）に基づいて算出する。
In this case, the control device 4 sets the area in which the right curve is reflected as the
制御装置４は、注目領域８２、注目領域８２Ｂに対応する撮像素子１００の単位領域１３１に対して、それぞれ撮像条件を設定する。変形例３によれば、例えば防音壁や暴風壁などの遮蔽物９０が存在する道路でも、左カーブ（対象物）が遮蔽物９０の陰から出現する前から、左カーブ（対象物）が写ると見込まれる注目領域８２Ｂに対して事前に適切な撮像条件を設定しておくことができる。また、左カーブ（対象物）に対する注目領域８２Ｂの位置、範囲の決定に関しては、当該カーブの曲率が最大になる地点の位置に決定したり、当該カーブの曲り始めの地点の曲率を基に範囲を決定したりするなど、道路幅等の道路の規格に基づいて得られる左カーブ（対象物）の大きさから、適切な注目領域８２Ｂの位置、範囲を決定することができる。
なお、遮蔽物９０は、車両１から対象物の光学的な（例えば視覚情報として）認識を遮るものであり、上述した防音壁や暴風壁だけでなく、広告や看板、建造物や樹木、大型車両、地形の起伏等を含む。
The control device 4 sets the imaging conditions for the
The
変形例３によれば、制御装置４は、カーブに関する情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうちカーブが写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいてカーブ付近の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
According to the modified example 3, the control device 4 obtains the information about the curve as the information about the road in the traveling direction of the
また、制御装置４は、道路幅の変化の情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうち道路幅の変化する区間が写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいて道路幅変化の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
Further, the control device 4 acquires the information about the change in the road width as the information about the road in the traveling direction of the
（変形例４）
撮像条件設定処理（図９）において、制御装置４は、トンネルの入口、出口を対象物としてもよい。トンネルの内部はトンネルの外部より暗いため、トンネルの入口を対象物とするときは、トンネルの内部が写ると見込まれる領域を注目領域８２Ｂとし、注目領域８２Ｂに対応する撮像素子１００の単位領域１３１のゲインを、トンネルの外部である準注目領域８１に対応する単位領域１３１のゲインより高くする。なお、ゲインを変える代わりに注目領域８２Ｂに対応する撮像素子１００の単位領域１３１の露光時間を、トンネルの外部である準注目領域８１に対応する単位領域１３１の露光時間より長くしてもよい。
(Modification 4)
In the imaging condition setting process (FIG. 9), the control device 4 may set the entrance and exit of the tunnel as the target. Since the inside of the tunnel is darker than the outside of the tunnel, when the entrance of the tunnel is an object, the area expected to show the inside of the tunnel is the
同様に、トンネルの出口では、トンネルの外部が写ると見込まれる領域を注目領域８２Ｂとし、注目領域８２Ｂに対応する撮像素子１００の単位領域１３１のゲインを、トンネルの内部である準注目領域８１に対応する単位領域１３１のゲインより低くする。これにより、対象物の明暗の程度に応じ、撮像素子１００の単位領域１３１に対して適切な撮像条件を設定することができる。なお、ゲインを変える代わりに注目領域８２Ｂに対応する撮像素子１００の単位領域１３１の露光時間を、トンネルの内部である準注目領域８１に対応する単位領域１３１の露光時間より短くしてもよい。
Similarly, at the exit of the tunnel, a region where the outside of the tunnel is expected to be seen is the
変形例４によれば、制御装置４は、トンネルに関する情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうちトンネルが写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいてトンネル付近の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
According to the modified example 4, the control device 4 obtains the information about the tunnel as the information about the road in the traveling direction of the
（変形例５）
撮像条件設定処理（図９）において、制御装置４は、ナビゲーション装置１８から、リアルタイムに道路情報を取得してよい。制御装置４は、工事区間や通行規制区間等の工事の情報、事故による通行規制区間等の事故の情報、または路面状況（降雨、凍結、強風、冠水等）の情報に基づき、進行方向の工事区間若しくは工事区間の始点、事故により道路の一部が通行不可となっている区間若しくはその区間の始点、または積雪、凍結、障害物等で路面状況が変化している区間若しくはその区間の始点等を、対象物としてもよい。制御装置４は、これら対象物が写ると見込まれる領域を注目領域８２Ｂとして設定する。これにより、進行方向の道路の状況に応じ、撮像素子１００の単位領域１３１に対して適切な撮像条件を設定することができる。
(Modification 5)
In the imaging condition setting process (FIG. 9), the control device 4 may acquire road information from the
変形例５によれば、制御装置４は、工事に関する情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうち工事による通行規制区間が写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいて工事区間の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
According to the fifth modification, the control device 4 obtains the information regarding the construction as the information regarding the road in the traveling direction of the
また、制御装置４は、事故に関する情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうち事故による通行規制区間が写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいて事故区間の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
Further, the control device 4 obtains the information on the accident as the information on the road in the traveling direction of the
さらにまた、制御装置４は、路面状況に関する情報を車両１の進行方向の道路に関する情報として取得するとともに、複数の単位領域１３１のうち路面状況が変化している区間が写る注目領域８２Ｂについて、解像度とゲインとフレームレートのうち少なくとも１つを準注目領域８１と異ならせる。これにより、注目領域８２Ｂにおいて路面状況の変化の詳細な情報が得られるとともに、準注目領域８１においては消費電力や発熱を抑えることができる。
Furthermore, the control device 4 acquires the information about the road surface condition as the information about the road in the traveling direction of the
（第二の実施の形態）
第二の実施の形態においても、第一の実施の形態と同様の撮像素子１００を用いる。また、図９のステップＳ３９およびステップＳ３５５における撮像条件の設定等の具体的な手法が異なる他は、図８および図９のフローチャートを参照して説明した第一の実施の形態で説明した処理と同様である。このため、第一の実施の形態と異なる処理を中心に説明する。
(Second embodiment)
Also in the second embodiment, the
図９のフローチャートのステップＳ３９において、制御装置４は、注目領域８２と準注目領域８１とを区別することなしに、撮像面全体を共通に、通常時より高フレームレート（例えば１２０ｆｐｓ）、通常時より高ゲイン、通常時より高解像度の条件で撮像する。一般に、間引き率を下げて、画素信号加算時の加算行数や加算列数を減らすほど、解像度は高くなる。
In step S39 of the flowchart of FIG. 9, the control device 4 shares the entire imaging surface in common without distinguishing the
制御装置４は、撮影画面全体を高フレームレート、高ゲイン、高解像度で取得した画像に画像処理を行う場合に、画像処理の対象とする領域を、ナビゲーション装置１８から取得した情報に基づいて決定する。制御装置４は、例えば、図９のステップＳ３５およびステップＳ３５７において、対象物を光学的に（例えば視覚情報として）認識できるか否かを判定する際に、取得した画像全体を対象に判定するのでなく、取得画像の一部の領域を対象に判定する。一部の領域は、第一の実施の形態において説明した注目領域８２Ｂに対応する領域である。
The control device 4 determines an area to be image-processed based on the information acquired from the
第二の実施の形態では、交差点等（交差点、踏切、バス停留所等）の全体（交差点の場合は交差点全体）を含む方向の立体角に基づいて注目領域８２Ｂを設定する。制御装置４は、取得画像のうち注目領域８２Ｂに対応する領域を対象に、他の車両や歩行者等の検出、対象物の外形的特徴の検出や、対象物における識別情報の検出など、対象物を認識する処理を行う。
なお、このように対象物の有無を判定する処理は、カメラ３の画像処理部３３若しくは制御部３５（図４）で行ってもよい。また、対象物の有無を判定する処理回路を、撮像素子１００に積層してもよい。さらにまた、対象物の有無を判定する処理を、制御装置４に備わる画像処理エンジンで行ってもよい。
In the second embodiment, the
The process of determining the presence/absence of the target object may be performed by the
上述した第二の実施の形態によれば、以下の作用効果が得られる。
（１）撮像装置は、撮像部３２と、車両１の位置に関する情報に基づいて、撮像部３２で撮像した画像のうち一部の領域の処理を行う画像処理部３３と、を備えるので、画像の一部の領域を対象に処理を行わせることができる。
According to the above-described second embodiment, the following operational effects can be obtained.
(1) The image capturing apparatus includes the
（２）画像処理部３３は、一部の領域で対象物の有無を判定するので、画像の全部を対象に対象物の有無を判定する場合に比べて、画像処理の負担の軽減と、消費電力の抑制とが可能になる。
(2) Since the
（変形例６）
以上の説明では、カメラ３で行う距離測定として、撮像素子１００に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる２枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ３と別にレーダを用いて距離測定を行う手法を用いてもよい。
さらに、制御装置４はナビゲーション装置１８から情報を取得するよう構成したが、道路に設置された不図示の情報提供システム等を介して情報を取得してもよい。
(Modification 6)
In the above description, as the distance measurement performed by the
Further, although the control device 4 is configured to acquire the information from the
（第三の実施の形態）
第三の実施の形態では、図１において通信部１９が追加される点、および赤外光を受光する画素が撮像素子１００（図４）に設けられる点において相違する。
(Third embodiment)
The third embodiment is different in that a
通信部１９は、例えば、車両１に設けられた不図示のハイマウントストップランプ部に内蔵される。車両１の通信部１９は、制御装置４からの指示に応じて、赤外光源から発する赤外変調光を車外後方へ送出することにより、車両１に後続する他の車両との間で車車間通信を行う。
なお、通信部１９は、車両１のテールランプ部に内蔵してもよく、ランプ部から独立させた通信部１９を、車両１のルーフ等に設けてもよい。
The
The
車両１以外の他の車両も、車両１と同様の運転支援装置２を搭載しているものとする。車両１に後続する他の車両の制御装置４は、カメラ３の撮像素子１００により、先行する車両１から送信された赤外変調光を受光する。赤外変調光を受光した他の車両の制御装置４は、受光信号を復調して得た先行する車両１の情報を、自車両に対する制御に用いる。
Vehicles other than the
図１１は、第三の実施の形態における撮像素子１００の画素領域の部分拡大図であり、単位領域１３１のカラーフィルタ配列を説明する図である。図１１の単位領域１３１は、赤外画素ＩＲ、青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒの４画素から成る配列を、上下左右に４つ内包する。緑色画素Ｇｒは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。赤外画素ＩＲは、カラーフィルタとして赤外光フィルタを有する画素であり、入射光のうち赤外波長帯の光を受光する。
FIG. 11 is a partially enlarged view of the pixel region of the
図１２は、走行する自動車の位置関係を説明する図である。図１２において、車両１が走行する走行レーンの前方を車両７３Ａが走行し、車両１の隣の走行レーン（進行方向同じ）の前方を車両７２Ａが走行するものとする。車両７２Ａおよび車両７３Ａは、ともに車両１と同様の運転支援装置２を搭載している。車両７２Ａおよび車両７３Ａは、それぞれ、上記通信部１９によって、後続する車両１へ運転情報を送信する。
FIG. 12 is a diagram for explaining the positional relationship of a traveling automobile. In FIG. 12, it is assumed that the
後続する車両１へ送信される運転情報は、例えば、各車両における走行速度、ブレーキ操作が行われたタイミング情報、アクセル操作が行われたタイミング情報、車両の位置情報、および時刻情報を含む。車両７２Ａおよび車両７３Ａの通信部１９は、それぞれの制御装置４からの指示に応じて、上記運転情報をのせた赤外変調光を送信する。
The driving information transmitted to the following
後続する車両１の制御装置４は、撮像素子１００の赤外画素ＩＲから出力される画素信号が所定の判定閾値レベルより高くなる状態と、上記所定の判定閾値レベルより低くなる状態とが得られるように、赤外変調光を受光する単位領域１３１のフレームレートやゲイン等を設定する。
The control device 4 of the following
図１３は、後続する車両１に搭載されるカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。白線８０ａは、進行方向に向かって道路左側の区画線、白線８０ｂは走行レーン（車線）の境界線、白線８０ｃは道路右側の区画線を表す。
FIG. 13 is a diagram schematically showing an image of a subject (object) formed on the
後続する車両１の制御装置４は、図１３において車両７３Ａのハイマウントストップランプ部を含む領域を通信用の注目領域７３Ｂとする。そして、通信用の注目領域７３Ｂに該当する撮像素子１００の単位領域のフレームレートを、第一実施の形態で説明した注目領域８２のフレームレート（例えば１２０ｆｐｓ）より高く設定し（例えば４８００ｆｐｓ）、間引き率を通常領域より低い０〜２０％とする。
The control device 4 of the following
同様に、後続する車両１の制御装置４は、車両７２Ａのハイマウントストップランプ部を含む領域を通信用の注目領域７２Ｂとする。そして、通信用の注目領域７２Ｂに該当する撮像素子１００の単位領域のフレームレートを、上述した注目領域８２のフレームレート（例えば１２０ｆｐｓ）より高く設定し（例えば４８００ｆｐｓ）、間引き率を通常領域より低い０〜２０％とする。
Similarly, the control device 4 of the following
後続する車両１の制御装置４はさらに、上記間引き率を車両１の移動速度、または車両１と先行する車両７３Ａの相対的な移動速度、車両１と先行する車両７２Ａの相対的な移動速度に応じて設定変更する。例えば、後続する車両１の移動速度、または相対的な移動速度が速くなるに連れて間引き率を低く変更する。
The control device 4 of the following
ここで、後続する車両１の制御装置４は、カメラ３で取得される画面における通信用の注目領域７３Ｂを設定するため、カメラ３で取得される画面において図１１の単位領域１３１ごとに順番にスキャンすることにより、画面内で赤外変調光が受光される領域を自動的に検出する。具体的には、スキャン対象の単位領域１３１に対して順番に、フレームレートを４８００ｆｐｓに設定するとともにゲインを最大に設定し、赤外光の受信の有無を判定する。
Here, since the control device 4 of the following
後続する車両１の制御装置４は、スキャン中に赤外画素ＩＲから所定の判定閾値レベルより高い画素信号が出力された場合、その画素位置を含む所定範囲を通信用の注目領域７３Ｂに設定する。そして、通信用の注目領域７３Ｂの赤外画素ＩＲから出力される画素信号が所定の判定閾値レベルより高くなる状態と、上記所定の判定閾値レベルより低くなる状態とが得られるように、通信用の注目領域７３Ｂに含まれる単位領域１３１のフレームレートやゲイン等を設定する。ここで、フレームレートは赤外変調光の検出に必要な周波数より高く設定すればよく、必ずしもスキャン時の４８００ｆｐｓを維持しなくてもよい。ゲインは、通信に必要な信号レベルが得られる程度に下げてよく、必ずしも最大ゲインを維持しなくてもよい。
When a pixel signal higher than a predetermined determination threshold level is output from the infrared pixel IR during scanning, the control device 4 of the following
一方、後続する車両１の制御装置４は、スキャン中に赤外画素ＩＲから所定の判定閾値レベルより高い画素信号が出力されない場合、その画素位置を含む所定範囲については、通信用の注目領域７３Ｂには設定せずに、上記注目領域８２や準注目領域８１とする。
On the other hand, if the pixel signal higher than the predetermined determination threshold level is not output from the infrared pixel IR during the scanning, the control device 4 of the following
後続する車両１の制御装置４は、車両７２Ａとの通信に用いる通信用の注目領域７２Ｂについても、車両７３Ａとの通信に用いる通信用の注目領域７３Ｂの場合と同様にスキャンすることによって設定する。
The control device 4 of the following
なお、車両１と先行する車両７３Ａとの相対的な位置関係の変動、および車両１と先行する車両７２Ａとの相対的な位置関係の変動によって、車両１のカメラ３で取得される画面における赤外変調光の受光位置が移動する。このため、後続する車両１の制御装置４は、前フレームの画像において赤外変調光を受光した位置を含む所定範囲を、次フレームの画像における通信用の注目領域７３Ｂ、７２Ｂとおいて赤外変調光を追尾する。これにより、例えば、先行する車両７２Ａがレーン変更した場合でも、画面内における車両７２Ａの動き方向を検出して、検出した動き方向へ通信用の注目領域７２Ｂを追従させることができる。
It should be noted that due to the change in the relative positional relationship between the
このように、通信用の注目領域７３Ｂ、７２Ｂの撮像条件を、注目領域８２や準注目領域８１の撮像条件と異ならせることにより、撮像素子１００を効率的に使用することができ、消費電力や発熱を抑えることができる。
In this way, by making the imaging conditions of the
制御装置４は、通信用の注目領域７３Ｂ、７２Ｂの赤外画素ＩＲで受光された信号を復調して得た情報を表示させるため、表示装置１４またはナビゲーション装置１８（図１）に対する表示情報を送出する。例えば「先行車両が減速します」、「先行車両がレーン変更します」、「先行車両が加速します」というメッセージを表示装置１４またはナビゲーション装置１８に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合、音声再生装置として、ナビゲーション装置１８の音声再生部を用いてもよい。
The control device 4 displays the information displayed on the display device 14 or the navigation device 18 (FIG. 1) in order to display the information obtained by demodulating the signals received by the infrared pixels IR of the
Instead of transmitting the display information or together with the display information, an audio signal for reproducing the message may be transmitted to an audio reproducing device (not shown). In this case, the audio reproduction unit of the
＜フローチャートの説明＞
以下、図１４のフローチャートを参照して通信用の注目領域の決め方について説明する。図１４は、制御装置４が実行するカメラ３の制御処理の流れを説明するフローチャートである。図１４のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂ（図２）に格納されている。制御装置４は、例えば車両１から電源供給が開始されたり、エンジンが始動されたりすると、図１４による処理を行うプログラムを起動する。
なお、図１４による処理は、図８による処理を実行しながら所定の間隔で実行してもよい。
<Explanation of flow chart>
Hereinafter, how to determine the attention area for communication will be described with reference to the flowchart of FIG. FIG. 14 is a flowchart illustrating a flow of control processing of the
The process shown in FIG. 14 may be executed at predetermined intervals while the process shown in FIG. 8 is being executed.
図１４のステップＳ２１０において、制御装置４は、カメラ３の撮像素子１００の撮像面の全域に同じ撮像条件を設定し、低フレームレート（例えば６０ｆｐｓ）で撮像を開始させてステップＳ２２０へ進む。ステップＳ２２０において、制御装置４は、上述した通信用の注目領域を設定するため、上記スキャンを開始させてステップＳ２３０へ進む。これにより、スキャン対象の単位領域１３１に対し、順番にフレームレート４８００ｆｐｓ、および最大ゲインを設定して赤外光の受信の有無を判定する。
In step S210 of FIG. 14, the control device 4 sets the same imaging condition on the entire imaging surface of the
ステップＳ２３０において、制御装置４は、赤外変調光を受光したか否かを判定する。制御装置４は、スキャン対象の単位領域１３１の赤外画素ＩＲから所定の判定閾値レベルより高い画素信号が出力された場合、ステップＳ２３０を肯定判定してステップＳ２４０へ進む。
In step S230, the control device 4 determines whether or not the infrared modulated light is received. When the pixel signal higher than the predetermined determination threshold level is output from the infrared pixel IR of the
制御装置４は、スキャン対象の単位領域１３１の赤外画素ＩＲから所定の判定閾値レベルより高い画素信号が出力されない場合、ステップＳ２３０を否定判定してステップＳ２９０へ進む。
When the pixel signal higher than the predetermined determination threshold level is not output from the infrared pixel IR of the scan
ステップＳ２４０において、制御装置４は、赤外変調光を受光した単位領域１３１の位置を示す座標を記憶部４ｂに記憶してステップＳ２５０へ進む。ステップＳ２５０において、制御装置４は、画面全体についてスキャンを終了したか否かを判定する。制御装置４は、撮像素子１００の撮像面の全域についてスキャンを終了した場合にステップＳ２５０を肯定判定してステップＳ２６０へ進む。制御装置４は、撮像面の全域をスキャンしていない場合には、ステップＳ２５０を否定判定してステップＳ２９０へ進む。
In step S240, the control device 4 stores the coordinates indicating the position of the
ステップＳ２６０において、制御装置４は、記憶部４ｂに記憶した座標の全てに対応して、通信用の注目領域を設定してステップＳ２７０へ進む。ここで、制御装置４は、通信用の注目領域を設定した単位領域１３１ごとに、赤外変調光を受光した赤外画素ＩＲによる信号値を所定の信号レベルにするように、フレームレートやゲイン等を設定する。なお、制御装置４は、記憶部４ｂに記憶した座標以外の他の座標については、通信用の注目領域を設定せずに、上記注目領域８２や準注目領域８１とする。
In step S260, the control device 4 sets the attention area for communication corresponding to all the coordinates stored in the storage unit 4b, and proceeds to step S270. Here, the control device 4 sets the frame rate and the gain so that the signal value of the infrared pixel IR that receives the infrared modulated light is set to a predetermined signal level for each
ステップＳ２７０において、制御装置４は、通信用の注目領域を設定した単位領域１３１に含まれる赤外画素ＩＲで受光された信号を復調してステップＳ２８０へ進む。ステップＳ２８０において、制御装置４は、表示装置１４またはナビゲーション装置１８（図１）に受信した情報を表示させる。これにより、上述した「先行車両が減速します」、「先行車両がレーン変更します」、「先行車両が加速します」というメッセージが表示装置１４またはナビゲーション装置１８に表示される。例えば、表示装置１４またはナビゲーション装置１８（図１）にカメラ３によって取得された上記注目領域８２や準注目領域８１についての画像を再生表示させている場合には、再生表示中の画像に重ねて、上記メッセージが表示される。
In step S270, the control device 4 demodulates the signal received by the infrared pixel IR included in the
ステップＳ２３０またはステップＳ２５０を否定判定して進むステップＳ２９０において、制御装置４は、単位領域１３１の位置を次のスキャン対象の位置へ移動するように、スキャン座標を移動させてステップＳ２３０へ戻る。ステップＳ２３０へ戻った制御装置４は、上述した処理を繰り返す。
In step S290 to which the operation proceeds after making a negative decision in step S230 or step S250, the control device 4 moves the scan coordinates so as to move the position of the
以上説明した第三の実施の形態によれば、次の作用効果が得られる。
（１）撮像装置は、複数の単位領域１３１の撮像条件を独立して設定可能な撮像素子１００を備えた撮像部３２と、撮像部３２に対し、通信用の光を受ける通信用の注目領域７２Ｂ，７３Ｂと通信用の光を受けない注目領域８２とで異なる撮像条件を設定する制御装置４と、を備えたので、撮像素子１００の単位領域１３１ごとに適切な撮像条件を設定できる。
According to the third embodiment described above, the following operational effects can be obtained.
(1) The image pickup apparatus includes an
（２）制御装置４は、通信用の光を受ける通信用の注目領域７２Ｂ，７３Ｂのフレームレートを、通信用の光を受けない注目領域８２のフレームレートよりも高く設定する。これにより、通信用の注目領域７２Ｂ，７３Ｂのフレームレートを、通信用の光の変調周波数より高く設定し得る。
(2) The control device 4 sets the frame rate of the
（３）制御装置４は、撮像部３２によって時系列に取得された画像に基づき、通信用の光を受ける通信用の注目領域７２Ｂ，７３Ｂを移動させる。これにより、例えば、先行する車両７２Ａがレーン変更した場合でも、時系列に取得された画像からカメラ３の画面内における車両７２Ａの動き方向を検出し、検出した車両７２Ａの動き方向へ通信用の注目領域７２Ｂを追従させることができる。
(3) The control device 4 moves the
（４）制御装置４は、画像に含まれる赤外光源（通信部１９）の位置に対応させて、通信用の光を受ける通信用の注目領域７２Ｂを移動させる。これにより、レーン変更した車両７２Ａから送信された赤外変調光を適切に受光できる。
(4) The controller 4 moves the
（変形例７）
上述した第３の実施の形態では、後続する車両１に搭載されているカメラ３の撮像面において、赤外変調光が受光される領域を自動的に検出するためのスキャン動作を行う例を説明した。スキャン動作を行う代わりに、カメラ３の撮像面の全体を通信用の高フレームレート（例えば４８００ｆｐｓ）に設定した上で、赤外変調光が受光される領域を特定するようにしてもよい。
(Modification 7)
In the above-described third embodiment, an example of performing a scanning operation for automatically detecting a region in which infrared modulated light is received on the imaging surface of the
変形例７において、制御装置４は、カメラ３の撮像面の全体のフレームレートを一旦４８００ｆｐｓに設定するとともにゲインを最大に設定し、赤外光の受信の有無を判定する。制御装置４は、単位領域１３１の赤外画素ＩＲから所定の判定閾値レベルより高い画素信号が出力された場合に、赤外変調光を受光した単位領域１３１の位置を示す座標を記憶部４ｂに記憶する。
In Modification 7, the control device 4 once sets the frame rate of the entire imaging surface of the
制御装置４は、記憶部４ｂに記憶した座標の全てに対応して、通信用の注目領域を設定する。制御装置４は、記憶部４ｂに記憶した座標以外の他の座標については、通信用の注目領域を設定せずに、上記注目領域８２や準注目領域８１とする。
変形例７によれば、スキャン動作を行う場合に比べて、短時間で赤外変調光が受光される領域を検出できる。
The control device 4 sets the attention area for communication in correspondence with all the coordinates stored in the storage unit 4b. The controller 4 sets the coordinates other than the coordinates stored in the storage unit 4b as the above-mentioned
According to the modification 7, it is possible to detect the area where the infrared modulated light is received in a shorter time than in the case where the scanning operation is performed.
（変形例８）
また、赤外変調光が受光される領域を車両１の乗員が指定するようにしてもよい。例えば、カメラ３によって取得された画像を車両１の表示装置１４またはナビゲーション装置１８に表示させている場合において、車両１の乗員が、タッチパネル操作によって、表示画面上で先行する車両のハイマウントストップランプ部を指示する。制御装置４は、タッチパネル操作によって指示された位置に対応する所定の範囲を、通信用の注目領域として設定する。制御装置４は、タッチパネル操作されない位置については、通信用の注目領域を設定せずに、上記注目領域８２や準注目領域８１とする。
(Modification 8)
Further, the occupant of the
（変形例９）
以上の説明では、カメラ３を車両１に搭載する場合を例示したが、カメラ３を、例えば夜間に屋外撮影する用途に用いてもよい。図１５(a)は、不図示のビルの屋上に設置されたカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。図１５(a)において、タワー５１０の上部に航空障害灯５１１が設けられている。ビル５２０の上部にも航空障害灯５２１が設けられている。さらに、ビル５３０の上部にも航空障害灯５３１が設けられている。各航空障害灯は、例えば赤色光を点灯または明滅させる。
(Modification 9)
In the above description, the case where the
変形例９では、航空障害灯５１１、５２１、５３１に併設されている赤外光源からそれぞれ赤外変調光を発して、そのビルやタワーにおける催事情報などを送信しているものとする。一般に、夜景撮影を行うと、画面内の航空障害灯５１１、５２１、５３１を除く部分は暗くなる。この場合、フレームレートを下げる（例えば１５ｆｐｓ）ことによって、１フレーム当たりの露光時間を長くすることも考えられる。しかしながら、赤外変調光の変調周波数に比べて低いフレームレートへ下げることは、上記赤外変調光によって送信されている催事情報を取得する上で不適切である。
In Modified Example 9, it is assumed that infrared light is emitted from each of the infrared light sources attached to the
そこで、制御装置４は、カメラ３の撮像面において赤外変調光が受光される領域についてのみ通信用の注目領域として設定する。制御装置４は、赤外変調光が受光されない領域については、夜景撮影用にフレームレートを下げる。図１５(b)は、通信用の注目領域と、その他の領域とで撮像条件を異ならせた場合のカメラ３の撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。図１５(b)において、画面内の航空障害灯５１１、５２１、５３１を除く部分は、フレームレートを下げる（例えば１５ｆｐｓ）ことによって黒つぶれを避けている。また、画面内の航空障害灯５１１、５２１、５３１の部分（通信用の注目領域に相当）は、白飛びを避けるとともに、赤外変調光の変調周波数よりも高いフレームレートを設定している。
Therefore, the control device 4 sets only the area on the imaging surface of the
カメラ３の撮像面において赤外変調光が受光される領域の特定は、第三の実施の形態のようにスキャン動作を行う方法や、変形例７のように一旦カメラ３の撮像面の全体を通信用の高フレームレート（例えば４８００ｆｐｓ）に設定した上で赤外変調光が受光される領域を特定する方法を用いてもよい。あるいは、変形例８のように、タッチパネル操作によって指示された位置に対応する所定の範囲を、赤外変調光が受光される領域として扱うようにしてもよい。
The area on the imaging surface of the
（変形例１０）
変形例９では、カメラ３で屋外を撮影する場合を例示したが、カメラ３を屋内撮影する用途に用いてもよい。屋内の照明灯が、それぞれ赤外変調光を発して、エレベータやエスカレータ、避難経路などを示す情報などを送信する。カメラ３の撮像面において赤外変調光が受光される領域の特定は、上記スキャン動作を行う方法や、変形例７のように赤外変調光が受光される領域を特定する方法を用いてもよい。あるいは、変形例８のように、タッチパネル操作によって指示された位置に対応する所定の範囲を赤外変調光が受光される領域として扱うようにしてもよい。
(Modification 10)
In the ninth modification, the case where the
（変形例１１）
第一の実施の形態〜第三の実施の形態において、車両１に搭載したカメラ３によって取得した画像を、車両１以外の他の車両との間で共有したり、交通管制センターとの間で共有してもよい。例えば、カメラ３で取得した画像を不図示の無線通信装置によって他の車両または交通管制センターへ送信する。車両１から他の車両への送信は、車車間通信で行ってもよいし、車両１から交通管制センターを介して送るようにしてもよい。
(Modification 11)
In the first to third embodiments, the image acquired by the
なお、車両１から交通管制センターへ画像を送信した場合は、交通管制センターが車両１から受信した画像に基づいて生成した情報を他の車両へ配信する構成にしてもよい。例えば、車両１から受信した画像に障害物が写っている場合、交通管制センターの制御装置が、画像を解析して「県道○○線△△４丁目付近に落下物があります。」というメッセージを生成し、他の車両へ配信する。
When the image is transmitted from the
車両１のカメラ３で上述した道路上の障害物を含む画像が取得される場合、制御装置４は、障害物に対して撮像チップ１１１における注目領域を設定し、他の領域（順注目領域）と異なる撮像条件を設定（例えば解像度やフレームレート等を高くする）する。これにより、注目領域の障害物の詳細な情報を得ることができる。また、注目領域のみ（すなわち画像の一部）を高精細に撮像することで、撮像チップ１１１における全ての領域（画像の全部）を高精細に撮像する場合に比べて、取得される画像のデータ量を少なく抑えることができる。
When the image including the obstacle on the road is acquired by the
データ量を少なくすることで、車両１から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑えることができる。また、カメラ３で取得した画像をドラーブレコーダとして保存する場合には、データ量を少なくすることで、記録する記憶媒体の容量を抑えることができる。
By reducing the data amount, it is possible to reduce the communication amount when the image is transmitted from the
なお、車両１から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑える場合において、撮像チップ１１１における全ての領域を高精細に撮像した上で、障害物に対する領域のみを切り出した一部の画像を車両１から他の車両または交通管制センターへ送信するようにしてもよい。
In order to reduce the amount of communication when the image is transmitted from the
車両１に搭載したカメラ３によって取得した画像を、車両１以外の他の車両や交通管制センターとの間で共有する例としては、上記障害物の有無の他にも、事故の有無、災害発生の有無、工事の有無、渋滞の有無、検問の有無、チェーン装着規制の有無等にも適用することができる。
As an example of sharing the image acquired by the
１…車両、２…運転支援装置、３…カメラ、４…制御装置、４ｂ…記憶部、１４…表示装置、１５…ＧＰＳ装置、１９…通信部、３１…撮像光学系、３２…撮像部、３２ａ…駆動部、３３…画像処理部、３５…制御部、３５ａ…測距演算部、３６…記録部、７０（７０−１、７０−２）…信号機、７２、７３…他の車両、７２Ａ、７３Ａ…先行する車両、７２Ｂ、７３Ｂ…通信用の注目領域、８１…準注目領域、８２、８２Ｂ…注目領域、８３…休止領域、１００…撮像素子、１１１…撮像チップ、１３１…単位領域 1... Vehicle, 2... Driving support device, 3... Camera, 4... Control device, 4b... Storage part, 14... Display device, 15... GPS device, 19... Communication part, 31... Imaging optical system, 32... Imaging part, 32a...Driving unit, 33... Image processing unit, 35... Control unit, 35a... Distance measuring calculation unit, 36... Recording unit, 70 (70-1, 70-2)... Traffic light, 72, 73... Other vehicle, 72A , 73A... Leading vehicle, 72B, 73B... Attention area for communication, 81... Semi-attention area, 82, 82B... Attention area, 83... Rest area, 100... Imaging element, 111... Imaging chip, 131... Unit area
Claims (12)
異なる撮像条件が設定可能である複数の領域を有する撮像部と、
前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報を取得する取得部と、
前記複数の領域の撮像条件を設定する設定部と、を備え、
前記設定部は、前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報に基づいて、前記複数の領域のうち前記移動体の進行方向に位置する特定の対象物の領域について、撮像条件を他の領域と異ならせる撮像装置。 In the imaging device mounted on the moving body,
An imaging unit having a plurality of regions in which different imaging conditions can be set ;
An acquisition unit that acquires position information of the moving body and information of a road located in the traveling direction of the moving body;
A setting unit that sets the imaging conditions of the plurality of regions ,
The setting unit, based on the position information of the moving body and the information of the road located in the traveling direction of the moving body, for a region of a specific object located in the traveling direction of the moving body among the plurality of regions. , An imaging device that makes the imaging condition different from other areas .
前記取得部は、前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報を、前記移動体に搭載される情報装置から取得する、撮像装置。 The image pickup apparatus according to claim 1,
The acquisition unit, the information of the road located in the traveling direction of the positional information and the movable body of the movable body, obtains from the information device mounted on the movable body, the image pickup device.
前記情報装置は、前記移動体に搭載されるナビゲーション装置である撮像装置。 The imaging device according to claim 2,
The information device is an imaging device which is a navigation device mounted on the moving body.
前記設定部は、前記移動体の位置情報及び前記移動体の進行方向に位置する道路の情報に基づいて、前記複数の領域のうち特定の領域について、フレームレート、露光時間、ゲイン、解像度、の少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 3 ,
The setting unit, based on the position information of the moving body and the information of the road located in the traveling direction of the moving body, for a specific region of the plurality of regions, of the frame rate, exposure time, gain, resolution , An imaging device , at least one of which is different from other regions .
前記取得部は、前記移動体の進行方向に位置する道路の情報として交差点に関する情報を取得し、
前記設定部は、前記複数の領域のうち前記交差点が写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 4 ,
Wherein the acquisition unit acquires the information about the intersection as information of a road located in the traveling direction of the moving body,
The setting unit, for the intersection objects appear region among the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報としてカーブに関する情報を取得し、
前記設定部は、前記複数の領域のうち前記カーブが写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 5 ,
Wherein the acquisition unit acquires the information about the curve as the information of the road located in the traveling direction of the moving body,
The setting unit, for the curve objects appear region among the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報としてトンネルに関する情報を取得し、
前記設定部は、前記複数の領域のうち前記トンネルが写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 6 ,
Wherein the acquisition unit acquires information about the tunnel as the information of the road located in the traveling direction of the moving body,
The setting unit, for the tunnel objects appear region among the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報として道路幅の変化の情報を取得し、
前記設定部は、前記複数の領域のうち前記道路幅の変化する区間が写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 7 ,
The acquisition unit, the information of changes in the road width obtained as information of the road located in the traveling direction of the moving body,
The setting unit, the region in which segment objects appear to change in the road width of the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報として工事に関する情報を取得し、
前記設定部は、前記複数の領域のうち前記工事による通行規制区間が写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 8 ,
Wherein the acquisition unit acquires the information about the work as the information of a road located in the traveling direction of the moving body,
The setting unit is the region where traffic regulation section objects appear by the construction of the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報として事故に関する情報を取得し、
前記設定部は、前記複数の領域のうち前記事故による通行規制区間が写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 8 ,
Wherein the acquisition unit acquires the information about the accident as information of a road located in the traveling direction of the moving body,
The setting unit is the region where traffic regulation section objects appear by the accident among the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the image pickup apparatus.
前記取得部は、前記移動体の進行方向に位置する道路の情報として路面状況に関する情報を取得し、
前記設定部は、前記複数の領域のうち前記路面状況が変化している区間が写る領域について、フレームレート、ゲイン、解像度のうち少なくとも１つを他の領域と異ならせる、撮像装置。 The imaging device according to any one of claims 1 to 8 ,
The acquisition unit, the information on road conditions obtained as information of the road located in the traveling direction of the moving body,
The setting unit is the region where the road conditions objects appear a section that varies among the plurality of regions, frame rate, gain, is made different from the at least one other region of the resolution, the imaging apparatus ..
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016132796A JP6740756B2 (en) | 2016-07-04 | 2016-07-04 | Imaging device and automobile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016132796A JP6740756B2 (en) | 2016-07-04 | 2016-07-04 | Imaging device and automobile |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018007077A JP2018007077A (en) | 2018-01-11 |
| JP2018007077A5 JP2018007077A5 (en) | 2019-07-11 |
| JP6740756B2 true JP6740756B2 (en) | 2020-08-19 |
Family
ID=60948167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016132796A Active JP6740756B2 (en) | 2016-07-04 | 2016-07-04 | Imaging device and automobile |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6740756B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019140792A1 (en) * | 2018-01-17 | 2019-07-25 | 上海禾赛光电科技有限公司 | Detection apparatus and parameter adjustment method thereof |
| JP7098996B2 (en) * | 2018-03-26 | 2022-07-12 | 株式会社デンソー | Traveling position determining device |
| WO2020027233A1 (en) * | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and vehicle control system |
| JP7423491B2 (en) | 2018-07-31 | 2024-01-29 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device and vehicle control system |
| US11820289B2 (en) * | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
| US11563905B2 (en) * | 2018-08-16 | 2023-01-24 | Sony Corporation | Information processing device, information processing method, and program |
| JP2020104804A (en) * | 2018-12-28 | 2020-07-09 | トヨタ自動車株式会社 | Electronic mirror system |
| JP2023087388A (en) * | 2021-12-13 | 2023-06-23 | キヤノン株式会社 | Image processing apparatus and image processing method, imaging apparatus, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106537892B (en) * | 2014-05-29 | 2021-01-05 | 株式会社尼康 | Image pickup device and vehicle |
-
2016
- 2016-07-04 JP JP2016132796A patent/JP6740756B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018007077A (en) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6740756B2 (en) | Imaging device and automobile | |
| US11220215B2 (en) | Image capture device and vehicle | |
| JP6536984B2 (en) | Ranging imaging system, solid-state imaging device, and ranging imaging method | |
| KR102554643B1 (en) | Multiple operating modes to expand dynamic range | |
| CN109076163B (en) | Imaging control apparatus, imaging control method, and imaging apparatus | |
| JP6176028B2 (en) | Vehicle control system, image sensor | |
| JP2009017157A (en) | Image processor, method and program | |
| JP2006222844A (en) | On-vehicle image information output device, and method of controlling same | |
| JP6668975B2 (en) | Electronics and vehicles | |
| JP2019146012A (en) | Imaging apparatus | |
| US20220027643A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2018007037A (en) | Imaging apparatus and automobile | |
| US20240048853A1 (en) | Pulsed-Light Optical Imaging Systems for Autonomous Vehicles | |
| JP2023087255A (en) | Vehicular control device | |
| JP2022154208A (en) | Image processing device, image processing system and image processing method | |
| JP2020160878A (en) | Drive support method and drive support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190603 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200527 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6740756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |