JP2021180459A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】画素において取得された信号の状態を適切に検出する。【解決手段】撮像装置は、第1画素と、第2画素と、検出部と、を備える。前記第1画素は、第1感度を有する。前記第2画素は、前記第1感度よりも低い第2感度を有する。前記検出部は、前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する。【選択図】図１

Description

本開示は、撮像装置及びプログラムに関する。

異なる感度を有する複数の画素を備えたイメージセンサは、複数画素値の合成によりHDR（High Dynamic Range）画像を生成することが可能である。このような複数の画素値の合成を行う場合、信号機等のLED（Light Emitting Diode）点滅の影響がある画素とない画素との合成によるLEDフリッカが問題となることがある。LEDフリッカを抑制するために、全ての画素において露光時間を十分長く、例えば、50Hzに対して11 msec程度になるように制御すると、長時間の露光による動体のブレ等が問題となる。

特開2004-208000号公報

そこで、本開示では、画素において取得された信号の状態を適切に検出する撮像装置を提供する。

一実施形態によれば、撮像装置は、第1画素と、第2画素と、検出部と、を備える。第1画素は、第1感度を有する。第2画素は、第1感度よりも低い第2感度を有する。検出部は、第1画素から出力される第1画素信号の輝度情報及び彩度情報と、第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する。

撮像装置は、第1画素及び第2画素による撮影の制御をする制御部、をさらに備えてもよい。

制御部は、第1画素の露光時間よりも第2画素の露光時間を長く制御してもよい。

検出部は、第1画素信号及び第2画素信号の情報に基づいて、フリッカを撮影した画素を検出してもよい。

検出部は、第1画素信号の輝度が第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出してもよい。

検出部はさらに、第1画素信号の彩度が第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出してもよい。

検出部は、フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出してもよい。

検出部は、LEDが使用されている領域を信号機の領域として検出してもよい。

撮像装置は、検出部がフリッカを検出しなかった画素の画素値から、検出部がフリッカを検出した画素の画素値を復元する、信号処理部をさらに備えてもよい。

信号処理部は、第1画素信号の輝度値と、第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元してもよい。

信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元してもよい。

信号処理部は、フリッカが検出された画素について、復元された画素値を用いて信号処理を実行してもよい。

信号処理部は、復元された画素値を第1画素信号の画素値として信号処理を実行してもよい。

信号処理部は、復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行してもよい。

検出部は、第1画素信号の彩度が第2画素信号の彩度よりも低い場合に、第1画素において画素値が飽和していることを検出してもよい。

制御部は、飽和の発生している状態に基づいて、第1画素の露光時間を制御してもよい。

一実施形態に係る撮像装置を模式的に示すブロック図。 一実施形態に係る撮像装置の画素アレイを模式的に示す図。 一実施形態に係る画素の一例を模式的に示す図。 一実施形態に係る画素の一例を模式的に示す図。 一実施形態に係る画素の輝度と彩度による検出の一例を示す図。 一実施形態に係る画素の輝度の様子を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

図１は、一実施形態に係る撮像装置を模式的に示すブロック図である。撮像装置1は、画素10と、検波部12と、状態検出部14と、信号処理部16と、物体検出部18と、制御部20と、を少なくとも備える。この他、撮像装置1は、適切に、データを記憶するための記憶部、画素から取得された信号に基づいて再構成された画像を出力する出力部等を、適宜必要な処理系を備える。

画素10は、撮像装置1における受光を行うセンサ部である。この画素10は、例えば、フォトダイオード等の光電変換素子を備えて構成され、受光した光の強度をアナログ信号として取得する。画素10には、例えば、アナログ信号をデジタル信号へと変換するA/D変換部等（図示しない）が接続されてもよく、A/D変換部等により適切に変換されたデジタル信号が画素信号として出力される。

図２は、一実施形態に係る画素10の配置を示す図である。画素10は、例えば、図に示すような2次元のあれ以上に備えられ、画素アレイ100を構成してもよい。画素の配置及び形状は、図２のような場合に限られず、適切に被写体の画像を取得できる構成であればよい。例えば、画素10の形状は、正方形に限られず、任意の矩形であってもよいし、六角形、八角形等の形状であってもよい。

また、画素10の大きさは、画素アレイ100に亘り同じ大きさではなくともよく、異なる大きさの画素10が画素アレイ100内に混在していてもよい。また、配置も、ほぼ90度のアレイ状出なくともよく、例えば、画素の形状が六角形であり、画素アレイ100には、画素がハニカム状に備えられるものであってもよい。

図１に戻り、画素10は、第1画素10Aと、第2画素10Bと、を備える。これらの第1画素10Aと第2画素10B異なる撮像特性を有していてもよい。例えば、以下に示すように、各画素は、異なる感度を備えてもよい。

第1画素10Aは、第2画素10Bよりも高い感度である第1感度を有する画素である。第1画素10Aは、例えば、第2画素10Bよりも高い感度を有する一方で、露光時間を短く撮影を実行する。第1画素10Aは、同じ色のフィルタ等が備えられる状態においては、第2画素10Bよりも高い輝度値を取得することが可能である。この結果、さらに、第1画素10Aは、第2画素10Bよりも高い彩度値を取得できる場合もある。

第1画素10Aは、第1画素信号を出力する。この第1画素信号は、少なくとも輝度の情報を含む。また、第1画素信号として、周囲の第1画素信号と色を混合した彩度の信号を含んでもよい。また、単色のフィルタを介して受光した信号として彩度を出力してもよい。

第2画素10Bは、第1感度よりも低い感度である第2感度を有する画素である。第2画素10Bは、例えば、第1画素10Aよりも低い感度を有する一方で、露光時間を第1画素10Aよりも長くとることにより、第1画素10Aが飽和するような領域でも良好な信号を取得することができる。

第2画素10Bは、第2画素信号を出力する。この第2画素信号は、基本的には、第1画素信号と同じ種類の信号を含む。すなわち、第2画素信号は、第2画素10Bにより取得された輝度情報と、彩度情報と、を含む信号であってもよい。

検波部12は、画素10から出力された画素信号について、検波を実行する。検波部12は、例えば、それぞれの画素から出力された第1画素信号及び第2画素信号から輝度値、彩度値を取得して検波を行う。ここで、検波とは、例えば、画素信号の輝度値、彩度値と、所定の閾値とを比較して、これらの信号値が高いか、低いか、を判定する処理である。

検波部12は、第1検波部12Aと、第2検波部12Bと、を備えていてもよい。第1検波部12Aは、第1画素10Aから出力された第1画像信号について検波を実行し、第2検波部12Bは、第2画素10Bから出力された第2画像信号について検波を実行する。検波部12の判定結果は、状態検出部14と、制御部20へと出力される。

状態検出部14は、検波部12から取得した検波結果に基づいて、第1画素10A及び第2画素10Bが備えられる画素10の状態を検出する。状態検出部14は、例えば、第1検波部12A及び第2検波部12Bからの出力に基づいて、それぞれの画素10においてフリッカが発生した被写体の情報を取得したか否かを判定する。また、状態検出部14は、例えば、それぞれの画素10において、特に、第1画素10Aが受光した光量が飽和しているか否かを検出する。

信号処理部16は、状態検出部14の出力に基づいて、画素10からの出力に適切な処理を実行する。信号処理部16は、例えば、第1画像信号及び第2画像信号に基づいて、HDR合成した信号値を生成してもよい。この合成は、画素ごとに行ってもよいし、画像全体に亘って行ってもよい。信号処理部16はさらに、状態検出部14の出力に基づいて、第1画素10Aの輝度値又は彩度値を補正してもよい。

すなわち、信号処理部16は、一般的な処理と同様に、高感度の信号である第1画素信号と、低感度の信号である第2画素信号とを用いて、HDR合成をしてもよい。さらに、信号処理部16は、第1画素信号と第2画素信号との関係に基づいて、HDR合成をする前に、第1画素信号を補正することもできる。

また、信号処理部16は、状態検出部14を介して第1画素信号及び第2画素信号を取得し、この信号、及び、状態検出部14が検出した結果に基づいて、画像を生成してもよい。このように、信号処理部16において、画素信号から画像を生成する処理を行ってもよい。別の形態として、画像自体は、図示しない画像生成部で生成し、信号処理部16は、生成された画像に、例えば、輝度値又は彩度値を補正した値を合成してもよい。

物体検出部18は、信号処理部16が処理した画像信号に基づいて、物体の検出を実行する。本実施形態においては、物体検出部18は、例えば、画像中におけるLEDフリッカが発生している領域を信号処理部16が処理した結果に基づいて検出してもよい。より具体的には、この領域をLEDが使用されている可能性がある領域として検出してもよい。LEDフリッカが発生している領域は、例えば、交通信号機の照明領域として検出してもよい。例えば、これらの検出は、状態検出部14で検出を行ってもよい。

物体検出部18は、例えば、交通信号機の照明領域を検出した場合、この領域を画像情報と合わせて出力してもよい。撮像装置1に接続される処理装置は、例えば、この物体検出部18の出力に基づいて適切な処理を行ってもよい。例えば、自動車に撮像装置1及び処理装置が搭載され、撮像装置1により交通信号機の照明領域を抽出した後に、処理装置により交通信号機の色の判断をして、運転手に提示したり、自動運転をしたりしてもよい。

制御部20は、画素10、すなわち、第1画素10A及び第2画素10Bについての制御を実行する。画素10についての制御とは、例えば、撮像する処理であり、例えば、制御部20の制御する露光時間、フレームレートに基づいて、画素10が光を受光し、画素信号を出力する。制御部20は、例えば、検波部12が出力した検波結果を用いてこの制御を実行してもよい。また、別の例として、状態検出部14、信号処理部16、又は、物体検出部18が出力したデータを用いて制御を実行してもよい。制御部20は、例えば、第1画素10Aよりも第2画素10Bの露光時間を長くして撮影するように制御する。

次に、画素10内における第1画素10A及び第2画素10Bの配置等について説明する。

図３は、一実施形態に係る画素10を模式的に示す図である。例えば、9つの画素10が示されているが、画素アレイ100には、この図３に示すような組み合わせの画素がアレイ状に備えられる。実線で囲まれた領域が1つの画素10を示し、点線が、第1画素10Aと第2画素10Bとの境界を示す。

図面中、Gは、緑の受光をする画素、Rは、赤の受光をする画素、Bは、青の受光をする画素とする。これらの色は、カラーフィルタにより受光する色が決定されてもよいし、有機光電変換膜等により、選択的に光電変換素子が取得する光の色が決定されてもよい。なお、色の並び方は、一例としてベイヤ配列であるとするが、ベイヤ配列に限られることなく、適切に輝度、彩度等の情報を取得できるのであれば、RGB-Wといった他の配列であってもかまわない。

上述したように、1つの画素10は、例えば、略正八角形状の第1画素10Aと、略正方形の第2画素10Bと、を備える。それぞれの画素10が、この第1画素10Aと、第2画素10Bを備えていてもよい。

第1画素10Aは、第2画素10Bよりも広い受光領域を有する。この結果、第1画素10Aは、第2画素10Bよりも高感度の画素として機能することができる。一方で、第2画素10Bは、第1画素10Aよりも感度は劣るものの、第1画素10Aが飽和するような長時間露光を行っても飽和せず、第1画素10Aよりも広い輝度領域を有する画素として機能することができる。

このように、略同じ位置に備えられる第1画素10Aと第2画素10Bを備える画素により、HDR合成をすることが可能となる。

図４は、画素10を模式的に示す別の例を示す図である。図３と同様に、実線で示された領域が1つの画素10を示し、点線が、第1画素10Aと第2画素10Bとの境界を示す。また、RGBの意味及び配列等についても、図３と同様である。

この図４に示すように、図３の第1画素10Aと第2画素10Bの組み合わせに対して、第1画素10Aに対して第2画素10Bの配置が交互に逆方向となるように配置されていてもよい。

本実施形態においては、2通りの態様を示したが、これには限られず、適切に第1画素10A及び第2画素10Bが配置される配列であればどのような配列であってもよい。

図５は、検波部12の出力に基づいた状態検出部14の検出の一例を示す表である。

LEDフリッカが発生した被写体の領域を取得した画素について考える。例えば、第1画素10Aの露光時間外においてLEDが点灯する等、第1画素10Aでは受光できない一方で、第2画素10Bにおいては受光できている可能性が高い。すなわち、このようなフリッカが発生する被写体においては、第1画素10Aの取得した輝度、彩度よりも、第2画素10Bが取得した輝度、彩度の方が高くなる輝度の逆転現象が発生することがある。表において、第1画素輝度：低、第2画素輝度：高、第1画素彩度：低、第2画素彩度：高に対応する箇所である。

逆に、第1信号の輝度、彩度と、第2信号の輝度、彩度がこのような状態になっている場合には、第1画素10Aにおいては受光できていないが第2画素10Bにおいては受光できていると判断してもよい。すなわち、このような場合には、フリッカが発生していると判断してもよい。

状態検出部14は、少なくとも、(第1画素信号の輝度) < (第2画素信号の輝度)となっている場合には、フリッカが発生している可能性があると判断してもよい。さらに、上記のように、状態検出部14は、さらに(第1画素信号の彩度) < (第2画素信号の彩度)であることを確認し、フリッカの検出をしてもよい。

このような第1画素信号、第2画素信号の状態である場合に、状態検出部14は、当該画素10は、被写体としてフリッカを撮影したと判定してもよい。状態検出部14は、検波部12からこのような場合を取得すると、当該画素においては、フリッカが発生しているLEDを被写体としたと判定し、フリッカが発生したことを検出する。

この判定を受けた信号処理部16は、第1画素信号の輝度値を補正して、補正された輝度値、彩度値を用いて信号処理、例えば、HDR合成をしてもよい。別の例として、信号処理部16は、第1画素信号にフリッカが発生した画素であることのフラグを付与して出力してもよい。さらに別の例として、信号処理部16は、第1画素信号の輝度値を補正するのではなく、彩度を強調して出力してもよい。

図６は、第1画素10Aと、第2画素10Bの輝度の取得について一例を示す図である。この図を用いて、第1画素信号の補正の例についていくつか説明する。

フリッカがない場合には、第1画素信号の輝度値と第2画素信号の輝度値は、その感度に基づいて、第1画素信号の輝度値の方がより高い値となる。一方で、フリッカが発生している場合には、その露光タイミングにより、第1画素信号の輝度値の方が第2画素信号の輝度値よりも低くなる可能性がある。

このような場合、信号処理部16は、フリッカがない場合の第1画素信号の輝度値と第2画素信号の輝度値の比αを用いて、第1画素信号の輝度値を補正してもよい。すなわち、フリッカが発生していると検出された場合には、信号処理部16は、第2画素信号の輝度値をα倍して、第1画素信号の輝度値を補正してもよい。

また、これには限られず、例えば、着目している画素10の周辺の画素10の信号値に基づいて、信号値を補正してもよい。例えば、ローリングシャッタを用いている場合には、信号処理部16は、異なるタイミングで撮像された前後のラインの画素10の信号値を用いて補正を行ってもよい。もちろん、周囲の画素値を用いた他の補正方法も適用可能である。例えば、信号処理部16は、周囲の画素10の検波部12の出力から、フリッカを検出していない画素10、又は、フリッカが発生している可能性が低い画素10を抽出し、その信号値を用いて補正を行ってもよい。

また、上述したように、信号処理部16は、第1画素信号の輝度値ではなく、彩度を強調することにより、信号値の補正をしてもよい。例えば、上述のαと同様に、フリッカなしの場合の第1画素信号と第2画素信号の彩度値の比βを用い、第2画素信号における彩度をβ倍したものを第1画素信号の彩度として採用してもよい。

このように、信号処理部16は、着目している画素10における信号値に基づいて補正を行ってもよいし、さらに、周辺の画素10の信号値に基づいて補正を行ってもよい。

そして、この検出結果に基づいた画像又はデータ等を出力することにより、撮像装置1は、当該画素が含まれる領域が、例えば、交通信号機の照明がある領域であると判定してもよい。

図５に戻り、一方で、第1画素信号の輝度が高い場合であり、かつ、第1画素信号の彩度が第2画素信号の彩度よりも低い場合には、第1画素の飽和が発生していると判定してもよい。制御部20は、検波部12がこのような挙動をしている場合には、第1画素10Aの露光時間が長いと判断し、第1画素10Aの露光時間を短くする制御をしてもよい。

また、第1画素信号の輝度値、第2画素信号の輝度値がともに低く、第1画素信号の彩度が低く、第2画素信号の彩度が高い場合には、ノイズである可能性が高い。このような場合には、信号処理部16は、当該画素の検出結果にノイズを含むものとして、例えば、周囲の画素10の信号値を用いて当該画素10の信号値を補正してもよい。

上記のように、画素ごとに露光時間を設定してもよいが、コストが高い場合がある。そこで、例えば、画素アレイ100に存在している画素10において、第1画素10Aが飽和を起こしている画素10が所定数以上である環境において、制御部20は、第1画素10Aの露光時間を短く制御してもよい。また、このように制御した後、第1画素信号の輝度値が所定期間において所定値よりも高くなることがなかった場合には、制御部20は、第1画素10Aの露光時間を再度長くしてもよい。このように制御することにより、例えば、明るい場所に移動したり、暗い場所に移動したりした場合にも、適切に第1画素10Aにおいて受光を行うことが可能となる。

以上のように、本実施形態によれば、ADAS（Advanced Driver-Assistance System）、自動運転の物体検出処理等に有用なLEDの検出情報を出力画像に付加することが可能となり、その後の物体検出の精度を向上することができる。感度の異なる第1画素及び第2画素間の輝度の比較でLEDフリッカを検出できるため、簡易な回路でLED検出が可能となり、画素内にLED検出機能を有するイメージセンサを実現することが可能となる。さらに、画素ごとに異なる露光時間を設定することにより、HDRにおけるダイナミックレンジをさらに拡大することができる。これは、上述したように、第2画素信号の輝度値から、第1画素信号の（飽和性能以上の）画素値の推定が可能であるためである。これらのことにより、画素ごとに露光時間を変えた場合にも、感度の異なる画素を用いることにより、問題なくLEDフリッカの抑制をすることが可能となる。

上記の処理は、適切な箇所において、アナログ回路又はデジタル回路により実装されてもよい。また、ソフトウェアによる情報処理がハードウェア資源により具体的に実現される場合、記憶部に適切なプログラムを記憶しておき、プロセッサ等によりこのプログラムが実行されてもよい。一部、又は、全部をプログラムで実行してもよいし、専門のアナログ回路、デジタル回路と適切に処理を切り分けて実現されるものであってもよい。

また、全ての実装は、画素アレイ100を備える第1基板と、第1基板に積層される第2基板上に形成された回路により実現されてもよい。これらの基板は、CoC、CoW、又は、WoWの手法により積層された半導体装置（イメージセンサ）であってもよい。また、別の例として、1チップとしてこれらの機能が形成された半導体装置であってもよい。

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダー装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダー装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダー装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、図１から図５を用いて説明した本実施形態に係る撮像装置１は、図７に示した応用例の撮像部７４１０の一部、又は、社外情報検出部７４２０の一部に適用することができる。例えば、撮像部７４１０において、図１に示した撮像装置１を備え、その出力を社外情報検出部７４２０において処理し、統合制御ユニット７６００のマイクロコンピュータ７６１０等において、給電装置２２からの信号の送受信を行ってもよい。このように実装することにより、移動体における測位装置として、本実施形態の撮像装置１を用いることができる。

前述した実施形態は、以下のような形態としてもよい。

(1)
第1感度を有する第1画素と、
前記第1感度よりも低い第2感度を有する第2画素と、
前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する検出部と、
を備える撮像装置。

(2)
前記第1画素及び前記第2画素による撮影の制御をする制御部、
をさらに備える(1)に記載の撮像装置。

(3)
前記制御部は、前記第1画素の露光時間よりも前記第2画素の露光時間を長く制御する、
(2)に記載の撮像装置。

(4)
前記検出部は、前記第1画素信号及び前記第2画素信号の情報に基づいて、フリッカを撮影した画素を検出する、
(3)記載の撮像装置。

(5)
前記検出部は、前記第1画素信号の輝度が前記第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出する、
(4)に記載の撮像装置。

(6)
前記検出部はさらに、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出する、
(5)に記載の撮像装置。

(7)
前記検出部は、前記フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出する、
(4)から(6)のいずれかに記載の撮像装置。

(8)
前記検出部は、前記LEDが使用されている領域を信号機の領域として検出する、
(7)に記載の撮像装置。

(9)
前記検出部がフリッカを検出しなかった画素の画素値から、前記検出部がフリッカを検出した画素の画素値を復元する、信号処理部、
をさらに備える、(4)から(8)のいずれかに記載の撮像装置。

(10)
前記信号処理部は、前記第1画素信号の輝度値と、前記第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元する、
(9)に記載の撮像装置。

(11)
前記信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元する、
(9)に記載の撮像装置。

(12)
前記信号処理部は、フリッカが検出された画素について、前記復元された画素値を用いて信号処理を実行する、
(9)から(11)のいずれかに記載の撮像装置。

(13)
前記信号処理部は、前記復元された画素値を前記第1画素信号の画素値として信号処理を実行する、
(12)に記載の撮像装置。

(14)
前記信号処理部は、前記復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行する、
(9)又は(10)に記載の撮像装置。

(15)
前記検出部は、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、前記第1画素において画素値が飽和していることを検出する、
(3)から(14)のいずれかに記載の撮像装置。

(16)
前記制御部は、飽和の発生している状態に基づいて、前記第1画素の露光時間を制御する、
(15)に記載の撮像装置。

(17)
(1)から(15)における検出処理を処理回路で実行させるためのプログラム。

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1：撮像装置、
10：画素、10A：第1画素、10B：第2画素、
100：画素アレイ、
12：検波部、12A：第1検波部、12B：第2検波部、
14：状態検出部、
16：信号処理部、
18：物体検出部、
20：制御部、

Claims (17)

1. 第1感度を有する第1画素と、
   前記第1感度よりも低い第2感度を有する第2画素と、
   前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する検出部と、
   を備える撮像装置。
2. 前記第1画素及び前記第2画素による撮影の制御をする制御部、
   をさらに備える請求項１に記載の撮像装置。
3. 前記制御部は、前記第1画素の露光時間よりも前記第2画素の露光時間を長く制御する、
   請求項２に記載の撮像装置。
4. 前記検出部は、前記第1画素信号及び前記第2画素信号の情報に基づいて、フリッカを撮影した画素を検出する、
   請求項３記載の撮像装置。
5. 前記検出部は、前記第1画素信号の輝度が前記第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出する、
   請求項４に記載の撮像装置。
6. 前記検出部はさらに、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出する、
   請求項５に記載の撮像装置。
7. 前記検出部は、前記フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出する、
   請求項４に記載の撮像装置。
8. 前記検出部は、前記LEDが使用されている領域を信号機の領域として検出する、
   請求項７に記載の撮像装置。
9. 前記検出部がフリッカを検出しなかった画素の画素値から、前記検出部がフリッカを検出した画素の画素値を復元する、信号処理部、
   をさらに備える、請求項４に記載の撮像装置。
10. 前記信号処理部は、前記第1画素信号の輝度値と、前記第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元する、
    請求項９に記載の撮像装置。
11. 前記信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元する、
    請求項９に記載の撮像装置。
12. 前記信号処理部は、フリッカが検出された画素について、前記復元された画素値を用いて信号処理を実行する、
    請求項９に記載の撮像装置。
13. 前記信号処理部は、前記復元された画素値を前記第1画素信号の画素値として信号処理を実行する、
    請求項１２に記載の撮像装置。
14. 前記信号処理部は、前記復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行する、
    請求項９に記載の撮像装置。
15. 前記検出部は、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、前記第1画素において画素値が飽和していることを検出する、
    請求項３に記載の撮像装置。
16. 前記制御部は、飽和の発生している状態に基づいて、前記第1画素の露光時間を制御する、
    請求項１５に記載の撮像装置。
17. 第1感度を有する第1画素と、
    前記第1感度よりも低い第2感度を有する第2画素と、
    を備える撮像装置において、
    処理回路に、
    前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出すること、
    を実行させるプログラム。

Images