JP2023147476A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】配光のムラを抑制しつつ、より確実に撮像対象を検出できるようにする。【解決手段】制御部４０は、投光のパターンとして、第１タイミングにおいて第１パターンを光源１１０に投光させ、第１タイミングと異なる第２タイミングにおいて第２パターンを光源１１０に投光させる。第１および第２パターンは、明部と暗部の配置が、第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有する。撮像部２０は、互いに異なるタイミングで投光された少なくとも１つのパターンについて撮像装置２１によって撮像する。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

物体の有無、該物体までの距離等の物体情報を検出するための技術として特許文献１に開示されたものがある。特許文献１の例では、均一な輝度分布のパターン光と不均一な輝度分布のパターン光を交互に照射させて、視差計算を行なっている。

特許６６８７８８６号公報

特許文献１の例では、均一な輝度分布のパターン光の照射時には、テキスチャレスな撮像対象（例えば障害物）の検出が困難である。

本開示の目的は、配光のムラを抑制しつつ、より確実に撮像対象を検出できるようにすることである。

第１の態様は、撮像装置を有する撮像部と、
制御部と、
前記撮像装置が撮像した画像を処理する処理部と、
を備え、
前記制御部は、投光のパターンとして、第１タイミングにおいて第１パターンを光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
前記第１および第２パターンは、明部と暗部の配置が、前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
前記撮像部は、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像する画像処理装置である。

複数種類のパターンが、互いに異なるタイミングで光源によって投影される。それぞれのパターンは、明部と暗部の配置が他のパターンとは異なる領域を有している。そのため、本態様では、配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

第２の態様は、第１の態様の画像処理装置において、
前記処理部は、前記撮像装置が撮像した画像に基いて、前記撮像装置から撮像対象までの距離を算出する画像処理装置である。

第２の態様では、処理部が、撮像装置から撮像対象までの距離を算出する。算出された距離は、画像処理装置を搭載した装置などで利用できる。

第３の態様は、第１または第２の態様の画像処理装置において、
前記撮像装置は、互いに異なる位置に複数台が設けられ、
前記制御部は、それぞれの前記撮像装置に前記パターンを撮像させる画像処理装置である。

第３の態様では、複数台の撮像装置が撮像した画像を、視差の算出などに利用できる。

第４の態様は、第１から第３の態様のうちの何れか１項の画像処理装置において、
前記光源は、移動体に設けられている画像処理装置である。

第４の態様では、移動体に搭載された画像処理装置において、移動体の光源における配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

第５の態様は、第４の態様の画像処理装置において、
前記移動体は、車両であり、
前記光源は、撮像対象上に前記パターンを投影することが可能であることを特徴とし、前記車両の車幅灯、後退灯、および前照灯の何れかである画像処理装置である。

第５の態様では、車両の燈火（光源）における配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

第６の態様は、第１から第５の態様のうちの何れか１項の画像処理装置において、
前記パターンのそれぞれは、不規則な輝度分布を持つパターンである画像処理装置である。

第６の態様では、不規則な輝度分布を持つパターンによって、撮像対象が検出される。本態様は、夜間における障害物の検出、テキスチャレスな障害物の検出等に有用である。

第７の態様は、第６の態様の画像処理装置において、
前記光源が、互いに異なる位置に複数存在する場合において、
前記制御部は、所定の２つの前記光源に、互いに異なるパターンを投影させ、
前記制御部は、２つの前記光源の一方が投影中の期間と、他方の前記光源が投影中の期間とのそれぞれの期間において、前記撮像装置に撮像を行なわせる画像処理装置である。

第７の態様では、一方のパターン投影下の撮像で得られなかった情報を、他方のパターン投影下の撮像で得られる可能性がある。

第８の態様は、第１から第７の態様のうちの何れか１項の画像処理装置において、
前記光源が、互いに異なる位置に複数存在する場合において、
前記制御部は、互いに異なるタイミングで、２つの前記光源に投影させ、
前記制御部は、２つの前記光源の一方が投影中の期間と、他方の前記光源が投影中の期間とのそれぞれの期間において、前記撮像装置に撮像を行なわせる画像処理装置である。

第８の態様では、２つの光源の一方が投影している期間と他方の光源が投影している期間とのそれぞれの期間において、撮像が行なわれる。本態様では、複数種類の画像データを得ることができる。

第９の態様は、第１から第８の態様のうちの何れか１項の画像処理装置において、
撮影における異常を検知する検知部を備えた画像処理装置である。

第９の態様では、撮像装置の異常などの、撮影における異常が検知される。

第１０の態様は、第９の態様の画像処理装置において、
前記撮像装置は、複数台が設けられ、
前記制御部は、前記検知部が異常を検知した場合に、異常が検知されていない前記撮像装置に前記パターンを撮像させる画像処理装置である。

第１０の態様では、信頼性のある画像データのみを取得できる。

第１１の態様は、第１から第１０の態様のうちの何れか１項の画像処理装置において、
前記パターンは、少なくとも前記処理部による処理対象の範囲において、前記撮像装置が有するセンサの１ピクセルが視認する範囲が整合している画像処理装置である。

第１１の態様では、より遠方の投光範囲における撮像対象の検知能力向上が見込まれる。

第１２の態様は、光源を制御する制御ステップと、
対象物を撮像する撮像ステップと、
撮像装置が撮像した画像を処理する処理ステップと
を含み、
前記制御ステップでは、投光のパターンとして、第１タイミングにおいて第１パターン前記光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
前記第１および第２パターンは、明部と暗部の配置が前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
前記撮像ステップでは、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像する画像処理方法である。

第１２の態様では、配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

第１３の態様は、光源を制御する制御部と、
対象物を撮像する撮像部と、
撮像装置が撮像した画像を処理する処理部と
としてコンピュータを機能させ、
前記制御部では、投光のパターンとして、第１タイミングにおいて第１パターン前記光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
前記第１および第２パターンは、明部と暗部の配置が前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
前記撮像部では、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像させる画像処理プログラムである。

第１３の態様では、配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

本開示によれば、配光のムラを抑制しつつ、より確実に撮像対象を検出できる。

実施形態の画像処理装置の構成を示すブロック図である。 カメラの搭載状態を例示する図である。 距離計算の原理を説明する図である。 光源の発光パターン（ランダムドットパターン）の一例である。 第１動作モードにおける制御部による制御を説明するタイミングチャートである。 第１動作モードにおける、光源の投影の状態を説明する図である。 第２動作モードにおける、光源の投影の状態を説明する図である。

《実施形態》
図１は、実施形態１の画像処理装置１の構成を示すブロック図である。本実施形態では、画像処理装置１は、車両のような移動体に搭載される。図１に示すように、画像処理装置１は、撮像部２０、処理部３０、制御部４０、および検知部５０を備えている。

〈撮像部２０〉
撮像部２０は、２台の撮像装置（カメラ２１）を備えている。以下では、カメラ２１のように複数台ある構成要素を区別して説明する必要がある場合には、符号の後ろに接尾辞を付ける場合がある。例えば、カメラ２１は、２台を識別する場合には、カメラ２１－Ｒ、カメラ２１－Ｌのように表記する。

これらのカメラ２１は、デジタルカメラである。カメラ２１は、「撮像信号」が入力されると撮像を行なう。カメラ２１は、撮像した画像をデジタルデータ（画像データ）として出力する。これらのカメラ２１は、動画像を撮影する場合もあるし、静止画像を撮像する場合もある。カメラ２１は、画像データを処理部３０に出力する。

カメラ２１は、車両に搭載される。図２は、カメラ２１の搭載状態を例示する図である。図２は、車両１００の後部を上方から見た図である（車両１００の前部は省略されている）。

これらのカメラ２１－Ｒ，Ｌは、車両１００の室内に設けられている。本実施形態では、図２に示すように、カメラ２１－Ｒは、リアウインドウに面し、且つ車両１００の中心よりもやや右寄りの位置に取り付けられている。カメラ２１－Ｌは、リアウインドウに面し、且つ車両１００の中心よりもやや左寄りの位置に取り付けられている。カメラ２１－Ｒ，Ｌは、一つの筐体に収めて車両１００に取り付けてもよいし、それぞれ別の筐体に収めてもよい。

カメラ２１－Ｒ，Ｌは、車両１００の後方を撮像する。カメラ２１－Ｒの撮像範囲とカメラ２１－Ｌの撮像範囲とには重複がある。

〈処理部３０〉
処理部３０は、コンピュータとメモリとを備えている（何れも図示を省略）。メモリは、例えば半導体メモリである。処理部３０では、前記コンピュータが所定のプログラムを実行することによって、２台のカメラ２１が出力した画像データに対して処理を行なう。

例えば、画像処理装置１では、カメラ２１の撮像対象と、カメラ２１との距離算出を行なう。撮像対象とは、例えば車両１００の後方にある、物（例えば障害物）や路面の穴などである。

図３は、距離計算の原理を説明する図である。図３の例では、２台のカメラが用いられている。これらのカメラ間の距離は、Ｂであるとする。これらのカメラで同じ物体（撮像対象）を撮像すると、物体が結像する画像面上の位置（カメラが備える画像センサ上の位置）が互いに異なる。図３の例では、物体が結像する画像面上の位置ずれ量は、Ｄである。一般的に、Ｄは視差とよばれる。

図３から分るように、三角形１と三角形２は相似形である。したがって、物体とカメラとの距離Ｚは、次式によって算出できる。

Ｚ＝Ｂ×Ｆ／Ｄ (式１)
式１において、Fは、カメラの焦点距離である。

処理部３０は、２台のカメラ２１から送られた画像データから視差Ｄを求める。処理部３０は、求めた視差Ｄ、カメラ間距離Ｂ（既知の値）、焦点距離Ｆ（既知の値）を式（１）に適用して、撮像対象とカメラとの距離Ｚを算出する。

なお、一方のカメラに代えて、所定の画像を投影する投影機などを用いてもよい。投影機が投影する画像は、投影位置において撮像した画像と見なすことができる。したがって、カメラに代えて投影機を使う場合における視差Ｄは、投影する画像と、カメラによって投影された画像（投影された画像）の位置ずれである。

つまり、「視差」とは、カメラで撮像されたオブジェクトの撮像画像上の位置と、当該オブジェクトを情報として含む画像（参照画像）における当該オブジェクトの位置とのずれである。参照画像は、オブジェクトを前記カメラとは別の視点で撮像した画像である場合もあるし、オブジェクトを前記カメラの撮像対象として投影するための、元画像または別の位置からの投影画像である場合や、後述の光源１１０－Ｌもしくは光源１１０－Ｒから後述の発光パターンが照射された当該オブジェクトの撮像画像である場合もある。

〈制御部４０〉
制御部４０は、コンピュータとメモリとを備えている（何れも図示を省略）。メモリは、例えば半導体メモリである。メモリには、前記コンピュータを動作させるためのプログラム、データなどが格納される。制御部４０のコンピュータとメモリは、処理部３０のものと共用してもよいし、別個に設けてもよい。

制御部４０では、前記コンピュータが所定のプログラムを実行することによって、撮像部２０（カメラ２１）、および光源１１０（ライト）を制御する。

制御部４０は、カメラ２１の制御では、所定のタイミング（後述）で撮像信号をカメラ２１送信し、カメラ２１に撮像させる。制御部４０は、光源１１０の制御では、所定のタイミング（後述）で光源１１０に投影（発光）させる。

本実施形態では、２つの光源１１０が車両１００の互いに異なる位置に設けられている（図２参照）。より詳しくは、光源１１０－Ｒと光源１１０－Ｌとは、水平方向に所定距離だけ離れている。図２に示すように、光源１１０－Ｒは車両１００後部の右寄りに設けられ、光源１１０－Ｌは車両１００後部の左寄りに設けられている。これらの光源１１０は、車両１００の後方に向かって発光する。光源１１０は、いわゆる車幅灯である。

これらの光源１１０は、発光信号が入力された期間に、発光を行なう。換言すると、発光信号は、発光期間を指示する信号である。

光源１１０では、複数の発光ダイオード（LED）がアレイ状に設置されている。それぞれのLEDのオンオフは、光源１１０の外部から信号（LED制御信号）を入力することによって制御できる。

発光させるLEDをLED制御信号によって選択することで、複数種のパターンでの投影を光源１１０に行なわせることができる。前記複数種のパターンのそれぞれは、所定の明るさを有する明部と、明部よりも暗い暗部との組み合わせで形成されたパターン（以下、明暗パターンとも呼ぶ）である。

それぞれの明暗パターンは、明部と暗部の配置が他のパターンとは異なる領域を有している。なお、以下では、一つのパターン（１枚の画像）内の所定領域（１枚の画像の一部分）における明部と暗部の組み合わせをサブパターンと呼ぶ場合がある。

制御部４０は、光源１１０において発光させるLEDを適宜、選択する。これにより、制御部４０は、光源１１０に複数種類のパターンを互いに異なるタイミングで投影させることができる。

制御部４０は、光源１１０によって投影されるパターンが、不規則な輝度分布を持つパターン（いわゆるランダムドットパターン）となるように、発光するLEDを選択する。なお、本実施形態における「不規則な輝度分布を持つパターン」とは、視差計算を行う場合の撮像画像と参照画像の比較に際し、比較領域内において、任意の位置における計算範囲と同じ大きさの撮像されたサブパターンが、他の位置で出現しないような分布を持つパターンである。図４は、光源１１０の発光パターン（ランダムドットパターン）の一例である。

本実施形態の制御部４０は、発光パターンＲ１、発光パターンＲ２、発光パターンＬ１、および発光パターンＬ２の４種のパターンの何れかで光源１１０に投影させるものとする。発光パターンＲ１と発光パターンＬ１とは、互いに明暗のパターンが同一ではない。

発光パターンＲ１と発光パターンＲ２とは、明暗のパターンが互いに逆である。つまり、発光パターンＲ１の所定の領域（Ｘとする）と、発光パターンＲ２において領域Ｘに相当する領域Ｙとを比べると、一方の領域で明部である箇所は、他方の領域では暗部である。換言すると、発光パターンＲ１と発光パターンＲ２とは、互いに異なるサブパターンを含んでいる。

同様に、発光パターンＬ１と発光パターンＬ２とは、明暗のパターンが互いに逆である。換言すると、発光パターンＬ１と発光パターンＬ２とは、互いに異なるサブパターンを含んでいる。以下では、説明の便宜のため、２つのパターンで互いに対応する領域において、一方の領域が明部で他方の領域が暗部の関係にある場合、この２つのパターンを「相補対」と命名する。

〈検知部５０〉
検知部５０は、撮像における異常を検知する。検知部５０は、コンピュータとメモリとを備えている（何れも図示を省略）。メモリは、例えば半導体メモリである。メモリには、コンピュータを動作させるためのプログラム、データなどが格納される。検知部５０のコンピュータとメモリは、処理部３０や制御部４０のものと共用してもよいし、別個に設けてもよい。

検知部５０は、カメラ２１の故障等の異常を検知する。検知部５０は、例えば、カメラ２１から正常に画像データが出力されていない場合にカメラ２１が異常（故障）であると判断する。検知部５０は、カメラ２１で撮像できない領域（いわゆるオクルージョン）が存在する場合にも、カメラ２１が異常であると判断する。検知部５０は、異常を検知した場合には、異常の種類を示す情報を、処理部３０および制御部４０に出力する。

〈動作例〉
画像処理装置１は、カメラ２１が２台とも正常に撮影可能な場合と、２台のカメラ２１うちの１台において正常に撮像できない場合とで、動作のモードが異なる。以下では、カメラ２１が２台とも正常撮影可能な場合における、画像処理装置１の動作モードを第１動作モードと呼ぶ。また、２台のカメラ２１うちの１台において正常に撮像できない場合における、画像処理装置１の動作モードを第２動作モードと呼ぶ。

－第１動作モード－
図５は、第１動作モードにおける制御部４０による制御を説明するタイミングチャートである。図５において、「光開始信号」は、処理部３０が制御部４０に出力する信号である。光開始信号は、カメラ２１および光源１１０の制御開始を制御部４０に対して指示する信号である。

「左側ライト発光信号」は、制御部４０によって出力される。左側ライト発光信号は、車両１００の左側の光源１１０－Ｌに対して発光を指示する信号（前述の発光信号）である。

制御部４０は、発光パターンを指定する信号（前述のLED制御信号）も光源１１０－Ｌに出力する。第１動作モードでは、光源１１０－Ｌには、発光パターンＬ１による発光、または発光パターンＬ２による発光が指定される。

図５において、左側ライト発光信号（パルス）の上に、「Ｌ１」と記載されているタイミングで、制御部４０は、発光パターンＬ１による発光を指示するLED制御信号を出力している。左側ライト発光信号（パルス）の上に、「Ｌ２」と記載されているタイミングで、制御部４０は、発光パターンＬ２による発光を指示するLED制御信号を出力している。

「右側ライト発光信号」は、制御部４０によって出力される。右側ライト発光信号は、車両１００の右側の光源（光源１１０－Ｒ）に対して発光を指示する信号（前述の発光信号）である。

制御部４０は、発光パターンを指定する信号（LED制御信号）も光源１１０－Ｒに出力する。第１動作モードでは、光源１１０－Ｒには、発光パターンＲ１による発光、または発光パターンＲ２による発光が指定される。

図５において、右側ライト発光信号（パルス）の上に、「Ｒ１」と記載されているタイミングで、制御部４０は、発光パターンＲ１による発光を指示するLED制御信号を出力している。右側ライト発光信号（パルス）の上に、「Ｒ２」と記載されているタイミングで、制御部４０は、発光パターンＲ２による発光を指示するLED制御信号を出力している。

「撮像終了信号」は、後述するステップ１からステップ４までの処理が完了したことを示す信号である。撮像終了信号は、制御部４０が処理部３０に出力する。

図６は、第１動作モードにおける、光源１１０の投影（発光）の状態を説明する図である。図５、図６に示すように、画像処理装置１では、ステップ１～ステップ４の処理が繰り返して実行される。

ステップ１では、制御部４０は、左側ライト発光信号を光源１１０－Ｌに出力する。制御部４０は、発光パターンＬ１を指示するLED制御信号も光源１１０－Ｌに出力する。これにより、光源１１０－Ｌは、左側ライト発光信号が出力されている期間（Δｔとする）、発光パターンＬ１の投影を行なう。

本実施形態では、Δｔを１０ｍｓ以下としている。こうすることで、光源１１０におけるフリッカーを人間が認識し難くなる。勿論、Δｔの値は例示である。Δｔは、人がフリッカーを感じ難い期間に定めればよい。

ステップ１では、制御部４０は、光源１１０－Ｌの投影中に、撮像信号をカメラ２１－Ｒおよびカメラ２１－Ｌに送信する。これにより、２台のカメラ２１が発光パターンＬ１の投影下で撮像を行なう。２台のカメラ２１は、画像データを処理部３０に出力する。

ステップ１において、処理部３０は、２台のカメラ２１から得た画像データを用いて視差Ｄを求める。処理部３０は、視差Ｄを含む視差情報を用いて、カメラ２１と、その撮像対象との距離Ｚを算出する。

ステップ２は、ステップ１の終了直後に開始される。ステップ２では、制御部４０は、右側ライト発光信号を光源１１０－Ｒに出力する。制御部４０は、発光パターンＲ１を指示するLED制御信号も光源１１０－Ｒに出力する。これにより、光源１１０－Ｒは、右側ライト発光信号が出力されている期間（Δｔ）、発光パターンＲ１の投影を行なう。

光源１１０－Ｒについても、Δｔを１０ｍｓ以下としている。こうすることで、光源１１０における発光は、フリッカーとして人間に認識され難くなる。勿論、光源１１０－Ｒに関するΔｔの値も例示である。光源１１０－Ｒについても、Δｔは、人がフリッカーを感じ難い期間に定めればよい。

ステップ２では、制御部４０は、光源１１０－Ｒの投影中に、撮像信号をカメラ２１－Ｒおよびカメラ２１－Ｌに送信する。これにより、２台のカメラ２１が発光パターンＲ１の投影下で撮像を行なう。２台のカメラ２１は、画像データを処理部３０に出力する。

ステップ２でも、処理部３０は、２台のカメラ２１から得た画像データを用いて視差Ｄを求める。処理部３０は、視差Ｄを含む視差情報を用いて、カメラ２１と、その撮像対象との距離Ｚを算出する。

ステップ３は、ステップ２の終了直後に開始される。ステップ３では、ステップ１に対し、光源１１０－Ｌの発光パターンが異なっている。ステップ３では、制御部４０は、発光パターンＬ２による発光を光源１１０－Ｌに対して指示する。すなわち、光源１１０－Ｌは、発光パターンＬ１と発光パターンＬ２を交互に発光する。

ステップ３では、２台のカメラ２１は、発光パターンＬ２の投影下で、撮像を行なう。２台のカメラ２１は、画像データを処理部３０に出力する。ステップ３においても、視差情報を用いて、カメラ２１と、その撮像対象との距離Ｚを算出する。

ステップ４は、ステップ３の終了直後に開始される。ステップ４では、ステップ２に対し、光源１１０－Ｒの発光パターンが異なっている。ステップ４では、制御部４０は、発光パターンＲ２による発光を光源１１０－Ｒに対して指示する。すなわち、光源１１０－Ｒは、発光パターンＲ１と発光パターンＲ２を交互に発光する。

ステップ４では、２台のカメラ２１は、発光パターンＲ２の投影下で、撮像を行なう。２台のカメラ２１は、画像データを処理部３０に出力する。ステップ４においても、視差情報を用いて、カメラ２１と、その撮像対象との距離Ｚを算出する。

ステップ１～４のそれぞれにおいて処理部３０が算出した距離Ｚは、車両１００において利用できる。例えば、車両１００では、距離Ｚの値に応じて、情報がユーザに報知されたり、車両１００の制御（例えばブレーキの作動）等が行なわれたりする。

－第２動作モード－
画像処理装置１では、検知部５０が撮像の異常（カメラ２１の異常など）を検知した場合に、第２動作モードが実行される。ここでは、カメラ２１－Ｌは正常に撮像ができるが、カメラ２１－Ｒは正常な撮像ができないものと仮定する。

検知部５０は、カメラ２１－Ｒの異常を検知したら、異常の種類を示す情報を、処理部３０と制御部４０に送信する。これにより、処理部３０および制御部４０において、第２動作モードでの実行が開始される。

図７は、第２動作モードにおける、光源１１０の投影（発光）の状態を説明する図である。画像処理装置１では、図７に示すステップ１～ステップ４の処理が繰り返して実行される。

第２動作モードでは、制御部４０は、正常な撮像ができないカメラ２１－Ｒには撮像させない。第２モードでは、信頼性のある画像データのみが取得される。

ステップ１では、制御部４０は、光源１１０－Ｌに発光パターンＬ１で投影させる。制御部４０は、光源１１０－Ｌの投影中に、撮像信号をカメラ２１－Ｌに送信する。これにより、カメラ２１－Ｌが光源１１０－Ｌの投影下で撮像を行なう。カメラ２１－Ｌは、画像データを処理部３０に出力する。

ステップ２は、ステップ１の終了直後に開始される。ステップ２では、制御部４０は、光源１１０－Ｒに発光パターンＬ１で投影させる。つまり、光源１１０－Ｒは、ステップ１の光源１１０－Ｌと同じパターンで投影する。第２動作モードでは、光源１１０－Ｌと光源１１０－Ｒが交互に発光する。

制御部４０は、光源１１０－Ｒの投影中に、撮像信号をカメラ２１－Ｌに送信する。これにより、カメラ２１－Ｌが光源１１０－Ｒの投影下で撮像を行なう。カメラ２１－Ｌは、画像データを処理部３０に出力する。

処理部３０は、ステップ１およびステップ２において画像データを受け取ると、両ステップ１で得た画像データおよびステップ２で得た画像データを基に、視差Ｄおよび距離Ｚを求める。

ステップ３は、ステップ２の終了直後に開始される。ステップ３では、ステップ１に対して、光源１１０－Ｌの発光パターンが異なっている。ステップ３では、制御部４０は、光源１１０－Ｌに発光パターンＬ２で投影させる。すなわち、第２動作モードでは、光源１１０－Ｌは、発光パターンＬ１，Ｌ２を交互に投影する。

ステップ３において、カメラ２１－Ｌは、制御部４０に制御されて、光源１１０－Ｌの投影下で撮像を行なう。カメラ２１－Ｌは、画像データを処理部３０に出力する。

ステップ４は、ステップ３の終了直後に開始される。ステップ４では、ステップ２に対して、光源１１０－Ｒの発光パターンが異なっている。ステップ４では、制御部４０は、光源１１０－Ｒに発光パターンＬ２で投影させる。すなわち、光源１１０－Ｒは、発光パターンＬ１と発光パターンＬ２を交互に発光する。

ステップ４において、カメラ２１－Ｌは、制御部４０に制御されて、光源１１０－Ｒの投影下で撮像を行なう。カメラ２１－Ｌは、画像データを処理部３０に出力する。

処理部３０は、ステップ２およびステップ３において画像データを受け取ると、両ステップ２で得た画像データおよびステップ３で得た画像データを基に、視差Ｄおよび距離Ｚを求める。

ステップ２の終了時およびステップ４の終了時のそれぞれにおいて処理部３０が算出した距離Ｚは、車両１００において利用される。例えば、車両１００では、距離Ｚの値に応じて、情報がユーザに報知されたり、車両１００の制御（例えばブレーキの作動）等が行なわれたりする。

なお、第２モードでは、ステップ１，２で使用する発光パターンと、ステップ３，４で使用する発光パターンとは、互いに相補対をなす発光パターンであればよい。例えば、第２モードでは、発光パターンとして、発光パターンＬ１に代えて発光パターンＲ１を採用し、発光パターンＬ２に代えて発光パターンＲ２を採用してもよい。

〈本実施形態における効果〉
本実施形態では、相補対をなす発光パターンが、適宜、切り替えられる。この構成によって、本実施形態では、光源１１０の投影領域において、ある瞬間に暗部であった領域が、別の瞬間には明部となり得る。

これにより、車両１００では、配光のムラを抑制できる。例えば、光源に対する法規制によっては、所定の領域に高い輝度を維持しながら均一な配光が求められる場合がある。このような光源のアプリケーションも、画像処理装置１によれば、その規制に容易に対応できる。

画像処理装置１では、撮像は、明暗パターン（ランダムドットパターン）の投影下で行なわれる。画像処理装置１は、夜間における障害物の検出、テキスチャレスな障害物の検出等に有用である。換言すると、画像処理装置１では、より確実に撮像対象を検出できる。

明暗パターンの投影下で撮像された画像は、暗部に相当する部分の情報が抜け落ち場合がある。しかし、画像処理装置１では、例えば、第１動作モードのステップ１における発光パターンＬ１と、第１動作モードのステップ３における発光パターンＬ２とによって、抜け落ちた情報を補うことができる。発光パターンＬ１と発光パターンＬ２とは、相補対をなすからである。

同様に、第１動作モードのステップ２における発光パターンＲ１と、ステップ４における発光パターンＲ２は、相補対をなす。そのため、発光パターンＲ１の下で撮像した画像データで抜け落ちた情報は、発光パターンＲ２の下で撮像した画像データで補うことができる。

このように、画像処理装置１では、必要な情報の抜け落ちを抑制することが可能になる。

《その他の実施形態》
光源１１０に投影させるパターン（発光パターンＬ１，Ｌ２など）には、輝度分布（明部と暗部の分布）に偏りを設けてもよい。また、相補対をなす２つのパターンは、明暗が互いに同一の箇所（領域）が含まれていてもよい。例えば、光源に対する法規制によっては、所定の領域に高い輝度の配光が求められる場合がある。このような光源のアプリケーションでは、高い輝度が求められる領域に、相補対をなす両方の発光パターンにおいて明部となる部分を含めることが考えられる。

相補対をなすパターン（例えば発光パターンＬ１，Ｌ２）の発光順は、交互でなくてもよい。例えば、人がフリッカーを感じない期間内に、投光範囲の概ね全体において明部が生じるように、光源１１０に発光させればよい。

明暗パターンの実現法は、例示の方法（発光するLEDの切替え）には限定されない。例えば、プロジェクター様式など、複数種類のパターン光を切り替えつつ発光可能な光源、または時間的に照射パターンが変化する光源であれば、方式は任意である。

画像処理装置１で採用した発光パターンの数は例示である。更に多種の発光パターンで光源に発光させてもよい。

明暗パターンとして投光する元画像の輪郭は、正方形には限定されない。例えば、光源上部で照射するパターンの元画像を光源下部で照射するパターンの元画像より狭くすることが考えられる。換言すると、パターン照射のための元画像として台形状の元画像を使用してもよい。

台形状の元画像を用いると、投影先（例えば路面）において、正方形に近い範囲に投影させることができる。このように、元画像を適切に設定すれば、光源上部で照射するパターン、つまり、より遠方の投光範囲でも、使用したカメラ中のセンサの１ピクセルが視認する範囲に整合したパターン照射が可能となる。その結果、画像処理装置１では、より遠方の投光範囲における撮像対象の検知能力向上が見込まれる。

発光パターンＬ１、発光パターンＲ１は、同一でもよい。

光源１１０は、車幅灯には限定されない。光源１１０は、車両の後退灯、前照灯等でもよい。

カメラ２１の数および光源１１０の数は、例示である。例えば、画像処理装置１は、カメラ２１が１台の装置として構成してもよい。画像処理装置１は、カメラ２１が１台の場合には、第２動作モードにおける投影、撮像のみを実施すればよい。

画像処理装置１の応用は、移動体には限定されない。例えば、画像処理装置１は、建物に配置してもよい。

これらの他の実施形態においても、本実施形態の作用効果を発揮できる。また、本実施形態と他の実施形態や、他の実施形態同士は適宜組み合わせることが可能である。

以上説明したように、本開示は、画像処理装置、画像処理方法、および画像処理プログラムとして有用である。

1 画像処理装置
21 カメラ（撮像装置）
30 処理部
40 制御部
50 検知部
100 車両（移動体）
110 光源
Z 距離

Claims (13)

1. 撮像装置を有する撮像部と、
   制御部と、
   前記撮像装置が撮像した画像を処理する処理部と、
   を備え、
   前記制御部は、投光のパターンとして、第１タイミングにおいて第１パターンを光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
   前記第１および第２パターンは、明部と暗部の配置が、前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
   前記撮像部は、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像する画像処理装置。
2. 請求項１の画像処理装置において、
   前記処理部は、前記撮像装置が撮像した画像に基づいて、前記撮像装置から撮像対象までの距離を算出する画像処理装置。
3. 請求項１または請求項２の画像処理装置において、
   前記撮像装置は、互いに異なる位置に複数台が設けられ、
   前記制御部は、それぞれの前記撮像装置に前記パターンを撮像させる画像処理装置。
4. 請求項１から請求項３のうちの何れか１項の画像処理装置において、
   前記光源は、移動体に設けられている画像処理装置。
5. 請求項４の画像処理装置において、
   前記移動体は、車両であり、
   前記光源は、撮像対象上に前記パターンを投影することが可能であることを特徴とし、前記車両の車幅灯、後退灯、および前照灯の何れかである画像処理装置。
6. 請求項１から請求項５のうちの何れか１項の画像処理装置において、
   前記パターンのそれぞれは、不規則な輝度分布を持つパターンである画像処理装置。
7. 請求項６の画像処理装置において、
   前記光源が、互いに異なる位置に複数存在する場合において、
   前記制御部は、所定の２つの前記光源に、互いに異なるパターンを投影させ、
   前記制御部は、２つの前記光源の一方が投影中の期間と、他方の前記光源が投影中の期間とのそれぞれの期間において、前記撮像装置に撮像を行なわせる画像処理装置。
8. 請求項１から請求項７のうちの何れか１項の画像処理装置において、
   前記光源が、互いに異なる位置に複数存在する場合において、
   前記制御部は、互いに異なるタイミングで、２つの前記光源に投影させ、
   前記制御部は、２つの前記光源の一方が投影中の期間と、他方の前記光源が投影中の期間とのそれぞれの期間において、前記撮像装置に撮像を行なわせる画像処理装置。
9. 請求項１から請求項８のうちの何れか１項の画像処理装置において、
   撮影における異常を検知する検知部を備えた画像処理装置。
10. 請求項９の画像処理装置において、
    前記撮像装置は、複数台が設けられ、
    前記制御部は、前記検知部が異常を検知した場合に、異常が検知されていない前記撮像装置に前記パターンを撮像させる画像処理装置。
11. 請求項１から請求項１０のうちの何れか１項の画像処理装置において、
    前記パターンは、少なくとも前記処理部による処理対象の範囲において、前記撮像装置が有するセンサの１ピクセルが視認する範囲が整合している
    ことを特徴とする画像処理装置。
12. 光源を制御する制御ステップと、
    対象物を撮像する撮像ステップと、
    撮像装置が撮像した画像を処理する処理ステップと
    を含み、
    前記制御ステップでは、投光のパターンとして、第１タイミングにおいて第１パターンを前記光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
    前記第１および第２パターンは、明部と暗部の配置が前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
    前記撮像ステップでは、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像する画像処理方法。
13. 光源を制御する制御部と、
    対象物を撮像する撮像部と、
    撮像装置が撮像した画像を処理する処理部と
    としてコンピュータを機能させ、
    前記制御部では、投光のパターンとして、第１タイミングにおいて第１パターンを前記光源に投光させ、前記第１タイミングと異なる第２タイミングにおいて第２パターンを前記光源に投光させ、
    前記第１および第２パターンは、明部と暗部の配置が前記第１および第２タイミングと異なる第３タイミングで投光された第３パターンとは異なる領域を有しており、
    前記撮像部では、互いに異なるタイミングで投光された少なくとも１つの前記パターンについて前記撮像装置によって撮像させる画像処理プログラム。