JP2013203335A - 対象認識装置 - Google Patents

Abstract

【課題】学習用データを増やすことに頼らずに、誤認識の可能性を低減できる対象認識装置を提供する。
【解決手段】対象認識装置１０１は、車両から車両外に向いて撮影をするカメラ１０を備えている。カメラ１０は、レンズ１１及び絞り１２を含む光学系１３と、光学系１３を駆動する光学系駆動部１７と、画像データを生成する画像生成部１４とを備えている。対象認識装置１０１は、さらに、画像データに対して対象の認識を行なう対象認識部２０と、光学系駆動部１７を制御するカメラ制御部４０とを備えている。カメラ制御部４０は、認識対象の存在が想定される範囲が、カメラ１０の合焦範囲となるように、カメラ１０の被写界深度を調整する。
【選択図】図１

Description

本発明は、画像処理によって対象を認識する対象認識装置に関し、特に、車載カメラで撮影した画像から歩行者や車両等の対象を認識する対象認識装置に関するものである。

従来、車載カメラで車両の前方等を撮影して、歩行者や車両等を認識する対象認識装置が知られている。この対象認識装置では、予め歩行者や車両等の認識対象の画像における所定の特徴量のパターンを学習しておき、撮影画像中に認識対象のパターンが存在するか否かを判断することで、認識対象を認識している（例えば、非特許文献１参照）。

このような対象認識装置における撮影画像には、一般的には、認識対象以外にも、さまざまなものが写っている。対象認識装置は、認識対象以外のそれらの被写体を認識対象と誤認識してしまうことがある。例えば、撮影画像内に現れている二本の電柱が人間の二本の脚のパターンに似通っていると、それを人間の脚である（即ち歩行者がいる）と誤認識してしまうことがある。また、例えば、建物のエントランスのパターンが車両の後方のパターンに似通っていると、それを車両の後方（即ち前方に車両がある）と誤認識してしまうことがある。

従来、このような誤認識の可能性を低減するために、十分な数の学習用データを用いて認識対象のパターンを学習させている。即ち、十分な数の認識すべきパターン（正例）と、認識すべきでないパターン（負例）を収集して学習を行なうことで、誤認識の可能性を低減させている。

Viola and Jones. (2001) Robust Real-time Detection, International Journal of Computer Vision

しかしながら、道路上には似通ったパターンは多数存在し、学習用データを増やしても、誤認識の低減には限界がある。例えば、上記のように、パターン認識において、電柱を人間の脚と誤認識することが多いが、これはそもそも電柱と人間の脚とは画像特徴量のパターンにおいて、似ているからである。従って、負例として電柱のパターンを多く集めて学習をすると、逆に人物の脚を人物の脚として認識しない可能性が高くなる。

また、誤認識の可能性を低減するためには、多くの学習用データを集める必要があるが、多くの学習用データを集めるのにはコストがかかる。

本発明は、上記の問題に鑑みてなされたものであり、学習用データを増やすことに頼らずに、誤認識の可能性を低減できる対象認識装置を提供することを目的とする。

本発明の対象認識装置は、 レンズ及び絞りを含む光学系と、前記光学系を駆動する光学系駆動部と、画像データを生成する画像生成部とを備え、車両から車両外に向いて撮影をするカメラと、前記画像データに対して対象の認識を行なう対象認識部と、前記光学系駆動部を制御することで、前記カメラの被写界深度を調整するカメラ制御部とを備えた構成を有している。

この構成により、カメラの被写界深度が調整され、合焦範囲外の被写体は撮影画像内にてボケて映るので、合焦範囲内の被写体について対象認識が好適に行なわれるとともに、撮影画像内のボケた部分からは対象が認識されにくくなるので、誤認識の可能性を低減できる。なお、ここでいう「車両」とは４輪の乗用車だけではなく、二輪のバイク、一人乗りの移動体モビリティ、自動運転車などの移動体が含まれる。

上記の対象認識装置において、前記光学系駆動部は、前記レンズを駆動するレンズ駆動部を含んでいてよく、前記カメラ制御部は、前記レンズ駆動部を制御して、前記レンズの焦点距離を変更することで、前記被写界深度を調整してよい。

この構成により、被写界深度は、レンズの焦点距離によって調整される。

上記の対象認識装置において、前記光学系駆動部は、前記絞りを駆動する絞り駆動部を含んでいてよく、前記カメラ制御部は、前記絞り駆動部を制御して、前記絞りのＦ値を変更することで、前記被写界深度を調整してよい。

この構成により、被写界深度は、絞りのＦ値によって調整される。なお、レンズの焦点距離の調整とともに絞りのＦ値の調整が行なわれてもよい。

上記の対象認識装置において、認識対象の存在が想定される範囲が、前記カメラの合焦範囲となるように、前記被写界深度を調整してよい。

この構成により、認識対象の存在が想定される範囲外からは対象が認識されにくくなり、認識対象の存在が想定される範囲外での誤認識を軽減できる。

上記の対象認識装置は、前記画像データから道路標識を検出する道路標識検出部をさらに備えていてよく、前記カメラ制御部は、前記道路標識の検出結果に基づいて、前記被写界深度を調整してよい。

この構成により、道路標識に基づいて認識対象が存在する範囲を想定して、その範囲を含むように被写界深度を調整できる。なお、道路標識には、道路に直接表記されたものと、道路に立てられた看板等に表記されたものが含まれる。

上記の対象認識装置において、前記道路標識検出部は、前記画像データから横断歩道を検出してよく、前記カメラ制御部は、検出された横断歩道の前記画像データ内の位置に応じて、横断歩道及びその付近のみが前記カメラの合焦範囲となるように、前記被写界深度を調整してよい。

この構成により、横断歩道を渡る歩行者を好適に認識でき、横断歩道以外の場所は合焦範囲の外になるので、撮影画像中ではボケて映り、横断歩道以外の場所にある被写体による誤認識を軽減できる。

上記の対象認識装置は、現在位置の位置情報を取得する位置情報取得部と、地図情報を記憶した地図情報記憶部と、前記位置情報と前記地図情報とを用いて、現在位置の状況を判定する状況判定部とをさらに備えていてよく、前記カメラ制御部は、前記状況判定部の判定結果に基づいて、前記被写界深度を調整してよい。

この構成により、車両の現在位置と地図情報とから、車両が現在どのような状況にいるのかを判定して、認識対象が存在する範囲を想定し、その範囲を含むように被写界深度を調整できる。

上記の対象認識装置において、前記状況判定部は、現在位置が交差点付近であることを判定してよく、前記カメラ制御部は、前記状況判定部が、現在位置が交差点付近であると判定したときに、交差点及びその付近のみが前記カメラの合焦範囲となるように、前記被写界深度を調整してよい。

この構成により、交差点内の歩行者や車両を好適に認識でき、交差点以外の場所は合焦範囲の外になるので、撮影画像中ではボケて映り、交差点以外の場所にある被写体による誤認識を軽減できる。

上記の対象認識装置は、車両の速度を検出する速度検出部をさらに備えていてよく、前記カメラ制御部は、前記速度検出部が検出した速度に応じて、前記被写界深度を調整してよい。

この構成により、車両の速度に応じて対象認識装置で対象を認識すべき範囲を特定し、その範囲を含むように被写界深度を調整できる。

上記の対象認識装置において、前記カメラ制御部は、前記速度検出部にて検出された速度が速いほど、前記被写界深度が深くなるように、前記被写界深度を調整してよい。

この構成により、車両の速度が速い場合には、被写界深度を深くして、奥行き方向に大きな範囲で対象の認識を行なうことができる。

本発明の別の態様は、対象認識方法であって、この対象物認識方法は、レンズ及び絞りを含む光学系と前記光学系を駆動する光学系駆動部とを備えたカメラを用いて、車両から車両外に向いて撮影をして、画像データを生成する撮影ステップと、前記光学系駆動部を制御することで、前記カメラの被写界深度を調整するカメラ制御ステップと、前記被写界深度が調整された前記カメラにて得られた前記画像データに対して、対象の認識を行なう対象認識ステップとを含んでいる。

この構成によっても、カメラの被写界深度が調整され、合焦範囲外の被写体は撮影画像内にてボケて映るので、合焦範囲内の被写体について対象認識が好適に行なわれるとともに、撮影画像内のボケた部分からは対象が認識されにくくなるので、誤認識の可能性を低減できる。

本発明によれば、カメラの被写界深度が調整され、合焦範囲外の被写体は撮影画像内にてボケて映り、その部分からは対象が認識されにくくなるので、誤認識の可能性を低減できる。

本発明の第１の実施の形態における対象認識装置の構成を示すブロック図 本発明の第１の実施の形態における被写界深度の調整例を示す図 本発明の第１の実施の形態における被写界深度の調整例を示す図 本発明の第１の実施の形態における対象認識装置の動作を示すフロー図 本発明の第２の実施の形態における対象認識装置の構成を示すブロック図 本発明の第２の実施の形態における対象認識装置の動作を示すフロー図 本発明の第３の実施の形態における対象認識装置の構成を示すブロック図 本発明の第３の実施の形態における対象認識装置の動作を示すフロー図

以下、本発明の実施の形態の対象認識装置について、図面を参照しながら説明する。以下で説明する対象認識装置は、車両に搭載されて、車両外に向いて車両の前方を撮影した画像から対象を認識する。対象としては、例えば、人（歩行者）及び車両があり、対象認識装置では、予めそれらの画像特徴量のパターンが認識対象のパターンとして学習されている。対象認識装置による認識結果は、車両の自動制動やドライバへの注意喚起に用いることができる。なお、以下の説明において、なお、「合焦範囲」とは、カメラを基準とした奥行き方向の範囲であり、一定の許容錯乱円径でピントが合う範囲をいう。合焦範囲の奥行き方向の大きさ（深さ）が「被写界深度」である。

（第１の実施の形態）
図１は、本発明の実施の形態の対象認識装置の構成を示すブロック図である。図１に示すように、対象認識装置１０１は、カメラ１０、対象認識部２０、道路標識検出部３０、及びカメラ制御部４０を備えている。

カメラ１０は、車両内に設置されて、車両外に向いて車両の前方を撮影する。カメラ１０は、レンズ１１及び絞り１２を含む光学系１３を有する。図１では、レンズ１１が１枚のみ図示されているが、実際には複数枚のレンズが組み合わせて用いられる。光学系１３の後方には画像生成部１４が設けられている。画像生成部１４は、入射した光を電子信号に変換する撮像素子と、撮像素子からの信号にを処理して画像データを生成する信号処理回路とを備えている。レンズ１１及び絞り１２を通過した被写体からの光は、画像生成部１４の撮像素子に入射して信号処理回路で画像データに変換される。画像データは、対象認識部２０及び道路標識検出部３０に入力される。

カメラ１０は、さらにレンズ駆動部１５及び絞り駆動部１６を備えている。レンズ駆動部１５は、レンズ１１を前後方向に移動させる。これによって、レンズ１１の焦点距離が変更される。絞り駆動部１６は、絞り１２を絞ったり開けたりして開口の大きさを変更する。これによって絞り１２のＦ値が変更される。レンズ駆動部１５及び絞り駆動部１６によって光学系駆動部１７が構成される。

レンズ１１の焦点距離をｆ、絞り１２のＦ値をＦ、被写体までの距離（即ちレンズ主点から合焦位置までの距離）をＲ、許容錯乱円径をδ、前方被写界深度をＤａ、後方被写界深度をＤｂ、被写界深度をＤとすると、以下の式（１）〜（３）が成り立つ。
Ｄａ＝Ｒ²δＦ／（ｆ²＋ＲδＦ） ・・・（１）
Ｄｂ＝Ｒ²δＦ／（ｆ²−ＲδＦ） ・・・（２）
Ｄ＝Ｄａ＋Ｄｂ ・・・（３）

式（１）〜（３）より明らかなように、絞り１２を絞り込むほど（即ち、Ｆ値を大きくするほど）、被写界深度が深く（即ち、被写界深度が広く）なり、焦点距離が短いほど、被写界深度が深く（即ち、被写界深度が広く）なる。そして、合焦範囲内にある被写体は、撮影画像中で鮮明に映り、合焦範囲外の被写体は、合焦範囲から離れるほどその像がボケて撮影画像中に現れることになる。

対象認識部２０は、画像データに対して対象認識を行なう。対象認識部２０は、画像特徴量として勾配特徴量を用いて対象の認識を行なう。勾配特徴量としては、ＨｏＧ（Histograms of Oriented Gradients）特徴量（勾配ヒストグラム特徴量）、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、Ｈａａｒ−ｌｉｋｅ特徴量等を採用できる。撮影画像中のボケている部分では十分な勾配特徴量が得られない。よって、勾配特徴量を用いて対象の認識を行なうと、ボケている部分では対象が認識されにくくなり、この部分での誤認識の可能性を低減できる。

なお、通常は、写真に魅力を持たせるために、対象とする被写体以外を強くぼかすように被写界深度を浅く設定することもあるが、本実施の形態の場合には、ボケの度合いはわずかであってよい。ボケの度合いがわずかであっても、勾配特徴量には大きな影響があるので十分な効果が得られる。

また、上記のとおり、本実施の形態では、対象認識部２０が勾配特徴量に基づいて対象の認識を行なうことで画像中のボケている部分での誤認識の可能性を低減できるが、ボケている部分での誤認識が低減される対象認識はこれに限られない。例えば、対象認識部２０は、画像特徴量として、周波数成分（フーリエ変換、ウェーブレット変換、ガボール変換）を用いて対象認識を行なってもよい。周波数成分による対象認識の場合も、画像中のボケている部分からは低周波成分が抽出され、ボケていない部分からは高周波成分が抽出されるので、高周波成分に着目して対象認識を行なうことで、ボケている部分における誤認識の可能性を低減できる。

例えば、画像中のボケている部分については、適切なサイズのブロックでフーリエ変換を行なうと、高周波成分のパワーが弱くなる一方、画像中の鮮明な部分では、適切なサイズのブロックでフーリエ変換を行なうと、一般的には高周波成分のパワーが強くなる。よって、高周波成分の強さに対して閾値を適用することで、ボケている部分（合焦範囲外）での対象の認識を行なわないようにして、この部分での誤認識の可能性を低減できる。

道路標識検出部３０は、画像データから道路標識を検出する。本実施の形態では、道路標識検出部３０は、道路標識として横断歩道を検出する。道路標識検出部３０は、検出結果をカメラ制御部４０に出力する。

カメラ制御部４０は、焦点距離調整部４１及びＦ値調整部４２を備えている。焦点距離調整部４１は、レンズ駆動部１５に制御信号を与えて、レンズ駆動部１５によるレンズ１１の駆動を制御する。Ｆ値調整部４２は、絞り駆動部１６に制御信号を与えて、絞り駆動部１６による絞り１２の駆動を制御する。カメラ制御部４０は、道路標識検出部３０の検出結果に基づいて、認識対象の存在が想定される範囲が合焦範囲となるように、レンズ駆動部１５及び絞り駆動部１６を制御して、被写界深度を調整する。具体的には、以下のとおりである。

焦点距離調整部４１は、横断歩道が近くにある場合（横断歩道が画像内の下の方で検出された場合）には、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が長くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が長くなると、被写界深度は浅くなる。一方、横断歩道が遠くにある場合（横断歩道が画像内の上の方で検出された場合）及び横断歩道がない場合（横断歩道が検出されなかった場合）には、焦点距離調整部４２は、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が短くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が短くなると、被写界深度は深くなる。

このように、焦点距離調整部４２は、横断歩道が近くにある場合には、被写界深度を浅くすることで、横断歩道前後のみにピントが合うようにする。これによって、横断歩道よりも遠い位置にあるものを認識対象であると誤って認識する可能性を低減できる。

Ｆ値調整部４３は、横断歩道が近くにある場合（横断歩道が画像内の下の方で検出された場合）には、絞り駆動部１６が絞り１２を駆動することで開口を大きくするように、絞り駆動部１６を制御する。この制御によって絞り１５が開いてＦ値が小さくなると、被写界深度が浅くなる。一方、横断歩道が遠くにある場合（横断歩道が画像内の上の方で検出された場合）及び横断歩道がない場合（横断歩道が検出されなかった場合）には、絞り駆動部１６が絞り１２を駆動することで開口が小さくなるように、絞り駆動部１６を制御する。この制御によって絞り１５が閉じてＦ値が大きくなると、被写界深度が深くなる。

このように、Ｆ値調整部４３は、横断歩道が近くにある場合には、被写界深度を浅くすることで、横断歩道前後のみにピントが合うようにする。これによって、横断歩道よりも遠い位置にあるものを認識対象であると誤って認識する可能性を低減できる。

図２及び図３は、本発明の第１の実施の形態における被写界深度の調整例を示す図である。図２は、前方の近くに横断歩道がある場合、図３は、前方に横断歩道がない場合をそれぞれ示している。図２及び図３に示すように、車両Ｃにはカメラ１０が備えられている。カメラ１０は、車両の進行方向前方を撮影するように車両Ｃに取り付けられている。

図２に示すように、車両Ｃの前方の比較的近い位置に横断歩道Ｚがある場合には、カメラ１０で撮影された画像では、この横断歩道Ｚは画像内の下方に比較的大きく映ることになる。道路標識検出部３０が、そのように画像内に現れた横断歩道Ｚを検出すると、カメラ制御部４０は、光学系の被写界深度Ｄが浅くなるように、光学系駆動部１７を制御する。具体的には、上述のとおり、焦点距離調整部４１がレンズ駆動部１５を制御して、レンズ駆動部１５は、光学系１３の焦点距離が長くなるようにレンズ１１を駆動し、Ｆ値調整部４２が絞り駆動部１６を制御して、絞り駆動部１６は、開口が大きくなるように絞り１２を駆動する。このような制御によって、図２に示すように、前方被写界深度Ｄａ₁及び後方被写界深度Ｄｂ₁はそれぞれ比較的浅くなり、よって被写界深度Ｄ₁（＝Ｄａ₁＋Ｄｂ₁）は比較的浅くなる。

一方、図３に示すように、車両Ｃの前方に横断歩道がなく、道路標識検出部３０によっても横断歩道が検出されない場合には、カメラ制御部４０は、光学系１３の被写界深度Ｄが深くなるように、光学系駆動部１７を制御する。具体的には、上述のとおり、焦点距離調整部４１がレンズ駆動部１５を制御して、レンズ駆動部１５は、光学系の焦点距離が短くなるようにレンズ１１を駆動し、Ｆ値調整部４２が絞り駆動部１６を制御して、絞り駆動部１６は、開口が小さくなるように絞り１２を駆動する。このような制御によって、図３に示すように、前方被写界深度Ｄａ₂及び後方被写界深度Ｄｂ₂はそれぞれ比較的深くなり、よって被写界深度Ｄ₂（＝Ｄａ₂＋Ｄｂ₂）は比較的深くなる。

次に、本実施の形態の対象認識方法について説明する。図４は、本発明の第１の実施の形態における対象認識装置の動作を示すフロー図である。対象認識装置１０１は、処理を開始すると、まず、カメラ１０で車両Ｃの前方を撮影して、画像を取得する（ステップＳ４１）。そして、道路標識検出部３０は、取得された画像から横断歩道を検出して、検出結果をカメラ制御部４０に出力する（ステップＳ４２）。

カメラ制御部４０は、横断歩道が車両Ｃの前方の比較的近いところ（手前）に検出されたか否かを判断する（ステップＳ４３）。横断歩道Ｚが車両Ｃの前方の比較的近いところに検出された場合には（ステップＳ４３にてＹＥＳ）、カメラ制御部４０は、被写界深度Ｄが浅くなるように光学系駆動部１７を制御する（ステップＳ４４）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が長くなるように、レンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が大きくなるように、絞り駆動部１６を制御する。

一方、車両Ｃの前方の近いところにて横断歩道が検出されなかった場合（横断歩道が検出されなかった場合、及び横断歩道が車両Ｃの前方の遠いところ（画面の上の方）で検出された場合を含む）には（ステップＳ４３にてＮＯ）、カメラ制御部４０は、被写界深度Ｄが深くなるように光学系駆動部１７を制御する（ステップＳ４５）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が短くなるようにレンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が小さくなるように絞り駆動部１６を制御する。

なお、ステップＳ４４とステップＳ４５は、ステップＳ４５における光学系の状態を基本状態として、横断歩道の手前であると判断された場合（ステップＳ４３にてＹＥＳ）にのみ、基本状態に対して被写界深度が浅くなるように、レンズ１１及び絞り１２を駆動し（ステップＳ４４）、横断歩道の手前でない場合（ステップＳ４３にてＮＯ）には、基本状態からレンズ１１及び絞り１２を駆動しないようにしてもよい。

ステップＳ４４又はステップＳ４５にて焦点距離及びＦ値の調整が行なわれて被写界深度が決定されると、そのような光学系１３で得られた撮影画像について、対象認識部２０が対象認識を行なう（ステップＳ４６）。

以上のように、本実施の形態の対象認識装置１０１によれば、横断歩道が車両のすぐ前にある場合には、そこに認識対象である歩行者がいると想定して、被写界深度を浅くする。そうすることで、横断歩道よりもずっと先にある電柱等がカメラ１０の画角に入っていたとしても、それらの被写体の像はボケて、横断歩道を渡っている歩行者にピントが合った撮影画像が得られる。よって、このような撮影画像について対象認識を行なうことで、横断歩道よりも先にある電柱等が人間の足と認識される等の誤認識の可能性を低減できる。

なお、上記の実施の形態では、道路標識検出部３０にて撮影画像から横断歩道が検出されたときに、被写界深度を浅くしたが、さらに車両の速度を検知して、速度が低速ないしは車両が停止している場合にのみ、撮影画像から横断歩道が検出されたときに、被写界深度を浅くするようにしてよい。これにより、通常の走行速度で横断歩道を横切る場合に、瞬間的に横断歩道が所定の大きさで検出されて、瞬間的に被写界深度が変更されないようにすることできる。

また、上記の実施の形態では、道路標識として、横断歩道を検出したが、道路に直接表記されたその他の道路標識を検出して、それに応じて被写界深度を調整してもよい。また、道路に立てられた看板の道路標識を検出して、それに応じて被写界深度を調整してもよい。

（第２の実施の形態）
次に、第２の実施の形態を説明する。図５は、本発明の第２の実施の形態における対象認識装置の構成を示すブロック図である。図５に示す第２の実施の形態の対象認識装置１０２において、第１の実施の形態の対象認識装置１０１と同じ構成については、同じ符号を付して適宜説明を省略する。

本実施の形態の対象認識装置１０２は、第１の実施の形態の対象認識装置１０１の道路標識検出部３０の代わりに、前方判定部５０を備えている。本実施の形態の前方判定部５０は、車両の前方の比較的近い距離に交差点があるか否かを判定する。前方判定部５０は、位置情報取得部５１、判定部５２、及び地図情報記億部５３を備えている。位置情報取得部５１は、車両の現在位置の位置情報を取得する。位置情報取得部５１はＧＰＳ受信機であってよく、外部のＧＰＳ受信機で得られた情報を取得するものであってもよい。地図情報記憶部５３は、地図情報を記憶している。地図情報には、地図上の道路についてリンクとノード（リンクをつなぐ点）の属性の情報が含まれている。ノードの属性には、少なくとも交差点であるという属性が含まれている。

判定部５２は、位置情報取得部５１で取得した車両の現在位置の位置情報に対応する地図情報を地図情報記憶部５３から読み出して、車両の現在位置が交差点の手前であるか否か（車両の進行方向の前方の近いところに交差点があるか否か）を判定し、その判定結果をカメラ制御部４０に出力する。

カメラ制御部４０の焦点距離調整部４１及びＦ値調整部４２によるレンズ駆動部１５及び絞り駆動部１６の制御は、以下の通りである。焦点距離調整部４１は、車両の現在位置が交差点の手前にある場合には、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が長くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が長くなると、被写界深度は浅くなる。一方、車両の現在位置が交差点の手前にない場合には、焦点距離調整部４２は、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が短くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が短くなると、被写界深度は深くなる。

このように、焦点距離調整部４２は、車両の現在位置が交差点の手前にある場合には、被写界深度を浅くすることで、交差点及びその前後のみにピントが合うようにする。これによって、交差点の先にあるものを認識対象であると誤って認識する可能性を低減できる。

Ｆ値調整部４３は、車両の現在位置が交差点の手前にある場合には、絞り駆動部１６が絞り１２を駆動することで開口を大きくするように、絞り駆動部１６を制御する。この制御によって絞り１５が開いてＦ値が小さくなると、被写界深度が浅くなる。一方、車両の現在位置が交差点の手前にある場合には、絞り駆動部１６が絞り１２を駆動することで開口が小さくなるように、絞り駆動部１６を制御する。この制御によって絞り１５が閉じてＦ値が大きくなると、被写界深度が深くなる。

このように、Ｆ値調整部４３は、車両の現在位置が交差点の手前にある場合には、被写界深度を浅くすることで、交差点のみにピントが合うようにする。これによって、交差点の先にあるものを認識対象であると誤って認識する可能性を低減できる。

次に、本実施の形態の対象認識方法について説明する。図６は、本発明の第２の実施の形態における対象認識装置の動作を示すフロー図である。対象認識装置１０２は、処理を開始すると、まず、カメラ１０で車両の前方を撮影して、画像を取得する（ステップＳ６１）。そして、位置情報取得部５１は、ＧＰＳ受信機として、又はＧＰＳ受信機から、車両の現時位置の位置情報（緯度及び軽度）を取得する（ステップＳ６２）。

判定部５２は、地図情報記憶部５３に記憶された地図情報を参照して、車両の現在位置が交差点の手前にあるか否かを判断する（ステップＳ６３）。車両の現在位置が交差点の手前にある場合には（ステップＳ６３にてＹＥＳ）、カメラ制御部４０は、被写界深度が浅くなるように光学系駆動部１７を制御する（ステップＳ６４）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が長くなるように、レンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が大きくなるように、絞り駆動部１６を制御する。

一方、車両の現在位置が交差点の手前にない場合には（ステップＳ６３にてＮＯ）、カメラ制御部４０は、被写界深度が深くなるように光学系駆動部１７を制御する（ステップＳ６５）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が短くなるようにレンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が小さくなるように絞り駆動部１６を制御する。

ステップＳ６４又はステップＳ６５にて焦点距離及びＦ値の調整が行なわれて被写界深度が決定されると、そのような光学系１３で得られた撮影画像について、対象認識部２０が対象認識を行なう（ステップＳ６６）。

以上のように、本実施の形態の対象認識装置１０２によれば、車両の現在位置と地図情報とを用いて、車両が交差点の手前にあると判定された場合には、そこに認識対象としての歩行者や車両がいると想定して、被写界深度を浅くする。そうすることで、交差点の先にある建物のエントランス等がカメラの画角に入っていたとしても、それらの被写体の像はボケて、交差点内の歩行者や車両にピントが合った撮影画像が得られる。よって、このような撮影画像について対象認識を行なうことで、交差点の先にあるビルのエントランス等が車両であると認識される等の誤認識の可能性を低減できる。

（第３の実施の形態）
次に、第３の実施の形態を説明する。図７は、本発明の第３の実施の形態における対象認識装置の構成を示すブロック図である。図７に示す第３の実施の形態の対象認識装置１０３において、第１の実施の形態の対象認識装置１０１と同じ構成については、同じ符号を付して適宜説明を省略する。

本実施の形態の対象認識装置１０３は、第１の実施の形態の対象認識装置１０１の道路標識検出部３０の代わりに、速度検出部６０を備えている。速度検出部６０は、車両から車両の現在速度の情報を取得して、カメラ制御部４０に出力する。

カメラ制御部４０の焦点距離調整部４１及びＦ値調整部４２によるレンズ駆動部１５及び絞り駆動部１６の制御は、以下の通りである。焦点距離調整部４１は、車両の速度が所定の閾値未満である場合には、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が長くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が長くなると、被写界深度は浅くなる。一方、車両の速度が閾値以上である場合には、焦点距離調整部４２は、レンズ駆動部１５がレンズ１１を駆動することで焦点距離が短くなるように、レンズ駆動部１５を制御する。この制御によってレンズ１１の焦点距離が短くなると、被写界深度は深くなる。

このように、焦点距離調整部４２は、車両の速度が閾値よりも遅い場合には、被写界深度を浅くすることで、比較的車両に近く、かつ浅い被写界深度内でピントが合うようにする。車両の速度が遅い場合には、車両から遠く離れたところについてまで歩行者や車両等の認識対象を認識する必要はないからである。上述のように、被写界深度外の被写体は撮像画像においてボケており、対象認識部２０による認識によっても認識されにくくなるので、このボケた部分での誤認識の可能性を低減できる。これに対して、車両の速度が速い場合には、広い範囲で認識対象を認識する必要があるので、被写界深度も深くして、遠くの被写体もボケずに映るようにする。これによって、遠くの歩行者や車両についても認識対象として認識されることになる。

次に、本実施の形態の対象認識方法について説明する。図８は、本発明の第３の実施の形態における対象認識装置の動作を示すフロー図である。対象認識装置１０３は、処理を開始すると、まず、カメラ１０で車両の前方を撮影して、画像を取得する（ステップＳ８１）。そして、速度検出部６０は、車両の速度を取得してカメラ制御部４０に出力する（ステップＳ８２）。

カメラ制御部４０は、車両の速度が所定の閾値未満であるか否かを判断する（ステップＳ８３）。車両の速度が閾値未満である場合には（ステップＳ８３にてＹＥＳ）、カメラ制御部４０は、被写界深度が浅くなるように光学系駆動部１７を制御する（ステップＳ８４）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が長くなるように、レンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が大きくなるように、絞り駆動部１６を制御する。

一方、車両の速度が閾値以上である場合には（ステップＳ８３にてＮＯ）、カメラ制御部４０は、被写界深度が深くなるように光学系駆動部１７を制御する（ステップＳ８５）。具体的には、焦点距離調整部４１は、レンズ１１の焦点距離が短くなるようにレンズ駆動部１５を制御するとともに、Ｆ値調整部４２は、絞り１２の開口が小さくなるように絞り駆動部１６を制御する。

ステップＳ８４又はステップＳ８５にて焦点距離及びＦ値の調整が行なわれて被写界深度が決定されると、そのような光学系１３で得られた撮影画像について、対象認識部２０が対象認識を行なう（ステップＳ８６）。

第１及び第２の実施の形態の対象認識装置では、認識対象である歩行者や車両が存在と想定される範囲が合焦範囲となるように光学系が駆動されて被写界深度が調整されたが、第３の実施の形態では、認識対象の存在が想定される範囲とは関係なく、車両の速度に応じて被写界深度の深さが調整される。よって、速度が遅い場合に、認識する必要のない遠くの被写体によって誤認識が生じることを軽減できる。

なお、上記の第１ないし第３の実施の形態では、レンズ１１の焦点距離及び絞り１２のＦ値をいずれも変更することで、被写界深度を調整したが、レンズ１１の焦点距離及び絞り１２のＦ値のいずれか一方のみを制御することで、被写界深度を調整してもよい。式（１）〜（３）より明らかなように、焦点距離及びＦ値のいずれか一方のみを変更するのみでも、被写界深度を調整できる。

また、上記の第１ないし第３の実施の形態において、カメラ１０がオートフォーカス機能を有していてよい。この場合には、式（１）〜（３）より明らかなように、フォーカス位置、即ち被写体までの距離Ｒによっても被写界深度が変動する。従って、カメラ１０がオートフォーカス機能を有する場合には、オートフォーカスによってピントが合わせられた後に、被写界深度が所望の深さになるように、レンズ１１の焦点距離及び絞り１２のＦ値が調整される。即ち、上記で説明したカメラ制御部４０による被写界深度の調整は、カメラ１０がオートフォーカス機能を有する場合には、そのオートフォーカスによる被写界深度の変更とは別に、焦点距離及び／又はＦ値を変更することによって行なわれるものである。

本発明は、カメラの被写界深度が調整され、合焦範囲外の被写体は撮影画像内にてボケて映り、その部分からは対象が認識されにくくなるので、誤認識の可能性を低減できるという効果を有し、車載カメラで撮影した画像から歩行者や車両等の対象を認識する対象認識装置等として有用である。

１０１、１０２、１０３ 対象認識装置
１０ カメラ
１１ レンズ
１２ 絞り
１３ 光学系
１４ 画像生成部
１５ レンズ駆動部
１６ 絞り駆動部
１７ 光学系駆動部
２０ 対象認識部
３０ 道路標識検出部
４０ カメラ制御装置
４１ 焦点距離調整部
４２ Ｆ値調整部
５０ 前方判定部
５１ 位置情報取得部
５２ 判定部
５３ 地図情報記憶部
６０ 速度検出部
Ｃ 車両
Ｄ₁、Ｄ₂ 被写界深度
Ｄａ₁、Ｄａ₂ 前方被写界深度
Ｄｂ₁、Ｄｂ₂ 後方被写界深度

Claims (11)

1. レンズ及び絞りを含む光学系と、前記光学系を駆動する光学系駆動部と、画像データを生成する画像生成部とを備え、車両から車両外に向いて撮影をするカメラと、
   前記画像データに対して対象の認識を行なう対象認識部と、
   前記光学系駆動部を制御することで、前記カメラの被写界深度を調整するカメラ制御部と、
   を備えたことを特徴とする対象認識装置。
2. 前記光学系駆動部は、前記レンズを駆動するレンズ駆動部を含み、
   前記カメラ制御部は、前記レンズ駆動部を制御して、前記レンズの焦点距離を変更することで、前記被写界深度を調整する
   ことを特徴とする請求項１に記載の対象認識装置。
3. 前記光学系駆動部は、前記絞りを駆動する絞り駆動部を含み、
   前記カメラ制御部は、前記絞り駆動部を制御して、前記絞りのＦ値を変更することで、前記被写界深度を調整する
   ことを特徴とする請求項１又は２に記載の対象認識装置。
4. 前記カメラ制御部は、認識対象の存在が想定される範囲が、前記カメラの合焦範囲となるように、前記被写界深度を調整することを特徴とする請求項１ないし３のいずれか一項に記載の対象認識装置。
5. 前記画像データから道路標識を検出する道路標識検出部をさらに備え、
   前記カメラ制御部は、前記道路標識の検出結果に基づいて、前記被写界深度を調整する
   ことを特徴とする請求項４に記載の対象認識装置。
6. 前記道路標識検出部は、前記画像データから横断歩道を検出し、
   前記カメラ制御部は、検出された横断歩道の前記画像データ内の位置に応じて、横断歩道及びその付近のみが前記カメラの合焦範囲となるように、前記被写界深度を調整する
   ことを特徴とする請求項５に記載の対象認識装置。
7. 現在位置の位置情報を取得する位置情報取得部と、
   地図情報を記憶した地図情報記憶部と、
   前記位置情報と前記地図情報とを用いて、現在位置の状況を判定する状況判定部と、
   をさらに備え、
   前記カメラ制御部は、前記状況判定部の判定結果に基づいて、前記被写界深度を調整する
   ことを特徴とする請求項４に記載の対象認識装置。
8. 前記状況判定部は、現在位置が交差点付近であることを判定し、
   前記カメラ制御部は、前記状況判定部が、現在位置が交差点付近であると判定したときに、交差点及びその付近のみが前記カメラの合焦範囲となるように、前記被写界深度を調整する
   ことを特徴とする請求項７に記載の対象認識装置。
9. 車両の速度を検出する速度検出部をさらに備え、
   前記カメラ制御部は、前記速度検出部が検出した速度に応じて、前記被写界深度を調整する
   ことを特徴とする請求項１ないし３のいずれか一項に記載の対象認識装置。
10. 前記カメラ制御部は、前記速度検出部にて検出された速度が速いほど、前記被写界深度が深くなるように、前記被写界深度を調整することを特徴とする請求項９に記載の対象認識装置。
11. レンズ及び絞りを含む光学系と前記光学系を駆動する光学系駆動部とを備えたカメラを用いて、車両から車両外に向いて撮影をして、画像データを生成する撮影ステップと、
    前記光学系駆動部を制御することで、前記カメラの被写界深度を調整するカメラ制御ステップと、
    前記被写界深度が調整された前記カメラにて得られた前記画像データに対して、対象の認識を行なう対象認識ステップと、
    を含むことを特徴とする対象認識方法。

Images