JP2020016518A - 画像処理装置 - Google Patents

Abstract

【課題】ＴＯＦ方式を用いることなく被写体までの距離の情報を得ることができる画像処理装置を提供すること。【解決手段】実施形態にかかる画像処理装置は、取得部と、特定部と、割当部と、変更部とを備える。取得部は、レンズのピント位置を調節するフォーカス機構を備えた撮像装置によって撮像された画像を取得する。特定部は、取得部によって取得された画像のうち、ピントが合っている領域を特定する。割当部は、特定部によって特定された領域に対し、ピント位置に対応する距離情報を割り当てる。変更部は、フォーカス機構を制御してピント位置を変更する。また、実施形態に係る画像処理装置は、変更部によってピント位置をずらしながら、特定部および割当部による処理を繰り返すことによって距離マップを生成する。【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

従来、被写体までの距離を計測する技術として、ＴＯＦ方式（Time OF Flight）が知られている。ＴＯＦ方式は、パルス変調された光を被写体へ照射し、照射した光と被写体から反射して戻ってきた光との位相差を検出することによって被写体までの距離を計測する。

ブレインビジョン株式会社、「ＴＯＦ距離画像カメラの実力」、日本工業出版、月刊画像ラボ２０１２年８月号

しかしながら、ＴＯＦ方式には、たとえば、パルス変調された光を照射するための照明機器や、ＴＯＦ方式に特化した専用のイメージセンサが必要となることから、構成が複雑化したりコストが高くなったりするおそれがある。また、変調された光が理想的なパルス波形からずれる（なまる）ことで計測結果に誤差が生じたり、太陽光や車のヘッドランプなどの強い外乱光によって電荷の飽和が生じて計測不能となったりするおそれもある。

そこで、本発明の課題の一つは、ＴＯＦ方式を用いることなく被写体までの距離の情報を得ることができる画像処理装置を提供することにある。

本発明の実施形態にかかる画像処理装置は、一例として、レンズのピント位置を調節するフォーカス機構を備えた撮像装置によって撮像された画像を取得する取得部と、前記取得部によって取得された前記画像のうち、ピントが合っている領域を特定する特定部と、前記特定部によって特定された前記領域に対し、前記ピント位置に対応する距離情報を割り当てる割当部と、前記フォーカス機構を制御して前記ピント位置を変更する変更部とを備え、前記変更部によって前記ピント位置をずらしながら、前記特定部および前記割当部による処理を繰り返すことによって距離マップを生成する。よって、一例としては、ＴＯＦ方式を用いることなく被写体までの距離の情報を得ることができる画像処理装置を提供することができる。また、ＴＯＦ方式を利用しないことで、たとえば、パルス変調された光を照射するための照明機器や、ＴＯＦ方式に特化した専用のイメージセンサが不要となるため、簡易な構成にて被写体までの距離の情報を得ることができる。また、ＴＯＦ方式を利用する場合と比較してコストを抑えることができる。

上記画像処理装置は、前記画像の明瞭度を算出する算出部を備えていてもよく、前記特定部は、前記算出部によって算出された前記明瞭度に基づいて、前記ピントが合っている領域を特定してもよい。ある被写体にピントが合っている場合、その被写体の明瞭度は高くなる。一方、ある被写体にピントが合っていない場合、その被写体の明瞭度は低くなる。このように、明瞭度は、ピントが合っているか否かの判断指標として利用し得る。したがって、明瞭度に基づいてピントが合っているか否かを特定することが可能である。

上記画像処理装置において、前記レンズの被写界深度は、前記変更部による前記ピント位置のずらし幅よりも狭くてもよい。このように、ピント位置のずらし幅、すなわち、距離マップにおける距離の分解能よりもレンズの被写界深度を狭くすることで、所望の分解能の距離マップを得ることができる。

上記画像処理装置は、前記変更部によって前記ピント位置を第１奥行き範囲において第１ずらし幅にてずらしながら、前記特定部および前記割当部による処理を繰り返すことによって第１距離マップを生成する第１距離マップ生成処理と、前記変更部によって前記ピント位置を前記第１奥行き範囲よりも狭い第２奥行き範囲において前記第１ずらし幅よりも狭い第２ずらし幅にてずらしながら、前記特定部および前記割当部による処理を繰り返すことによって第２距離マップを生成する第２距離マップ生成処理とを行ってもよい。これにより、たとえば、広い奥行き範囲における距離情報を第１距離マップから得ることができるとともに、第１距離マップよりも分解能が高い第２距離マップからより詳細な距離情報を得ることができる。

上記画像処理装置は、一例として、前記距離マップおよび前記画像を出力する出力部をさらに備えていてもよい。これにより、距離マップのさらなる有効活用を図ることができる。

図１は、第１実施形態に係る画像処理システムの構成例を示すブロック図である。 図２は、フォーカス機構を用いてレンズのピント位置を変化させた場合の画像の変化を説明するための図である。 図３Ａは、明瞭度の算出手法の一例を説明するための図である。 図３Ｂは、明瞭度の算出手法の一例を説明するための図である。 図４は、ピント位置のずらし幅とレンズの被写界深度との関係を説明するための図である。 図５Ａは、手前側の被写体にピントが合っている元画像の例を示す図である。 図５Ｂは、図５Ａに示す元画像に基づいて生成される明瞭度マップの例を示す図である。 図５Ｃは、図５Ｂに示す明瞭度マップに基づいて距離情報が割り当てられた距離マップの例を示す図である。 図６Ａは、奥側の被写体にピントが合っている元画像の例を示す図である。 図６Ｂは、図６Ａに示す元画像に基づいて生成される明瞭度マップの例を示す図である。 図６Ｃは、図６Ｂに示す明瞭度マップに基づいて距離情報がさらに割り当てられた距離マップの例を示す図である。 図７は、画像処理装置が実行する処理の手順の一例を示すフローチャートである。 図８は、第２実施形態に係る乗員認識装置が搭載される車両の車室内を上方から見た平面図である。 図９は、第２実施形態に係る制御システムの構成を示すブロック図である。 図１０は、ＥＣＵの機能的構成を示すブロック図である。 図１１Ａは、第１距離マップ生成処理の動作例を示す図である。 図１１Ｂは、第２距離マップ生成処理の動作例を示す図である。

以下に、本願に係る画像処理装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る画像処理装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（第１実施形態）
まず、第１実施形態に係る画像処理システムの構成について図１を参照して説明する。図１は、第１実施形態に係る画像処理システムの構成例を示すブロック図である。

図１に示すように、第１実施形態に係る画像処理システム１００は、画像処理装置１と、撮像装置３とを含んで構成される。

撮像装置３は、レンズ３１と、撮像素子３２と、ＡＤ（Analog Digital）コンバータ３３と、フォーカス機構３４と、絞り機構３５とを備える。

レンズ３１は、被写体からの光を集めて撮像素子３２の受光面に結像させる。撮像素子３２は、たとえば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであり、受光した光を電気信号に変換する。ＡＤコンバータ３３は、撮像素子３２から出力されるアナログ電気信号を変換して出力する。ＡＤコンバータ３３は、撮像素子３２に内蔵されてもよい。

フォーカス機構３４は、たとえば、レンズ３１を前後に移動させることによってレンズ３１のピント位置を調節する。ピント位置とは、画像上でピントが合っている場所の画像の奥行き方向における位置のことである。

フォーカス機構３４を用いてレンズ３１のピント位置を変化させた場合の画像の変化について図２を参照して説明する。図２は、フォーカス機構３４を用いてレンズ３１のピント位置を変化させた場合の画像の変化を説明するための図である。

図２に示すように、撮像装置３のピント位置が被写体Ｓｂ１にある場合、画像Ｉｍ１における被写体Ｓｂ１の明瞭度は高くなる。一方、ピントが合っていない被写体Ｓｂ２の明瞭度は、画像Ｉｍ１において低くなる。

つづいて、フォーカス機構３４を用いて撮像装置３のピント位置を被写体Ｓｂ１と被写体Ｓｂ２との間の位置に移動させた場合、画像Ｉｍ２における被写体Ｓｂ１および被写体Ｓｂ２の明瞭度は何れも低くなる。

つづいて、フォーカス機構３４を用いて撮像装置３のピント位置を被写体Ｓｂ２の位置に移動させた場合、画像Ｉｍ３における被写体Ｓｂ２の明瞭度は高くなり、ピントが合っていない被写体Ｓｂ１の明瞭度は低くなる。このように、画像の明瞭度は、ピントが合っている領域において高くなり、ピントが合っていない領域において低くなる。

図１に戻り、フォーカス機構３４の説明を続ける。撮像装置３は、レンズ３１のピント位置と、撮像装置３からピント位置までの距離を示す距離情報とを予め対応付けて記憶しており、フォーカス機構３４は、撮像が行われるごとに、撮像時におけるレンズ３１のピント位置に対応付けられた距離情報を画像処理装置１の後述する割当部１４に出力する。

絞り機構３５は、レンズ３１の開口径を変化させることによってレンズ３１の被写界深度を調節する。被写界深度とは、ピントが合う範囲のことである。レンズ３１の被写界深度は、レンズ３１の開口径が小さくなるほど狭くなる。

画像処理装置１は、制御部１０と、記憶部２０とを備える。制御部１０は、たとえば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、画像処理装置１内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１０は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。記憶部２０は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、元画像２１と、明瞭度マップ２２と、距離マップ２３とを記憶する。なお、記憶部２０は、制御部１０に内蔵されていてもよい。

制御部１０は、取得部１１と、算出部１２と、特定部１３と、割当部１４と、変更部１５と、出力部１６とを備える。

取得部１１は、撮像装置３によって撮像された画像を取得する。取得部１１によって取得された画像は、記憶部２０に記憶される。以下、取得部１１によって取得され、記憶部２０に記憶された画像を「元画像２１」と記載する。

取得部１１は、撮像装置３から最新の画像を取得するごとに、記憶部２０に記憶された元画像２１を最新の画像に更新してもよい。このようにすることで記憶部２０の容量を削減することができる。なお、これに限らず、取得部１１は、たとえば、距離マップ２３が完成するまでの間に撮像装置３によって撮像された全ての画像を記憶部２０に記憶させてもよい。

算出部１２は、記憶部２０に元画像２１が記憶されるごとに、記憶部２０から元画像２１を取り出す。そして、算出部１２は、取り出した元画像２１における複数の領域ごとに明瞭度を算出する。

ここで、明瞭度の算出手法の一例について図３Ａおよび図３Ｂを参照して説明する。図３Ａおよび図３Ｂは、明瞭度の算出手法の一例を説明するための図である。図３Ａおよび図３Ｂには、ある被写体を撮像した画像と、この画像の破線部における画素値変化のプロファイルを示している。

明瞭度は、たとえば、エッジ部分における画素値変化を算出することによって得ることができる。図３Ａに示すように、被写体にピントが合っておらず被写体のエッジ部分Ｅ１，Ｅ２がぼけている場合、エッジ部分Ｅ１，Ｅ２における画素値の変化は緩やかとなる。一方、図３Ｂに示すように、被写体にピントが合っており被写体のエッジ部分Ｅ１，Ｅ２が鮮明である場合、エッジ部分Ｅ１，Ｅ２における画素値の変化は急峻となる。算出部１２は、この画素値の傾きを明瞭度として算出する。算出部１２は、元画像２１に対して微分処理を行うことによって画素値の傾きを得ることができる。また、算出部１２は、元画像２１をフーリエ変換処理して得られる周波数成分を画素値の傾きとして取得してもよい。

算出部１２は、元画像２１上の全ての領域について明瞭度を算出することによって明瞭度マップ２２を生成し、生成した明瞭度マップ２２を記憶部２０に記憶する。明瞭度マップ２２は、元画像２１上の各領域における明瞭度を示す情報である。

特定部１３は、元画像２１のうちピントが合っている領域を特定する。具体的には、特定部１３は、算出部１２によって算出された明瞭度が閾値を超える領域をピントが合っている領域として特定する。

割当部１４は、特定部１３によって特定されたピントが合っている領域の元画像２１上の位置に対して、元画像２１の撮像時におけるピント位置に対応する距離情報を割り当てる。距離情報とは、撮像装置３からピント位置までの距離、言い換えれば、撮像装置３からピントが合っている被写体までの距離を表す情報である。割当部１４は、上記距離情報をフォーカス機構３４から取得し、取得した距離情報を特定部１３によって特定された領域に割り当てることによって距離マップ２３を生成する。

なお、画像処理装置１は、レンズ３１のピント位置と、撮像装置３からピント位置までの距離とを対応付けた変換情報を記憶部２０に記憶しておいてもよい。この場合、割当部１４は、たとえば、フォーカス機構３４から撮像時におけるピント位置の情報を取得し、取得したピント位置に対応する距離情報を記憶部２０に記憶された変換情報から取得することができる。

変更部１５は、フォーカス機構３４を制御してレンズ３１のピント位置を変更する。ここで、ピント位置のずらし幅とレンズ３１の被写界深度との関係について図４を参照して説明する。図４は、ピント位置のずらし幅とレンズ３１の被写界深度との関係を説明するための図である。

図４に示すように、変更部１５は、フォーカス機構３４を制御することにより、レンズ３１のピント位置を一定のずらし幅にて順次変更していく。

レンズ３１の被写界深度は、変更部１５によるピント位置のずらし幅、言い換えれば、距離マップ２３における距離の分解能よりも狭いことが好ましい。これにより、所望の分解能の距離マップ２３を得ることができる。たとえば、ピント位置のずらし幅を狭くするほど、距離マップ２３における距離の分解能が高くなる。ピント位置のずらし幅を狭くするとともに、レンズ３１の被写界深度をピントのずらし幅よりも狭くすることで、被写体をより立体的に捉えた距離マップ２３を得ることができる。

なお、変更部１５は、レンズ３１の被写界深度がピント位置のずらし幅よりも狭くなるように絞り機構３５を制御してもよい。また、ピント位置のずらし幅よりも被写界深度が狭いレンズを撮像装置３のレンズ３１として選定することとしてもよい。

次に、画像処理装置１の動作例について図５Ａ〜図６Ｃを参照して説明する。図５Ａは、手前側の被写体Ｓｂ１にピントが合っている元画像２１の例を示す図であり、図５Ｂは、図５Ａに示す元画像２１に基づいて生成される明瞭度マップ２２の例を示す図であり、図５Ｃは、図５Ｂに示す明瞭度マップ２２に基づいて距離情報が割り当てられた距離マップ２３の例を示す図である。また、図６Ａは、奥側の被写体Ｓｂ２にピントが合っている元画像２１の例を示す図であり、図６Ｂは、図６Ａに示す元画像２１に基づいて生成される明瞭度マップ２２の例を示す図であり、図６Ｃは、図６Ｂに示す明瞭度マップ２２に基づいて距離情報がさらに割り当てられた距離マップ２３の例を示す図である。

たとえば、図５Ａに示すように、撮像装置３から２ｍ離れた場所に位置する被写体Ｓｂ１にピントが合った元画像２１が撮像装置３によって撮像されたとする。算出部１２は、かかる元画像２１に基づいて図５Ｂに示す明瞭度マップ２２を生成する。図５Ｂに示すように、元画像２１の明瞭度は、手前側の被写体Ｓｂ１が存在する領域において高くなり、ピントが合っていない奥側の被写体Ｓｂ２が存在する領域の明瞭度は低くなる。

特定部１３は、算出部１２によって算出された明瞭度が閾値を超える領域をピントが合っている領域として特定する。ここでは、手前側の被写体Ｓｂ１が存在する領域の明瞭度が閾値を超えているため、かかる領域が、ピントが合っている領域として特定される。そして、割当部１４は、図５Ｃに示すように、特定部１３によってピントが合っていると特定された手前側の被写体Ｓｂ１が存在する領域に対し、図５Ａに示す元画像２１の撮像時におけるピント位置に対応する距離情報［２］を割り当てる。

つづいて、変更部１５は、レンズ３１のピント位置を一定のずらし幅で奥側にずらす。これにより、たとえば、図６Ａに示すように、撮像装置３から３ｍ離れた場所に位置する被写体Ｓｂ２にピントが合った元画像２１が撮像装置３によって撮像される。算出部１２は、かかる元画像２１に基づいて図６Ｂに示す明瞭度マップ２２を生成する。図６Ｂに示すように、元画像２１の明瞭度は、奥側の被写体Ｓｂ２が存在する領域において高くなり、ピントが合っていない手前側の被写体Ｓｂ１が存在する領域の明瞭度は低くなる。

つづいて、特定部１３は、算出部１２によって算出された明瞭度が閾値を超える領域をピントが合っている領域として特定する。ここでは、奥側の被写体Ｓｂ２が存在する領域の明瞭度が閾値を超えているため、かかる領域が、ピントが合っている領域として特定される。そして、割当部１４は、図６Ｃに示すように、特定部１３によってピントが合っていると特定された奥側の被写体Ｓｂ２が存在する領域に対し、図６Ａに示す元画像２１の撮像時におけるピント位置に対応する距離情報［３］を割り当てる。

このように、画像処理装置１は、変更部１５によってピント位置を撮像開始位置から撮像終了位置まで一定のずらし幅でずらしながら、算出部１２、特定部１３および割当部１４による処理を繰り返すことによって距離マップ２３を完成させる。

図１に戻り、出力部１６について説明する。出力部１６は、レンズ３１のピント位置が撮像終了位置に到達し、距離マップ２３が完成すると、完成した距離マップ２３を外部へ出力する。

次に、画像処理装置１の具体的動作について図７を参照して説明する。図７は、画像処理装置１が実行する処理の手順の一例を示すフローチャートである。

図７に示すように、画像処理装置１は、フォーカス機構３４を制御することにより、レンズ３１のピント位置を撮像開始位置に移動させる（ステップＳ１０１）。撮像開始位置は、予め決められていてもよい。たとえば、撮像開始位置は、撮像装置３に最も近いピント位置であってもよいし、撮像装置３から最も遠いピント位置であってもよいし、中間のピント位置であってもよい。また、撮像装置３は、オートフォーカス機能を有していてもよく、この場合、画像処理装置１は、撮像装置３のオートフォーカス機能を働かせることによって、ある被写体にピントが合った位置を撮像開始位置としてもよい。

つづいて、画像処理装置１は、撮像装置３から画像を取得し（ステップＳ１０２）、元画像２１として記憶部２０に記憶する。

つづいて、画像処理装置１は、記憶部２０に記憶された元画像２１に基づき、明瞭度マップ２２を生成し（ステップＳ１０３）、生成した明瞭度マップ２２を記憶部２０に記憶する。

つづいて、画像処理装置１は、記憶部２０に記憶された明瞭度マップ２２に基づき、元画像２１においてピントが合っている領域を特定する（ステップＳ１０４）。具体的には、画像処理装置１は、明瞭度マップ２２上の各領域について、明瞭度が閾値を超えているか否かを判定し、明瞭度が閾値を超えている領域をピントが合っている領域として特定する。

つづいて、画像処理装置１は、ピントが合っていると特定した領域に対して距離情報を割り当てる（ステップＳ１０５）。たとえば、画像処理装置１は、元画像２１の撮像時におけるピント位置に対応する距離情報を撮像装置３から取得し、取得した距離情報をピントが合っていると特定した領域に割り当てる。

つづいて、画像処理装置１は、レンズ３１のピント位置が撮像終了位置に到達したか否かを判定する（ステップＳ１０６）。この処理において、ピント位置が撮像終了位置に到達していない場合（ステップＳ１０６，Ｎｏ）、画像処理装置１は、ピント位置を予め決められたずらし幅だけずらした後（ステップＳ１０７）、処理をステップＳ１０２に戻して、ステップＳ１０２〜Ｓ１０６の処理を繰り返す。

一方、ステップＳ１０６において、ピント位置が撮像終了位置に到達したと判定した場合（ステップＳ１０６，Ｙｅｓ）、画像処理装置１は、完成した距離マップ２３を記憶部２０から取り出して外部へ出力する（ステップＳ１０８）。

なお、距離情報だけでなく、視覚的な情報も合わせて欲しい場合もある。このような場合、出力部１６は、距離マップ２３に加えて、記憶部２０に記憶された元画像２１を外部へ出力してもよい。これにより、距離マップ２３のさらなる有効活用を図ることができる。

また、画像処理装置１は、１つの距離マップ２３が生成されるまでに撮像装置３によって撮像された複数の元画像２１を合成する合成部をさらに備えていてもよい。合成部は、複数の元画像２１を合成することで、撮像開始位置から撮像終了位置までの奥行き範囲の全てにピントが合った画像を生成することができる。この場合、出力部１６は、合成部によって生成された合成画像を距離マップ２３とともに外部に出力してもよい。

（第２実施形態）
次に、上述した画像処理装置１を車両の乗員を認識する乗員認識装置に適用した場合の例について説明する。図８は、第２実施形態に係る乗員認識装置が搭載される車両の車室内を上方から見た平面図である。

図８に示すように、車両５の車室内には、複数の座席６が設けられている。たとえば、車室内の前方側には運転席６ａおよび助手席６ｂが設けられ、後方側には複数の後部座席６ｃ〜６ｅが設けられる。複数の後部座席６ｃ〜６ｅのうち、後部座席６ｃは、運転席６ａの後方に設けられ、後部座席６ｄは、助手席６ｂの後方に設けられ、後部座席６ｅは、後部座席６ｃと後部座席６ｄとの間に設けられる。

車室内の前方側には、上述した撮像装置３が設けられる。撮像装置３は、撮像素子３２によって撮像された画像を後述するＥＣＵ５０（図９参照）に出力する。

撮像装置３は、車室内を撮像する。撮像装置３は、車室内の全ての座席６を撮像可能なように、すなわち、車室内の全ての座席６に着座した乗員全員を撮像可能なように、向き、画角および設置位置等が決められる。たとえば、撮像装置３は、ダッシュボード、ルームミラー、天井等に設置され得る。

車両５には、乗員認識装置を含む制御システム２００が設けられる。かかる制御システム２００の構成について図９を参照して説明する。図９は、第２実施形態に係る制御システム２００の構成を示すブロック図である。

図９に示すように、制御システム２００は、撮像装置３と、複数のエアバッグ装置７と、ＥＣＵ５０と、車内ネットワーク４０とを備える。ＥＣＵ５０は、乗員認識装置の一例である。

複数のエアバッグ装置７は、複数の座席６の各々に対応して設けられる。エアバッグ装置７は、車両５の衝突時などにエアバッグを展開することによって、座席６に着座した乗員を衝撃から保護する。

エアバッグ装置７は、車内ネットワーク４０を介してＥＣＵ５０に電気的に接続されている。車内ネットワーク４０は、たとえばＣＡＮ（Controller Area Network）として構成される。また、撮像装置３は、たとえばＮＴＳＣ（National Television System Committee）ケーブル等の出力線を介してＥＣＵ５０に接続される。

ＥＣＵ５０は、乗員認識装置としての機能の他にも車両５の種々の制御機能を実現することができる。たとえば、ＥＣＵ５０は、車内ネットワーク４０を介して制御信号を送ることにより、エアバッグ装置７を制御することができる。その他、ＥＣＵ５０は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。

ＥＣＵ５０は、たとえば、ＣＰＵ５１と、ＳＳＤ（Solid State Drive）５２と、ＲＯＭ（Read Only Memory）５３と、ＲＡＭ５４とを備える。ＣＰＵ５１は、ＲＯＭ５３等の不揮発性の記憶装置にインストールされ記憶されたプログラムを実行することによって、乗員認識装置としての機能を実現する。ＲＡＭ５４は、ＣＰＵ５１での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ５２は、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ５０の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ５１、ＲＯＭ５３、およびＲＡＭ５４等は、同一パッケージ内に集積され得る。ＥＣＵ５０は、ＣＰＵ５１に替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。ＳＳＤ５２に替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ５２またはＨＤＤは、ＥＣＵ５０とは別に設けられてもよい。

次に、ＥＣＵ５０の機能的構成について図１０を参照して説明する。図１０は、ＥＣＵ５０の機能的構成を示すブロック図である。

図１０に示すように、ＥＣＵ５０は、距離マップ生成部５０１と、乗員判定部５０２と、機器制御部５０３とを備える。距離マップ生成部５０１、乗員判定部５０２および機器制御部５０３は、ＣＰＵ５１が、ＲＯＭ５３に格納されたプログラムを実行することで実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。

距離マップ生成部５０１は、上述した画像処理装置１に相当し、元画像２１および距離マップ２３を乗員判定部５０２へ出力する。

乗員判定部５０２は、距離マップ生成部５０１から取得した元画像２１および距離マップ２３に基づき、乗員の有無を判定する第１判定処理を行う。

第１判定処理は、たとえば、予め記憶された多数の画像モデルを用いて行われる。画像モデルは、探索対象の形状をモデリングした画像であり、探索対象ごとに複数の画像モデルが予め用意される。

乗員判定部５０２は、第１判定処理において、探索対象である乗員の形状をモデリングした画像モデルを用いた画像認識により車室内の乗員を探索する。このとき、元画像２１に加えて距離マップ２３の情報を用いることで、たとえば、探索された乗員が、元画像２１の奥行き方向におけるどの位置に存在するかをさらに判定することができる。すなわち、乗員判定部５０２は、乗員が存在すると判定した領域に割り当てられた距離情報を距離マップ２３から取得することで、元画像２１の奥行き方向における乗員の位置を判定することができる。

乗員判定部５０２は、第１判定処理において車室内に乗員が存在すると判定した場合、元画像２１の奥行き方向における乗員の位置を示す情報（以下、「乗員位置情報」と記載する）を距離マップ生成部５０１へ出力する。

距離マップ生成部５０１は、乗員判定部５０２から乗員位置情報を取得すると、取得した乗員の位置を含む局所的な奥行き範囲についてのより詳細な距離マップを生成する。この点について図１１Ａおよび図１１Ｂを参照して説明する。図１１Ａは、第１距離マップ生成処理の動作例を示す図であり、図１１Ｂは、第２距離マップ生成処理の動作例を示す図である。

距離マップ生成部５０１は、まず、図１１Ａに示す第１距離マップ生成処理を行う。第１距離マップ生成処理は、たとえば、車室内における前席６Ｆ（運転席６ａおよび助手席６ｂ）よりも前方側のピント位置Ｐ１を撮像開始位置とし、後席６Ｒ（後部座席６Ｃ〜６ｅ）よりも後方側のピント位置Ｐ９を撮像終了位置として行われる。

第１距離マップ生成処理において、距離マップ生成部５０１は、フォーカス機構３４を制御することによってピント位置を一定のずらし幅Ｗ１にて順次ずらしながら、ピントが合っている領域に距離情報を割り当てることによって第１距離マップを生成する。乗員判定部５０２は、かかる第１距離マップを用いて上述した第１判定処理を行う。

つづいて、距離マップ生成部５０１は、乗員判定部５０２から乗員位置情報を取得すると、取得した乗員位置情報に基づいて第２距離マップ生成処理を行う。

たとえば、ピント位置Ｐ４に対応する距離に乗員が存在する場合、乗員判定部５０２は、ピント位置Ｐ４に対応する距離情報を含んだ乗員位置情報を距離マップ生成部５０１へ出力する。

この場合、距離マップ生成部５０１は、図１１Ｂに示すように、ピント位置Ｐ４を中心とする所定の奥行き範囲、具体的には、ピント位置Ｐ１１からピント位置Ｐ１２までの奥行き範囲を設定する。そして、距離マップ生成部５０１は、たとえばピント位置Ｐ１１を撮像開始位置とし、ピント位置Ｐ１２を撮像終了位置として第２距離マップ生成処理を行う。なお、ピント位置Ｐ１１からピント位置Ｐ１２までの奥行き範囲は、少なくとも、第１距離マップ生成処理時におけるレンズ３１の被写界深度よりも広い範囲に設定される。

第２距離マップ生成処理において、距離マップ生成部５０１は、フォーカス機構３４を制御することによってピント位置をずらし幅Ｗ１よりも狭いずらし幅Ｗ２にて順次ずらしながら、ピントが合っている領域に距離情報を割り当てることによってピント位置Ｐ１１〜Ｐ１２の局所的な奥行き範囲における距離マップである第２距離マップを生成する。また、第２距離マップ生成処理において、距離マップ生成部５０１は、絞り機構３５を制御することにより、第２距離マップ生成処理におけるレンズ３１の被写界深度を、第２距離マップ生成処理におけるピント位置のずらし幅Ｗ２よりも狭くする。

これにより、乗員の存在が判定された位置を含む局所的な奥行き範囲についてのより詳細な距離マップ２３が生成される。距離マップ生成部５０１は、生成した距離マップ２３を元画像２１とともに乗員判定部５０２へ出力する。

このように、距離マップ生成部５０１は、第１距離マップ生成処理において、ピント位置Ｐ１〜Ｐ９の広い奥行き範囲である第１奥行き範囲においてピント位置を第１ずらし幅Ｗ１にてずらしながら、特定部１３および割当部１４による処理を繰り返すことによって第１距離マップを生成する。また、距離マップ生成部５０１は、第２距離マップ生成処理において、第１奥行き範囲よりも狭い第２奥行き範囲（ピント位置Ｐ１１〜Ｐ１２の奥行き範囲）において第１ずらし幅Ｗ１よりも狭い第２ずらし幅Ｗ２にてピント位置をずらしながら、特定部１３および割当部１４による処理を繰り返すことによって第２距離マップを生成する。これにより、たとえば、広い奥行き範囲の距離情報を第１距離マップから得ることができるとともに、第１距離マップよりも分解能が高い第２距離マップからより詳細な距離情報を得ることができる。

乗員判定部５０２は、第２距離マップ生成処理によって生成された距離マップ２３と元画像２１とに基づいて、第１判定処理において存在が判定された乗員の体格を判定する第２判定処理を行う。

第２判定処理において、乗員判定部５０２は、たとえば、元画像２１から画像認識により乗員の両肩部を検出し、検出された両肩部間の距離すなわち肩幅を算出する。このとき、乗員判定部５０２は、第２距離マップ生成処理によって生成された第２距離マップを用いることで、乗員の肩幅を精度良く算出することができる。

つづいて、乗員判定部５０２は、算出した肩幅に基づき、乗員が大人および子供のいずれであるかを判定する。たとえば、乗員判定部５０２は、算出した肩幅が閾値未満である場合に、乗員が子供であると判定する。そして、乗員判定部５０２は、乗員の体格の判定結果を機器制御部５０３へ出力する。

機器制御部５０３は、たとえば、複数のエアバッグ装置７の展開を個別に制御する。具体的には、機器制御部５０３は、乗員判定部５０２の判定結果に基づき、エアバッグの展開を制御するエアバッグ展開制御のオン・オフを切り替える。機器制御部５０３は、乗員判定部５０２によって乗員が存在することが判定された場合に、乗員が存在すると判定された座席についてのエアバッグ展開制御をオンにし、その他の座席についてのエアバッグ展開制御をオフにする。

さらに、機器制御部５０３は、乗員判定部５０２の判定結果に基づき、エアバッグ装置７の展開モードの切り替えを行う。たとえば、機器制御部５０３は、乗員判定部５０２によって乗員が子供であると判定された場合には、エアバッグ装置７の展開モードを、通常よりも弱く展開するエアバッグ弱展開モードに切り替える。このように、乗員の体格に応じた強度でエアバッグを展開させることで、エアバッグの安全性を高めることができる。

なお、ここでは、機器制御部５０３がエアバッグの展開制御を行うこととしたが、機器制御部５０３は、乗員判定部５０２による判定結果に基づいて、エアバッグ以外の車載機器を制御してもよい。たとえば、機器制御部５０３は、乗員判定部５０２による判定結果に基づいて、シートベルトが装着されていないことを光や音によって乗員に報知する警報装置を制御してもよい。この場合、機器制御部５０３は、たとえば、警報装置による警報機能のオン・オフを乗員判定部５０２の判定結果に応じて切り替えることができる。具体的には、機器制御部５０３は、乗員判定部５０２によって乗員が存在することが判定された場合に、その乗員が着座する座席についての警報機能をオンにし、その他の座席についての警報機能をオフにしてもよい。

上述してきたように、実施形態に係る画像処理装置（一例として、画像処理装置１または距離マップ生成部５０１）は、取得部１１と、特定部１３と、割当部１４と、変更部１５とを備える。取得部１１は、レンズ３１のピント位置を調節するフォーカス機構３４を備えた撮像装置３によって撮像された画像（一例として、元画像２１）を取得する。特定部１３は、取得部１１によって取得された画像のうち、ピントが合っている領域を特定する。割当部１４は、特定部１３によって特定された領域に対し、ピント位置に対応する距離情報を割り当てる。変更部１５は、フォーカス機構３４を制御してピント位置を変更する。実施形態に係る画像処理装置は、変更部１５によってピント位置をずらしながら、特定部１３および割当部１４による処理を繰り返すことによって距離マップ２３を生成する。よって、一例としては、ＴＯＦ方式を用いることなく被写体までの距離の情報を得ることができる。また、ＴＯＦ方式を利用しないことで、たとえば、パルス変調された光を照射するための照明機器や、ＴＯＦ方式に特化した専用のイメージセンサが不要となるため、簡易な構成にて被写体までの距離の情報を得ることができる。また、ＴＯＦ方式を利用する場合と比較してコストを抑えることができる。

また、実施形態に係る画像処理装置は、画像の明瞭度を算出する算出部１２を備えていてもよい。この場合、特定部１３は、算出部１２によって算出された明瞭度に基づいて、ピントが合っている領域を特定してもよい。明瞭度は、ピントが合っているか否かの判断指標として利用し得る。したがって、明瞭度に基づいてピントが合っているか否かを特定することが可能である。ただし、特定部１３は、明瞭度以外の指標に基づいてピントが合っている領域を特定しても構わない。

また、実施形態に係る画像処理装置において、レンズ３１の被写界深度は、変更部１５によるピント位置のずらし幅よりも狭くてもよい。このように、ピント位置のずらし幅、すなわち、距離マップ２３における距離の分解能よりもレンズ３１の被写界深度を狭くすることで、所望の分解能の距離マップ２３を得ることができる。

また、実施形態に係る画像処理装置は、変更部１５によってピント位置を第１奥行き範囲（一例として、ピント位置Ｐ１〜Ｐ９の奥行き範囲）において第１ずらし幅Ｗ１にてずらしながら、特定部１３および割当部１４による処理を繰り返すことによって第１距離マップを生成する第１距離マップ生成処理と、変更部１５によってピント位置を第１奥行き範囲よりも狭い第２奥行き範囲（一例として、ピント位置Ｐ１１〜Ｐ１２）において第１ずらし幅Ｗ１よりも狭い第２ずらし幅Ｗ２にてずらしながら、特定部１３および割当部１４による処理を繰り返すことによって第２距離マップを生成する第２距離マップ生成処理とを行ってもよい。これにより、たとえば、広い奥行き範囲における距離情報を第１距離マップから得ることができるとともに、第１距離マップよりも分解能が高い第２距離マップからより詳細な距離情報を得ることができる。

また、実施形態に係る画像処理装置は、距離マップ２３および画像（一例として、元画像２１または合成画像）を出力する出力部１６をさらに備えていてもよい。これにより、距離マップ２３のさらなる有効活用を図ることができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…画像処理装置、３…撮像装置、５…車両、１０…制御部、１１…取得部、１２…算出部、１３…特定部、１４…割当部、１５…変更部、１６…出力部、２０…記憶部、２１…元画像、２２…明瞭度マップ、２３…距離マップ、３１…レンズ、３２…撮像素子、３３…ＡＤコンバータ、３４…フォーカス機構、３５…絞り機構、１００…画像処理システム。

Claims (5)

1. レンズのピント位置を調節するフォーカス機構を備えた撮像装置によって撮像された画像を取得する取得部と、
   前記取得部によって取得された前記画像のうち、ピントが合っている領域を特定する特定部と、
   前記特定部によって特定された前記領域に対し、前記ピント位置に対応する距離情報を割り当てる割当部と、
   前記フォーカス機構を制御して前記ピント位置を変更する変更部と
   を備え、
   前記変更部によって前記ピント位置をずらしながら、前記特定部および前記割当部による処理を繰り返すことによって距離マップを生成する、画像処理装置。
2. 前記画像の明瞭度を算出する算出部
   を備え、
   前記特定部は、
   前記算出部によって算出された前記明瞭度に基づいて、前記ピントが合っている領域を特定する、請求項１に記載の画像処理装置。
3. 前記レンズの被写界深度は、
   前記変更部による前記ピント位置のずらし幅よりも狭い、請求項１または２に記載の画像処理装置。
4. 前記変更部によって前記ピント位置を第１奥行き範囲において第１ずらし幅にてずらしながら、前記特定部および前記割当部による処理を繰り返すことによって第１距離マップを生成する第１距離マップ生成処理と、前記変更部によって前記ピント位置を前記第１奥行き範囲よりも狭い第２奥行き範囲において前記第１ずらし幅よりも狭い第２ずらし幅にてずらしながら、前記特定部および前記割当部による処理を繰り返すことによって第２距離マップを生成する第２距離マップ生成処理とを行う、請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記距離マップおよび前記画像を出力する出力部
   をさらに備える、請求項１〜４のいずれか一つに記載の画像処理装置。

Images