JP2021056968A - 物体判定装置 - Google Patents

Abstract

【課題】低計算コストかつ高精度で、撮影画像について所定の物体の存在の有無を判定する。【解決手段】実施形態に係る物体判定装置は、例えば、撮影画像を取得する取得部と、所定の物体について機械学習によって予め生成された特徴点に関する情報、および、前記撮影画像に基づいて、所定の座標系において複数の前記特徴点を推定し、推定した前記特徴点ごとの確からしさを示す信頼度を出力する推定部と、複数の前記信頼度に基づいて、前記信頼度が所定の信頼度閾値以上の前記特徴点の個数が所定の個数閾値以上である場合に、推定された複数の前記特徴点に対応する対象物が前記所定の物体であると判定する判定部と、を備える。【選択図】図３

Description

本発明の実施形態は、物体判定装置に関する。

従来、撮影装置（カメラ）によって撮影された撮影画像と、所定の物体（例えば人）について機械学習によって予め生成された特徴点（例えば骨格点）に関する情報に基づいて、撮影画像における複数の特徴点を推定する技術が知られている。この場合、推定した特徴点ごとにその確からしさを示す信頼度の情報を得られるものもある。

また、この推定特徴点と信頼度を得る機械学習とは別に、撮影画像中に所定の物体が写っているか否かを判定するための別の機械学習を用意することもできる。しかし、その場合、別々の２つの機械学習を用いるため、計算コストが大きくなってしまうというデメリットがある。そこで、例えば、推定特徴点と信頼度を得る技術で、すべての特徴点の信頼度に基づいて、撮影画像中に所定の物体が写っているか否かを判定することもできる。そうすれば、低計算コストで済む。

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", [online], 2017, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), [2019年6月10日検索], インターネット<https://arxiv.org/abs/1611.08050>

しかしながら、推定特徴点と信頼度を得る技術で、すべての特徴点の信頼度を用いると、撮影画像中に所定の物体が写っているか否かの判定精度が低くなる場合がある。これは、機械学習の性質から特徴点（例えば骨格点であれば頭、肩、腕など）ごとに得られる信頼度の精度が異なっていたり、あるいは、一部の特徴点が撮影画像中で隠れていたりすることに起因する。

そこで、本発明の課題の一つは、低計算コストかつ高精度で、撮影画像について所定の物体の存在の有無を判定することができる物体判定装置を提供することにある。

本発明の実施形態に係る物体判定装置は、例えば、撮影画像を取得する取得部と、所定の物体について機械学習によって予め生成された特徴点に関する情報、および、前記撮影画像に基づいて、所定の座標系において複数の前記特徴点を推定し、推定した前記特徴点ごとの確からしさを示す信頼度を出力する推定部と、複数の前記信頼度に基づいて、前記信頼度が所定の信頼度閾値以上の前記特徴点の個数が所定の個数閾値以上である場合に、推定された複数の前記特徴点に対応する対象物が前記所定の物体であると判定する判定部と、を備える。この構成により、すべての特徴点の信頼度を用いるのではなく、信頼度が所定の信頼度閾値以上の特徴点の個数が所定の個数閾値以上か否かを判定することで、低計算コストかつ高精度で、撮影画像について所定の物体の存在の有無を判定することができる。

また、前記物体判定装置では、例えば、前記信頼度に関する再現率と適合率の調和平均であるＦ値が最大になるように、前記信頼度閾値と前記個数閾値を決定する閾値決定部を、さらに備える。この構成により、上述のＦ値を用いてより適切な信頼度閾値と個数閾値を決定することができ、物体判定精度をさらに向上させることができる。

また、前記物体判定装置では、例えば、前記所定の物体は人であり、前記特徴点は骨格点である。この構成により、骨格点の情報を用いて人の存在を高精度で判定することができる。

また、前記物体判定装置では、例えば、前記所定の物体は車両のシートベルトである。この構成により、シートベルトの存在の有無の判定結果に応じてその後の制御を効果的に実行することができる。

また、前記物体判定装置では、例えば、前記取得部は、前記撮影画像として２次元画像および距離画像を取得し、前記推定部は、所定の物体について機械学習によって予め生成された特徴点に関する情報、および、前記２次元画像および距離画像に基づいて、３次元座標系において複数の前記特徴点を推定し、推定した前記特徴点ごとの確からしさを示す信頼度を出力する。この構成により、３次元座標系を用いることで、所定の物体の存在の有無をさらに高精度で判定することができる。

図１は、第１実施形態に係る物体判定装置が搭載される車両の車室内を上方から見た平面図である。 図２は、第１実施形態に係る制御システムの構成を示すブロック図である。 図３は、第１実施形態に係るＥＣＵの機能的構成を示すブロック図である。 図４は、第１実施形態における２次元骨格情報の例を示す図である。 図５は、第１実施形態に係るＥＣＵが実行する処理を示すフローチャートである。 図６は、第１実施形態における２次元特徴点情報の例を示す図である。 図７は、第２実施形態に係るＥＣＵの機能的構成を示すブロック図である。 図８は、第２実施形態における３次元骨格情報の例を示す図である。 図９は、第２実施形態に係るＥＣＵが実行する処理を示すフローチャートである。

以下、本発明の例示的な実施形態（第１実施形態、第２実施形態）が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

（第１実施形態）
まず、第１実施形態について説明する。図１は、第１実施形態に係る物体判定装置が搭載される車両の車室内を上方から見た平面図である。図１に示すように、車両１の車室内には、複数の座席２が設けられている。例えば、車室内の前方側には運転席２ａおよび助手席２ｂが設けられ、後方側には複数の後部座席２ｃ〜２ｅが設けられる。複数の後部座席２ｃ〜２ｅのうち、後部座席２ｃは、運転席２ａの後方に設けられ、後部座席２ｄは、助手席２ｂの後方に設けられ、後部座席２ｅは、後部座席２ｃと後部座席２ｄとの間に設けられる。

車室内の前方側には、撮影装置３が設けられる。撮影装置３は、例えば、赤外線カメラであり、車室内の乗員を撮影した２次元の赤外線撮影画像（以下、単に「撮影画像」とも称する。）を撮影する。なお、赤外線撮影画像は、グレースケール画像、モノクロ画像等の種類を問わない。

第１実施形態において、撮影装置３は、車室内の全ての座席２を撮影可能なように、すなわち、車室内の全ての座席２に着座した乗員全員を撮影可能なように、向き、画角、設置位置等が決められる。例えば、撮影装置３は、ダッシュボード、ルームミラー、天井等に設置され得る。なお、これに限らず、撮影装置３は、特定の座席２（例えば、運転席２ａ）に着座した乗員のみを撮影可能な位置に配置されてもよい。

次に、図２を参照して、第１実施形態に係る制御システム１００の構成について説明する。図２は、第１実施形態に係る制御システム１００の構成を示すブロック図である。車両１には、物体判定装置を含む制御システム１００が設けられる。

図２に示すように、制御システム１００は、撮影装置３と、シート調整装置８と、ＥＣＵ１０と、車内ネットワーク４０とを備える。ＥＣＵ１０は、物体判定装置の一例である。

撮影装置３は、例えばＮＴＳＣ（National Television System Committee）ケーブル等の出力線を介してＥＣＵ１０に接続され、撮影した撮影画像を出力線を介してＥＣＵ１０に出力する。

シート調整装置８は、座席２の位置を調整する。例えば、シート調整装置８は、運転席２ａの位置を調整するものとするが、他の座席２の位置を調整するものであってもよい。また、シート調整装置８は、運転席２ａの前後方向における位置を調整するものとするが、これに限らず、例えば運転席２ａの高さ位置を調整してもよい。

ＥＣＵ１０は、車内ネットワーク４０を介して制御信号を送ることにより、シート調整装置８を制御することができる。その他、ＥＣＵ１０は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。

ＥＣＵ１０は、例えば、ＣＰＵ（Central Processing Unit）１１と、ＳＳＤ（Solid State Drive）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４とを備える。ＣＰＵ１１は、ＲＯＭ１３等の不揮発性の記憶装置にインストールされたプログラムを実行することによって、物体判定装置としての機能を実現する。

ＲＡＭ１４は、ＣＰＵ１１での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２は、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ１０の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１１、ＲＯＭ１３、およびＲＡＭ１４等は、同一パッケージ内に集積され得る。

なお、ＥＣＵ１０は、ＣＰＵ１１に替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１２に替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１２やＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。

このような構成において、従来から、撮影画像と、所定の物体（例えば人）について機械学習によって予め生成された特徴点（例えば骨格点）に関する情報に基づいて、撮影画像における複数の特徴点を推定する技術が知られている。この場合、推定した特徴点ごとにその確からしさを示す信頼度の情報を得られる場合もある。

また、この推定特徴点と信頼度を得る機械学習とは別に、撮影画像中に所定の物体が写っているか否かを判定するための別の機械学習を用意することもできる。しかし、その場合、別々の２つの機械学習を用いるため、計算コストが大きくなってしまうというデメリットがある。つまり、それぞれの機械学習に必要な情報の蓄積や学習動作に膨大な時間が必要となる。したがって、特に車両にこのような技術を適用することは、計算コストや必要な時間の観点から非常に困難である。

そこで、例えば、推定特徴点と信頼度を得る技術で、すべての特徴点の信頼度に基づいて、撮影画像中に所定の物体が写っているか否かを判定することもできる。そうすれば、低計算コストで済む。

しかしながら、推定特徴点と信頼度を得る技術で、すべての特徴点の信頼度を用いると、撮影画像中に所定の物体が写っているか否かの判定精度が低くなる場合がある。これは、機械学習の性質から特徴点（例えば骨格点であれば頭、肩、腕など）ごとに得られる信頼度の精度が異なっていたり、あるいは、一部の特徴点が撮影画像中で隠れていたりすることに起因する。

そこで、以下では、低計算コストかつ高精度で、撮影画像について所定の物体の存在の有無を判定することができる物体判定装置について説明する。

図３は、第１実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。図３に示すように、ＥＣＵ１０は、処理部２０と、記憶部３０と、を備える。処理部２０において、ＣＰＵ１１がＲＯＭ１３に格納されたプログラムを実行することによって、取得部２１と、推定部２２と、判定部２３と、閾値決定部２４と、が実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。

記憶部３０は、例えばＳＳＤ１２により構成される。記憶部３０は、処理部２０の各部２１〜２４によって取得、算出等された情報等を記憶する。

取得部２１は、撮影装置３によって撮影された撮影画像を撮影装置３から取得する。

推定部２２は、所定の物体について機械学習によって予め生成され記憶部３０に記憶されている骨格点（特徴点）に関する情報、および、撮影画像に基づいて、２次元座標系（所定の座標系の一例）において撮影画像中の乗員の複数の骨格点を推定し、推定した骨格点ごとの確からしさを示す信頼度を出力する。なお、骨格点とは、被写体の各部位の位置を示す特徴点であり、例えば、人体上の端点（顔の上下端部）や関節（腕の付け根、足の付け根、肘、手首等）等を含む。

推定部２２は、ＤＮＮ（Deep Neural Network）を用いて、人の骨格点を推定する。ＤＮＮでは、ヒートマップによって特徴点を算出する。つまり、ヒートマップにおいて局所的に最大値を取る点を特徴点とし、その特徴点における値が信頼度である。すなわち、信頼度とは、例えば、人の特徴点である頭を考える場合、推定した特徴点がどれほど「頭らしい」かを示す値である。また、撮影画像中で特徴点が何かの別の物体で隠れている場合、この特徴点の確からしさを示す信頼度は低い値を示す。

推定部２２は、推定した各骨格点の位置を２次元座標で表した２次元骨格情報（２次元特徴点情報の一例）を生成して記憶部３０に記憶する。ここで、図４は、第１実施形態における２次元骨格情報の例を示す図である。図４に示すように、２次元骨格情報は、例えば、２次元画像の左上の角を原点（０，０）（左の値が横座標（Ｘ座標）で、右の値が縦座標（Ｙ座標））とする２次元座標系で表される。例えば、図４に示す２次元骨格情報において、被写体の左腕の付け根に位置する骨格点Ｐ１の２次元座標は、（４００，２５０）で表される。なお、２次元画像の右下の角の座標は、例えば、（６３９，４７９）である。

図３に戻って、判定部２３は、複数の信頼度に基づいて、信頼度が所定の信頼度閾値以上の骨格点の個数が所定の個数閾値以上である場合に、推定された複数の骨格点に対応する対象物が所定の物体（例えば人）であると判定する。例えば、判定部２３は、人について機械学習によって予め生成された骨格点が３０個の場合、信頼度が０．３（信頼度閾値）以上の骨格点が１０個（個数閾値）以上であれば、対象物を「人」と判定する。

信頼度閾値と個数閾値については、ユーザによって任意の値に設定してよいが、閾値決定部２４によって決定してもよい。閾値決定部２４は、例えば、信頼度に関する再現率と適合率の調和平均であるＦ値が最大になるように、信頼度閾値と個数閾値を決定する。

具体的には、閾値決定部２４は、信頼度閾値と個数閾値をパラメータとし、所定の検証用データ群に対して、再現率と適合率を計算し、その再現率と適合率からＦ値（F-measure）を計算し、Ｆ値が最大になるように、信頼度閾値と個数閾値を決定する。

ここで、再現率は、検出性能の良さを示す指標であり、次の式（１）により算出される。
再現率＝ＴＰ／（ＴＰ＋ＦＮ） ・・・式（１）
なお、ＴＰ（True Positive）は真陽性（出現した正解（人））を示し、ＦＮ（False Negative）は偽陰性（出現しなかった不正解（人以外））を示す。

また、適合率は、誤検出の少なさを示す指標であり、次の式（２）により算出される。
適合率＝ＴＰ／（ＴＰ＋ＦＰ） ・・・式（２）
なお、ＦＰ（False Positive）は偽陽性（出現した不正解（人以外））を示す。

そして、Ｆ値は、再現率と適合率の調和平均であり、次の式（３）により算出される。
Ｆ値＝（２×再現率×適合率）／（再現率＋適合率） ・・・式（３）

一般に、再現率が高いと適合率は低く、また、適合率が高いと再現率は低い傾向がある。したがって、再現率と適合率の調和平均であるＦ値を指標とすることで、よりよい信頼度閾値と個数閾値を決定することができる。以下の表１は、信頼度閾値αを0.1〜0.9の範囲で0.1刻みで変化させ、また、個数閾値ｎを1〜8の範囲で1刻みで変化させた場合のＦ値を示す。

表１では、α=0.4、n=4のときにＦ値が最大の0.98となっているので、信頼度閾値を「0.4」に決定し、個数閾値を「4」に決定すればよい。

次に、図５を参照して、第１実施形態に係るＥＣＵ１０が実行する処理について説明する。図５は、第１実施形態に係るＥＣＵ１０が実行する処理を示すフローチャートである。

ステップＳ１において、取得部２１は、撮影装置３によって撮影された撮影画像（２次元画像）を撮影装置３から取得する。

次に、ステップＳ２において、推定部２２は、所定の物体について機械学習によって予め生成された特徴点（骨格点）に関する情報、および、撮影画像に基づいて、２次元座標系において撮影画像中の乗員の複数の特徴点を推定し、推定した特徴点ごとの信頼度を出力する。

次に、ステップＳ３において、判定部２３は、信頼度が所定の信頼度閾値以上の特徴点の個数を算出する。

次に、ステップＳ４において、判定部２３は、ステップＳ３で算出した個数が所定の個数閾値以上であるか否かを判定し、Ｙｅｓの場合はステップＳ６に進み、Ｎｏの場合はステップＳ５に進む。

ステップＳ５において、判定部２３は、特徴点に対応する対象物が所定の物体（人）でないと判定し、処理を終了する。

ステップＳ６において、判定部２３は、特徴点に対応する対象物が所定の物体（人）であると判定する。

次に、図６を参照して、第１実施形態における２次元特徴点情報の例について説明する。図６は、第１実施形態における２次元特徴点情報の例を示す図である。

図６に示す２次元特徴点情報は、図４に示す２次元骨格情報に対して、車両の座席のシートベルトに対応する特徴点Ｐ２、Ｐ３、Ｐ４を加えたものである。記憶部３０にシートベルトについて機械学習によって予め生成された特徴点に関する情報を記憶させておくことで、推定部２２は、その情報と撮影画像に基づいて、２次元座標系においてシートベルトに対応する特徴点を推定し、推定した特徴点ごとの確からしさを示す信頼度を出力する。

このように、第１実施形態のＥＣＵ１０によれば、すべての特徴点の信頼度を用いるのではなく、信頼度が所定の信頼度閾値以上の特徴点の個数が所定の個数閾値以上か否かを判定することで、低計算コストかつ高精度で、撮影画像について所定の物体の存在の有無を判定することができる。具体的には、例えば、撮影画像について所定の物体の存在の有無を判定するための専用の機械学習を必要とせず、簡単な閾値処理で実現できるため、専用の機械学習を必要とする場合と比較して計算コストが大幅に小さくて済む。

また、上述のＦ値を用いてより適切な信頼度閾値と個数閾値を決定することができ、物体判定精度をさらに向上させることができる。

また、骨格点の情報を用いて人の存在を高精度で判定することができる。具体的には、人体内部にある骨格点の位置を直接推定することができるので、例えば被写体の肉付きや服装等の影響を受けにくい高精度な２次元骨格情報を得ることができる。

また、シートベルトの存在の有無の判定結果に応じてその後の制御を効果的に実行することができる。例えば、乗員がシートベルトを着用していないときに、的確に、表示や音声によってシートベルトリマインダの機能を実行することができる。

また、再現率と適合率の調和平均であるＦ値を用いて適切な信頼度閾値と個数閾値を決定するので、例えば、新たな検証用データ群を取得した場合等に、新たな信頼度閾値と個数閾値を迅速かつ容易に決定することができる。

なお、ヒートマップによって特徴点を算出するＤＮＮ全般に適用可能である。

また、物体存在判定を例えばディープラーニング（深層学習）によって行うと、計算コストが大きくなるほかに、判定結果に至った理由が不明で説明性に欠けるというデメリットがある。一方、本実施形態の手法によれば、計算コストが小さいだけでなく、信頼度閾値や個数閾値やＦ値がわかっていることから判定結果に至った理由が明確で説明性が充分であるというメリットがある。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第２実施形態は、第１実施形態と比較して、２次元骨格情報の代わりに３次元骨格情報を用いる点で相違する。

図７は、第２実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。ＥＣＵ１０の処理部２０は、各部２１〜２４に加えて座標変換部２５を備えている。

また、車両に設けられる撮影装置３（図１、図２）は、例えば、ＴＯＦ（Time Of Flight）距離画像カメラであり、車室内の乗員を撮影した２次元画像に加え、撮影位置から乗員までの距離情報を画素値とする距離画像を撮影する。

取得部２１は、撮影装置３によって撮影された２次元画像および距離画像を撮影装置３から取得する。

また、推定部２２は、所定の物体について機械学習によって予め生成された特徴点に関する情報、および、２次元画像および距離画像に基づいて、３次元座標系において複数の特徴点を推定し、推定した特徴点ごとの確からしさを示す信頼度を出力する。具体的には、推定部２２と座標変換部２５によって次の処理が行われる。

まず、推定部２２は、第１実施形態の場合と同様にして、撮影画像に基づいて、２次元座標系において撮影画像中の乗員の複数の骨格点を推定する。また、座標変換部２５は、推定部２２によって推定された２次元座標を３次元座標に変換する。詳細には次の通りである。

まず、座標変換部２５は、距離画像および２次元骨格情報に基づき、撮影装置３の撮影位置から各骨格点までの距離を特定する。具体的には、座標変換部２５は、各骨格点の２次元座標に対応する２次元画像上の画素に割り当てられた距離情報を距離画像から取得する。これにより、各骨格点の撮影位置からの距離を特定することができる。

そして、座標変換部２５は、各骨格点の２次元座標、各骨格点の撮影位置からの距離および撮影環境情報に基づいて、各骨格点の２次元座標を３次元座標に変換する。撮影環境情報は、後述する３次元座標系における撮影装置３の位置、姿勢の他、レンズの種類、撮影時における各種パラメータの値を含む情報である。撮影環境情報を用いることで、各骨格点の位置を、撮影装置３の撮影位置とは異なる位置を原点とする３次元座標系における３次元座標で表すことができる。このようにして、座標変換部２５は、各骨格点の位置を３次元座標系における３次元座標で表した３次元骨格情報を生成することができる。

ここで、図８は、第２実施形態における３次元骨格情報の例を示す図である。図８に示すように、３次元座標系は、撮影装置３の撮影位置ＰＣと異なる位置を原点ＰＯとする３次元座標系である。例えば、２次元骨格情報（図４）における２次元座標が（４００，２５０）であった骨格点Ｐ１の３次元座標は、図８に示す３次元座標系においては（５００，３００，２００）（Ｘ座標，Ｙ座標，Ｚ座標）で表される。この３次元座標の値は、３次元座標系の原点ＰＯ（０，０，０）から骨格点Ｐ１までの実際の距離の値である。すなわち、骨格点Ｐ１の３次元座標（５００，３００，２００）は、原点ＰＯ（０，０，０）からＸ軸方向に５００ｍｍ、Ｙ軸方向に３００ｍｍ、Ｚ軸方向に２００ｍｍの場所に骨格点Ｐ１が位置することを示している。

このように、座標変換部２５によれば、撮影装置３の位置、向き、レンズの種類といった撮影環境に依存する２次元座標系で表された２次元骨格情報における２次元座標を、かかる撮影環境に依存しない３次元座標系における３次元座標に変換することができる。これにより、例えば、２次元画像から得られる骨格点の２次元座標に基づいて乗員の身体情報（肩幅など）を認識する場合と比べて、個々の環境に応じた機械学習が不要となるため、汎用性のさらに高い乗員認識ロジックを構築することができる。すなわち、いかなる撮影環境においても、その環境に応じた機械学習を行うことなく、乗員の身体情報を認識することが可能となる。

次に、図９を参照して、第２実施形態に係るＥＣＵ１０が実行する処理について説明する。図９は、第２実施形態に係るＥＣＵ１０が実行する処理を示すフローチャートである。

ステップＳ１ａにおいて、取得部２１は、撮影装置３によって撮影された２次元画像と距離画像を撮影装置３から取得する。

次に、ステップＳ２において、推定部２２は、所定の物体について機械学習によって予め生成された特徴点（骨格点）に関する情報、および、撮影画像に基づいて、２次元座標系において撮影画像中の乗員の複数の骨格点を推定し、推定した骨格点ごとの信頼度を出力する。

次に、ステップＳ１００において、座標変換部２５は、ステップＳ２で推定された２次元座標系における特徴点を３次元座標系に変換する。ステップＳ３〜Ｓ６は図５の場合と同様である。

このように、第２実施形態のＥＣＵ１０によれば、３次元座標系における被写体の骨格点の３次元座標を推定することで、撮影環境に依存しない骨格情報を生成することができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

例えば、第１実施形態では、撮影画像は、赤外線画像であるものとしたが、これに限定されず、ほかに、一般的なカメラで取得可能な可視光画像等の別の画像であってもよい。

また、上述の第２実施形態では１台の撮影装置３を用いて２次元画像および距離画像の両方を撮影するものとしたが、これに限定されず、２次元画像を撮影する撮影装置と距離画像を撮影する撮影装置を別々に設けてもよい。また、距離画像を撮影する撮影装置は、ＴＯＦ距離画像カメラに限定されず、例えば、ステレオカメラや、ストラクチャードライト方式による３Ｄスキャナ等であってもよい。

また、信頼度閾値や個数閾値は、物体存在判定の目的や用途ごとに別々に設定してもよい。

また、所定の物体は、人やシートベルトに限定されず、例えば、車両内のチャイルドシートであってもよい。その場合、チャイルドシートの存在の有無だけでなく、チャイルドシートが設置されている向きも併せて判定してもよい。そうすれば、例えば、その判定結果に応じてユーザに注意喚起メッセージ等を報知することができる。

１…車両、２…座席、３…撮影装置、８…シート調整装置、１０…ＥＣＵ、２０…処理部、２１…取得部、２２…推定部、２３…判定部、２４…閾値決定部、２５…座標変換部、３０…記憶部、４０…車内ネットワーク

Claims (5)

1. 撮影画像を取得する取得部と、
   所定の物体について機械学習によって予め生成された特徴点に関する情報、および、前記撮影画像に基づいて、所定の座標系において複数の前記特徴点を推定し、推定した前記特徴点ごとの確からしさを示す信頼度を出力する推定部と、
   複数の前記信頼度に基づいて、前記信頼度が所定の信頼度閾値以上の前記特徴点の個数が所定の個数閾値以上である場合に、推定された複数の前記特徴点に対応する対象物が前記所定の物体であると判定する判定部と、を備える物体判定装置。
2. 前記信頼度に関する再現率と適合率の調和平均であるＦ値が最大になるように、前記信頼度閾値と前記個数閾値を決定する閾値決定部を、さらに備える、請求項１に記載の物体判定装置。
3. 前記所定の物体は人であり、前記特徴点は骨格点である、請求項１に記載の物体判定装置。
4. 前記所定の物体は車両のシートベルトである、請求項１に記載の物体判定装置。
5. 前記取得部は、前記撮影画像として２次元画像および距離画像を取得し、
   前記推定部は、所定の物体について機械学習によって予め生成された特徴点に関する情報、および、前記２次元画像および距離画像に基づいて、３次元座標系において複数の前記特徴点を推定し、推定した前記特徴点ごとの確からしさを示す信頼度を出力する、請求項１に記載の物体判定装置。

Images