JP2018173756A - 検知装置、検知方法及び検知プログラム - Google Patents

Abstract

【課題】車室内の収納スペースにおける画像に現れない物品の忘れ物を検知することができる検知装置、検知方法及び検知プログラムを提供する。【解決手段】忘れ物検知システム１において、検知装置（処理部）１１は、所定のスペースを含む車室内画像を取得する画像取得部１１Ａと、所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、車室内画像に基づいて判定する動作判定部１１Ｂと、動作判定部の判定結果に基づいて、所定のスペースにおける物品の所在を管理する物品管理部１１Ｃと、物品の所在に基づいて、所定のスペース内における忘れ物の有無を判定する忘れ物判定部１１Ｄと、を備える。【選択図】図１

Description

本発明は、車両等の車室内における忘れ物を検知する検知装置、検知方法及び検知プログラムに関する。

近年、移動体（例えば、自動車等の車両）内における乗員の状態（動作やジェスチャー）を検知し、検知結果に基づいて乗員にとって有用な情報を提供する技術が開発されている（例えば、特許文献１）。特許文献１には、乗車時の車室内の状況を撮影した画像と、降車時の車室内の状況を撮影した画像とを比較して、忘れ物の有無を判定し、忘れ物があると判定された場合に、乗員に忘れ物があることを報知する技術が開示されている。

特許第４４１９６７２号公報

しかしながら、特許文献１に開示の技術では、車室内の画像を比較することにより、忘れ物の有無を判定するため、乗車時の画像と降車時の画像に差異が現れない物品を忘れ物として検知することができない。例えば、グローブボックス等の収納スペース内に収納された物品は画像に現れないので、忘れ物として検知することができない。

本発明の目的は、画像の比較では検知できない収納スペース内の忘れ物を検知することができる検知装置、検知方法及び検知プログラムを提供することである。

本発明に係る検知装置は、
車室内の所定のスペースにおける忘れ物を検知する検知装置であって、
前記所定のスペースを含む前記車室内の画像を取得する画像取得部と、
前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定する動作判定部と、
前記動作判定部の判定結果に基づいて、前記所定のスペースにおける物品の所在を管理する物品管理部と、
前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する忘れ物判定部と、を備える。

本発明に係る検知方法は、
車室内の所定のスペースにおける忘れ物を検知する検知方法であって、
前記所定のスペースを含む前記車室内の画像を取得し、
前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定し、
前記判定の結果に基づいて、前記所定のスペースにおける物品の所在を管理し、
前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する。

本発明に係る検知プログラムは、
車室内の所定のスペースにおける忘れ物を検知する検知装置のコンピュータに、
前記所定のスペースを含む前記車室内の画像を取得する第１処理と、
前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定する第２処理と、
前記第２処理における判定結果に基づいて、前記所定のスペースにおける物品の所在を管理する第３処理と、
前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する第４処理と、を実行させる。

本発明によれば、画像の比較では検知できない収納スペース内の忘れ物を検知することができる。

本発明の一実施の形態に係る検知装置の構成例を示す図である。 図２Ａ、図２Ｂは、車室内における車載カメラの設置態様を示す図である。 車載カメラによって撮像された車室内の画像の一例を示す図である。 図４Ａ〜図４Ｅは、教師あり機械学習で用いられるサンプル画像の一例を示す図である。 図５Ａ、図５Ｂは、物品管理リストの一例を示す図である。 検知装置の処理部が実行する忘れ物検知処理の一例を示すフローチャートである。 手の動き判定処理の一例を示すフローチャートである。 図８Ａ、図８Ｂは、収納スペースの装備情報の一例を示す図である。 乗員の手が収納スペースの近傍に存在している区間Ｔにおける、手領域画像の識別結果の一例を示す。 忘れ物がある場合の警報画面の一例を示す図である。 図１１Ａ〜図１１Ｃは、教師あり機械学習で用いられるサンプル画像の他の一例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。本実施の形態では、本発明に係る検知装置を適用した忘れ物検知システム１について説明する。

図１は、実施の形態に係る忘れ物検知システム１の構成例を示す図である。

忘れ物検知システム１は、車両１００（図２参照）の車室内の収納スペースにおける忘れ物を検知する。忘れ物検知システム１の処理部１１が、本発明の検知装置として機能する。処理部１１は、例えば、車両に装備されている車載機器に組み込まれてもよいし、スマートフォンのような車両に持ち込まれる機器に組み込まれてもよい。

図１に示すように、忘れ物検知システム１は、処理部１１、車載カメラ１２、警報部１３、乗降センサー１４等を備える。なお、車載カメラ１２、警報部１３及び乗降センサー１４には、車両１００に既設の装備を利用してもよい。

図２Ａ、図２Ｂは、車載カメラ１２の設置態様を示す図である。車載カメラ１２は、例えば、車室内に設置された赤外線カメラである。車載カメラ１２は、対象物までの奥行き（距離情報）を含む３次元距離画像を撮像するカメラであってもよい。車載カメラ１２は、忘れ物の監視対象となる収納スペースが撮像領域に含まれるように設置される。本実施の形態では、車載カメラ１２は、例えば、車室内の天井の車幅方向の中心に設置され、運転席及び助手席周辺にある収納スペースを含む領域を撮像する。

図３は、車載カメラ１２によって撮像された車室内の画像の一例を示す図である。図３は、運転席及び助手席に乗員が着座している状態を示す。図３に示す画像には、収納スペースの一例として、助手席前方のインストルメントパネルに設けられたグローブボックス２０１、運転席と助手席の間に設けられたコンソールボックス２０２、運転席側のドアトリムに設けられた運転席ドアポケット２０３が撮像されている。これらの収納スペース２０１〜２０３における物品の収納状態または物品の所在、すなわち収納スペース２０１〜２０３に物品が収納されているか否かは、車載カメラ１２の撮像画像からは知得できない場合が多い。なお、図３は線図であるが、車載カメラ１２による撮像画像は、グレースケール画像又はフルカラー画像でも構わない。

処理部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）、主記憶装置としてのＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備える（いずれも図示略）。ＲＯＭには、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵは、ＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムを実行することにより、所定の処理を実行する。

図示を省略するが、忘れ物検知システム１は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置を備えていてもよい。補助記憶装置は、ＣＤ（Compact Disc）、ＤＶＤ（Digital versatile Disc）等の光ディスク、ＭＯ（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよいし、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等のメモリカードであってもよい。

警報部１３は、例えば、表示装置（液晶ディスプレイや有機ＥＬディスプレイなど）、スピーカー、振動装置等を含む。警報部１３は、車室内に忘れ物があった場合に、忘れ物があることを乗員に報知する。

乗降センサー１４は、乗員の乗車動作及び降車動作を検知するセンサーである。乗降センサー１４には、例えば、シートに装着される圧力センサーを適用することができる。なお、乗降センサー１４に代えて、車載カメラ１２による撮像画像に基づいて、乗員の乗車動作及び降車動作を検知することもできる。また、乗員の乗車動作を検知するセンサーと降車動作を検知するセンサーを別々に設けてもよい。

本実施の形態では、処理部１１は、例えば、ＲＯＭに格納された検知プログラムを実行することにより、画像取得部１１Ａ、動作判定部１１Ｂ、物品管理部１１Ｃ、忘れ物判定部１１Ｄとして機能する。検知プログラムは、例えば、当該プログラムが格納されたコンピュータ読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、検知プログラムは、当該プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。

画像取得部１１Ａは、車載カメラ１２が撮像した画像（以下、「車室内画像」と称する）を取得する。

動作判定部１１Ｂは、画像取得部１１Ａが取得した車室内画像に基づいて、収納スペースに対する乗員の手の動きを判定する。手の動きは、収納スペースに「物品を置いた」ことを示す第１の動作（収納動作）、収納スペースから「物品を取り出した」ことを示す第２の動作（取出し動作）、又は第１の動作及び第２の動作以外の第３の動作を含む。

動作判定部１１Ｂは、乗員の手の動きを判定するに際し、車室内画像を入力し、機械学習により構築された学習モデルを用いて収納スペースの近傍にある乗員の手の状態を識別する。学習モデルを用いることにより、収納スペースの近傍にある乗員の手の状態を精度よく識別することができる。

学習モデルは、例えば、教師あり機械学習により構築される。学習モデルには、例えば、二つのクラスへの分類に用いられるサポートベクターマシン（ＳＶＭ：Support Vector Machine）を適用できる。教師あり機械学習は、事前に、正解サンプル及び不正解サンプルを用いて行われる。

図４Ａ〜図４Ｅは、教師あり機械学習で用いられるサンプル画像の一例を示す図である。図４Ａ〜図４Ｃは、物品を掴んでいるときの手の状態を示す正解サンプルの例である。図４Ａ〜図４Ｃに示すように、例えば、手の平が下（紙面裏側）を向き、指が幾分曲がっている画像が正解サンプルとして用いられる。図４Ｄ、図４Ｅは、物品を掴んでいないときの手の状態を示す不正解サンプルの例である。図４Ｄ、図４Ｅに示すように、例えば、握った手の画像及び手の平が上（紙面表側）を向いている画像が不正解サンプルとして用いられる。不正解サンプルには、物品を掴んでいないときの手の状態を示す画像だけでなく、手が全く撮像されていない画像も含まれる。

これらの正解サンプル及び不正解サンプルは、車室内画像に描画されている乗員の手と、同じような見え方である必要がある。すなわち、学習モデルの生成においては、車載カメラ１２の設置位置からどのような角度、大きさで乗員の手が撮像されるのかを想定して、正解サンプル及び不正解サンプルが準備される。

正解サンプル及び不正解サンプルのそれぞれを大量に学習することにより、手で物品を掴んでいる状態と手で物品を掴んでいない状態とを識別できる学習モデルが構築される。すなわち、構築された学習モデルは、車室内画像の入力に対して、当該画像に含まれる手の状態が「手で物品を掴んでいる状態」であるか、「手で物品を掴んでいない状態」であるかを識別し、出力する。

動作判定部１１Ｂは、学習モデルを用いて、画像取得部１１Ａにより取得された１フレームの画像ごとに、その画像に含まれる手の状態を識別する。そして、動作判定部１１Ｂは、識別結果に基づいて、乗員の手の動きを判定する。具体的には、動作判定部１１Ｂは、収納スペースに対して物品の収納動作が行われたのか、物品の取出し動作が行われたのかを判定する。

物品管理部１１Ｃは、動作判定部１１Ｂの判定結果に基づいて、物品管理リストを更新し、収納スペースにおける物品の収納状態を管理する（図５Ａ、図５Ｂ参照）。物品管理リストは、例えばＲＯＭに記憶される。

図５Ａ、図５Ｂは、物品管理リストの一例を示す図である。物品管理リストは、車室内の収納スペースにおける物品の収納状態を管理するためのリストである。図５Ａ、図５Ｂに示すように、物品管理リストには、ＩＤに対応して、物品が置かれた場所（収納スペースの種別）、物品が置かれた時刻、及び物品が取り出された時刻が収納情報として登録される。「取り出された時刻」を示す情報が登録されているか否かにより、収納スペースにおける収納状態を判定することができる。

収納スペースの近傍において物品の収納動作が検知されると、物品管理リストにおいて、「置かれた場所」及び「置かれた時刻」を示す情報が登録される（図５Ａ参照）。また、収納スペースの近傍において物品の取出し動作が検知されると、物品管理リストにおいて「取り出された時刻」を示す情報が登録される（図５Ｂ参照）。

図５Ａでは、グローブボックス２０１の収納情報において、「置かれた時刻」は登録されているが、「取り出された時刻」を示す情報は登録されていない。したがって、グローブボックス２０１には、物品が収納されていることになる。一方、図５Ｂでは、グローブボックス２０１の収納情報において、「置かれた時刻」及び「取り出された時刻」が登録されている。したがって、グローブボックス２０１に収納された物品は取り出され、グローブボックス２０１には、物品が収納されていないことになる。

忘れ物判定部１１Ｄは、乗員が降車する際に、物品管理リストを参照して、収納スペースに忘れ物があるか否かを判定する。また、忘れ物判定部１１Ｄは、忘れ物がある場合に、警報部１３に対して忘れ物があることを報知するよう指示する。

図６は、忘れ物検知システム１の処理部１１が実行する忘れ物検知処理の一例を示すフローチャートである。忘れ物検知処理は、忘れ物検知システム１の起動に伴い、ＣＰＵが検知プログラムを実行することにより実現される。忘れ物検知システム１は、例えば、車両１００のドアの解錠に伴い起動される。なお、処理部１１は、乗降センサー１４から乗員の乗降動作を示す検出情報を連続的に取得しているものとしてもよいし、検出情報に変化があった場合に取得するようにしてもよい。

ステップＳ１０１において、処理部１１は、乗降センサー１４からの検出情報に基づいて、車両１００に乗員が乗車したか否かを判定する。車両１００に乗員が乗車すると（ステップＳ１０１で“ＹＥＳ”）、ステップＳ１０２の処理に移行する。

ステップＳ１０２において、処理部１１は、物品管理リストを初期化する（物品管理部１１Ｃとしての処理）。初期化により、前回の忘れ物検知処理において物品管理リストに登録されていた情報は消去される。複数人が乗車する場合には、一人目の乗員の乗車時に物品管理リストを初期化するのが望ましい。なお、検知プログラムの実行に伴い、物品管理リストが初期化されるようにしてもよい。あるいは、利用者から指示があったタイミングで、物品管理リストが初期化されるようにしてもよい。

ステップＳ１０３において、処理部１１は、乗降センサー１４からの検出情報に基づいて、車両１００から乗員が降車しようとしているか否かを判定する（忘れ物判定部１１Ｄとしての処理）。乗員が降車しようとしている場合（ステップＳ１０３で“ＹＥＳ”）、ステップＳ１０８の処理に移行する。一方、乗員が降車しようとしていない場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。なお、車両１００の動力源（エンジン又はモーター）の駆動停止に基づいて、乗員の降車動作を判定してもよい。

ステップＳ１０４において、処理部１１は、車載カメラ１２からの車室内画像に基づいて、収納スペースに対する乗員の手の動き、具体的には、収納スペースに対して物品の収納動作又は取出し動作が行われたか否かを判定する（画像取得部１１Ａ及び動作判定部１１Ｂとしての処理）。

ステップＳ１０４の処理は、例えば、図７のフローチャートに従って行われる。図７のステップＳ２０１、Ｓ２０５は画像取得部１１Ａとしての処理であり、ステップＳ２０２〜Ｓ２０４及びＳ２０６〜Ｓ２１２は動作判定部１１Ｂとしての処理である。

図７のステップＳ２０１において、処理部１１は、車載カメラ１２から１フレームの車室内画像を取得する。

ステップＳ２０２において、処理部１１は、乗員の手の位置と、収納スペースの位置とを比較することにより、手が収納スペースの近傍に存在するか否かを判定する。忘れ物の監視対象となる収納スペースが複数ある場合、この判定処理は、収納スペースごとに行われる。乗員の手の位置は、画像認識技術を用いた手領域検知や３次元位置を計測可能なセンサーなどによって得られる。収納スペースの位置は、装備情報として予め設定されている。

装備情報の一例を図８Ａ、図８Ｂに示す。図８Ａでは、収納スペース２０１〜２０３の位置が、車室内画像における代表点（収納スペース２０１〜２０３の中心点）の２次元座標で管理されている。図８Ｂでは、収納スペース２０１〜２０３の位置が、センサーの設置位置を原点とする３次元位置で管理されている。

例えば、乗員の手の骨格位置座標と収納スペース２０１〜２０３のいずれかの２次元座標との距離が５０画素以内である場合、もしくは乗員の手の３次元位置と収納スペース２０１〜２０３のいずれかの３次元位置との距離が１５ｃｍ以内の場合に、乗員の手が収納スペース２０１〜２０３の近傍に存在すると判定される。

手が収納スペースの近傍に存在する場合（ステップＳ２０２で“ＹＥＳ”）、ステップＳ２０３の処理に移行する。一方、手が収納スペースの近傍に存在しない場合（ステップＳ２０２で“ＮＯ”）、ステップＳ２１２の処理に移行し、手の動きは収納動作でも取出し動作でもない第３の動作であると判定される。

ステップＳ２０３において、処理部１１は、車室内画像から乗員の手が含まれている領域（以下、「手領域画像」と称する）を抽出する。手領域画像の抽出には、公知の画像認識技術が利用できる。

ステップＳ２０４において、処理部１１は、学習モデルを用いて、手領域画像に含まれる手の状態が「手で物品を掴んでいる状態」であるか、「手で物品を掴んでいない状態」であるかを識別する。手領域画像が正解サンプルに類似する特徴を有していれば「手で物品を掴んでいる状態」であると識別され、不正解サンプルに類似する特徴を有していれば「手で物品を掴んでいない状態」であると識別される。識別結果は、例えば、ＲＡＭに、一時的に記憶されてもよい。

ここで、車室内画像のノイズや撮像角度などの要因で「手で物品を掴んでいる状態」と「手で物品を掴んでいない状態」の識別が揺れる場合があるので、識別結果の平滑化処理を実施してもよい。

ステップＳ２０５において、処理部１１は、車載カメラ１２から次のフレームの車室内画像を取得する。

ステップＳ２０６において、処理部１１は、手が収納スペースの近傍に存在するか否かを判定する。この処理は、ステップＳ２０１と同じである。手が収納スペースの近傍に存在する場合（ステップＳ２０６で“ＹＥＳ”）、ステップＳ２０３の処理に移行し、当該車室内画像における手の状態が識別される。手が収納スペースの近傍に留まっている場合には、ステップＳ２０３〜Ｓ２０６の処理が繰り返される。一方、手が収納スペースの近傍に存在しない場合（ステップＳ２０６で“ＮＯ”）、すなわち、手が収納スペースの近傍から離れた場合、ステップＳ２０７の処理に移行する。

ステップＳ２０７において、処理部１１は、「手で物品を掴んでいる状態」の継続時間と、「手で物品を掴んでいない状態」の継続時間を、それぞれ算出する。継続時間は、例えば、連続して同じ識別結果が得られたフレーム数で表される。

図９に、乗員の手が収納スペースの近傍に存在している区間Ｔにおける、手領域画像の識別結果の一例を示す。図９において、最初に乗員の手が収納スペースの近傍に存在すると判定されたタイミングｔ１（図７のステップＳ２０２で“ＹＥＳ”）から、乗員の手が収納スペースから離れたタイミングｔ２（図７のステップＳ２０６で“ＮＯ”）までが乗員の手が収納スペースの近傍に存在している区間Ｔである。

図９において、Ｎ、Ｎ＋１、・・・、Ｎ＋１８はフレーム番号である。フレーム番号に対応して表記されている記号“●”は、当該フレームに含まれる手の状態が「手で物品を掴んでいる状態」であると識別されたことを示し、記号“◆”は、当該フレームに含まれる手の状態が「手で物品を掴んでいない状態」であると識別されたことを示している。図９では、Ｎ〜Ｎ＋１０フレームにおける手の状態が「手で物品を掴んでいる状態」であると識別され、Ｎ＋１１〜Ｎ＋１８フレームにおける手の状態が「手で物品を掴んでいない状態」であると識別されている。この場合、「手で物品を掴んでいる状態」の継続時間は１１フレーム、「手で物品を掴んでいない状態」の継続時間は８フレームである。

ステップＳ２０８において、処理部１１は、乗員の手の動きを判定するために予め定められたしきい値と、ステップＳ２０７で算出されたそれぞれの継続時間を比較し、いずれかの継続時間がしきい値よりも大きいか否かを判定する。しきい値は、物品を置く、もしくは取り出すときに、乗員の手が収納スペースの近傍に存在すると想定される継続時間である。しきい値は、収納スペースごとに異なる値に設定されてもよい。「手で物品を掴んでいる状態」および「手で物品を掴んでいない状態」のいずれかの継続時間がしきい値よりも大きい場合（ステップＳ２０８で“ＹＥＳ”）、ステップＳ２０９の処理に移行する。一方、いずれの継続時間もしきい値以下である場合（ステップＳ２０８で“ＮＯ”）、ステップＳ２１２の処理に移行し、手の動きは収納動作でも取出し動作でもない第３の動作であると判定される。

ステップＳ２０９において、処理部１１は、乗員の手が収納スペースの近傍に存在している区間Ｔ（図９参照）において、「手で物品を掴んでいる状態」が継続する区間と、「手で物品を掴んでいない状態」が継続する区間のどちらが先であるかを判定する。「手で物品を掴んでいる状態」の継続区間が先である場合（ステップＳ２０９で“ＹＥＳ”）、ステップＳ２１１の処理に移行する。一方、「手で物品を掴んでいない状態」の継続区間が先である場合（ステップＳ２０９で“ＮＯ”）、ステップＳ２１０の処理に移行する。すなわち、処理部１１は、収納スペースの近傍における手の状態遷移に基づいて、収納動作及び取出し動作が行われたか否かを判定する。

ステップＳ２１０において、処理部１１は、乗員の手で物品を掴んだ状態で収納スペースに近づき、物品を掴んでいない状態で収納スペースから離れていることから、手の動きは「物品を置いた」ことを示す第１の動作（収納動作）であると判定する。

ステップＳ２１１において、処理部１１は、乗員の手で物品を掴んでいない状態で収納スペースに近づき、物品を掴んだ状態で収納スペースから離れていることから、手の動きは「物品を取り出した」ことを示す第２の動作（取出し動作）であると判定する。

以上のようにして、乗員の手の動きが、第１の動作（収納動作）、第２の動作（取出し動作）、及び第３の動作（収納動作及び取出し動作以外の動作）のいずれかに判別される。

図６に戻り、ステップＳ１０５において、処理部１１は、手の動きの判定結果に基づいて、次の処理を決定する。手の動きが第１の動作である場合、ステップＳ１０６の処理に移行する。手の動きが第２の動作である場合、ステップＳ１０７の処理に移行する。手の動きが第３の動作である場合、物品管理リストは更新されず、ステップＳ１０３の処理に移行する。

ステップＳ１０６において、処理部１１は、収納動作が行われた対象の収納スペースと及び物品を置いた時刻を、物品管理リスト（図５Ａ、図５Ｂ参照）に追加する（物品管理部１１Ｃとしての処理）。なお、同じ収納スペースに対して収納動作が検知された後、取出し動作が検知されることなく再び収納動作が検知された場合は、物品管理リストに、同じ収納スペースに対して置かれた時刻が異なる２つの収納情報が登録される。

ステップＳ１０７において、処理部１１は、物品管理リストの中から取出し動作が検知された対象の収納スペースに関する収納情報を特定し、取り出された時刻を追加する（物品管理部１１Ｃとしての処理）。なお、取出し動作が検知された対象の収納スペースに関する収納情報が登録されていない場合、物品管理リストは更新されない。また、取出し動作が検知された対象の収納スペースに関する収納情報が複数ある場合、予め設定された条件に従って収納情報を更新する。例えば、物品を置いた時刻が直近である収納情報を更新してもよいし、物品を置いた時刻が最も古い収納情報を更新してもよい。

ステップＳ１０３において、乗員の降車動作が検知されるまで、ステップＳ１０４〜Ｓ１０７の処理により、物品管理リストが更新される。ステップＳ１０３において、乗員の降車動作が検知されると、ステップＳ１０８の処理が行われる。

ステップＳ１０８において、処理部１１は、物品管理部１１Ｃで管理されている物品管理リスト（図５参照）を参照し、各収納スペースに忘れ物があるか否かを判定する（忘れ物判定部１１Ｄとしての処理）。物品管理リスト（図５参照）において、取り出された時刻が空欄となっている物品、すなわち収納スペースに物品が置かれたにもかかわらず取り出されていない物品がある場合、当該収納スペースに忘れ物があることになる。収納スペースに忘れ物がある場合、ステップＳ１０９の処理に移行する。収納スペースに忘れ物がない場合、忘れ物検知処理は終了となる。

ステップＳ１０９において、処理部１１は、忘れ物があることを報知するための警報情報を、警報部１３に出力する（忘れ物判定部１１Ｄとしての処理）。警報情報は、当該忘れ物がある収納スペースの種別を含む。警報部１３は、乗員に対して、忘れ物があることを報知する。例えば、図１０に示すように、警報部１３は、乗員に対して、忘れ物がないか確認を促すメッセージを含む警報画面を表示する。これにより、乗員は、収納スペースに収納したままとなっている物品の存在を知得することができる。なお、忘れ物の報知は、図１０に示すように表示によって行われてもよいし、音声や振動によって行われてもよい。

このように、忘れ物検知システム１の処理部１１（検知装置）は、車室内の収納スペース（所定のスペース）における忘れ物を検知する検知装置であって、収納スペースを含む車室内画像を取得する画像取得部１１Ａと、収納スペースに対して、物品を置く（または物品を収納する）第１の動作と物品を取る（または物品を取り出す）第２の動作のいずれかが行われたか否かを、車室内画像に基づいて判定する動作判定部１１Ｂと、動作判定部１１Ｂの判定結果に基づいて、収納スペースにおける物品の収納状態（または物品の所在）を管理する物品管理部１１Ｃと、物品の収納状態に基づいて、収納スペース内における忘れ物の有無を判定する忘れ物判定部１１Ｄと、を備える。

実施の形態に係る検知方法は、車室内の収納スペース（所定のスペース）における忘れ物を検知する検知方法であって、収納スペースを含む車室内画像を取得する第１工程（図７のステップＳ２０１、Ｓ２０５）と、収納スペースに対して、物品を置く（または物品を収納する）第１の動作と物品を取る（または物品を取り出す）第２の動作のいずれかが行われたか否かを、車室内画像に基づいて判定する第２工程（図７のステップＳ２０２〜Ｓ２０４及びＳ２０６〜Ｓ２１２）と、第２工程における判定結果に基づいて、収納スペースにおける物品の収納状態（または物品の所在）を管理する第３工程（図６のステップＳ１０６、Ｓ１０７）と、物品の所在に基づいて、収納スペース内における忘れ物の有無を判定する第４工程（図６のステップＳ１０８、Ｓ１０９）と、を含む。

また、実施の形態に係る検知プログラムは、車室内の収納スペース（所定のスペース）における忘れ物を検知する忘れ物検知システム１の処理部１１（コンピュータ）に、収納スペースを含む車室内画像を取得する第１処理（図７のステップＳ２０１、Ｓ２０５）と、収納スペースに対して、物品を置く（または物品を収納する）第１の動作と物品を取る（または物品を取り出す）第２の動作のいずれかが行われたか否かを、車室内画像に基づいて判定する第２処理（図７のステップＳ２０２〜Ｓ２０４及びＳ２０６〜Ｓ２１２）と、第２処理における判定結果に基づいて、収納スペースにおける物品の収納状態（または物品の所在）を管理する第３処理（図６のステップＳ１０６、Ｓ１０７）と、物品の収納状態に基づいて、収納スペース内における忘れ物の有無を判定する第４処理（図６のステップＳ１０８、Ｓ１０９）と、を実行させる。

忘れ物検知システム１によれば、収納スペースに対する乗員の手の動きに基づいて、当該収納スペースにおける物品の収納状態を管理し、存否を判定するので、画像の比較では検知できない収納スペース内の忘れ物を検知することができる。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、忘れ物検知の対象となる所定のスペースは、グローブボックス等の収納スペースに限らず、ドリンクホルダやダッシュボード上の小物置き場を含んでもよい。

また例えば、手の状態の識別に用いる学習モデルは、ＳＶＭ以外（例えば、ＣＮＮなど）の手法で学習されたモデルであってもよい。また、学習モデルの生成において、図１１Ａ〜図１１Ｃに示すように、物品を含む画像を正解サンプルとして用いてもよい。

実施の形態では、収納スペースに対する物品の取出し動作が検知された場合に、物品管理リストに取り出された時刻を登録しているが、当該収納情報を削除するようにしてもよい。この場合、降車時に物品管理リストに登録されている物品が忘れ物となる。

さらに、学習モデルを用いて、手の状態だけでなく、手の形状も識別することにより、置かれた物品又は取り出された物品の種別を推定し、物品管理リストに物品の種別も登録するようにしてもよい。この場合、忘れ物があった場合に乗員に対して忘れ物の種別も報知することができるので、さらに利便性が向上する。

また、降車時でなく、例えば、利用者から指示があったタイミングで、忘れ物の有無を判定してもよい。例えば、利用者が所在不明となった物品を探す場合に有用である。また、利用者から指示があったタイミングで、物品管理リストを初期化してもよく、この場合例えば、画面から「忘れ物管理開始」、「忘れ物判定」などを選択できるようにすることで、容易に実現できる。

実施の形態では、処理部１１（コンピュータ）が、画像取得部１１Ａ、動作判定部１１Ｂ、物品管理部１１Ｃ、忘れ物判定部１１Ｄとして機能することにより、本発明を実現しているが、これらの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって構成することもできる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、車両等の車室内における忘れ物を検知する検知装置、検知方法及び検知プログラムに好適である。

１ 忘れ物検知システム
１１ 処理部（検知装置）
１１Ａ 画像取得部
１１Ｂ 動作判定部
１１Ｃ 物品管理部
１１Ｄ 忘れ物判定部
１２ 車載カメラ
１３ 警報部
１４ 乗降センサー

Claims (7)

1. 車室内の所定のスペースにおける忘れ物を検知する検知装置であって、
   前記所定のスペースを含む前記車室内の画像を取得する画像取得部と、
   前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定する動作判定部と、
   前記動作判定部の判定結果に基づいて、前記所定のスペースにおける物品の所在を管理する物品管理部と、
   前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する忘れ物判定部と、
   を備える検知装置。
2. 前記動作判定部は、機械学習により構築されたモデルを用いて前記所定のスペースの近傍にある乗員の手の状態を前記画像から識別し、識別結果に基づいて、前記第１の動作又は前記第２の動作が行われたか否かを判定する、
   請求項１に記載の検知装置。
3. 前記動作判定部は、手で物品を掴んでいる状態と手で物品を掴んでいない状態とを識別し、各状態の継続時間及び状態遷移に基づいて、前記第１の動作又は前記第２の動作が行われたか否かを判定する、
   請求項２に記載の検知装置。
4. 前記前記所定のスペースは、グローブボックス、コンソールボックス、及びドアポケットのうちの少なくとも一つを含む、
   請求項１に記載の検知装置。
5. 前記忘れ物判定部は、前記所定のスペースに忘れ物がある場合に、忘れ物があることを警報部に報知させる、
   請求項１に記載の検知装置。
6. 車室内の所定のスペースにおける忘れ物を検知する検知方法であって、
   前記所定のスペースを含む前記車室内の画像を取得し、
   前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定し、
   前記判定の結果に基づいて、前記所定のスペースにおける物品の所在を管理し、
   前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する、
   検知方法。
7. 車室内の所定のスペースにおける忘れ物を検知する検知装置のコンピュータに、
   前記所定のスペースを含む前記車室内の画像を取得する第１処理と、
   前記所定のスペースに対して、物品を置くまたは物品を収納する第１の動作と物品を取るまたは物品を取り出す第２の動作のいずれかが行われたか否かを、前記画像に基づいて判定する第２処理と、
   前記第２処理における判定結果に基づいて、前記所定のスペースにおける物品の所在を管理する第３処理と、
   前記物品の所在に基づいて、前記所定のスペースにおける忘れ物の有無を判定する第４処理と、
   を実行させる検知プログラム。

Images