JP2021132289A - 忘れ物通知制御装置、忘れ物通知システム、忘れ物通知制御方法およびプログラム - Google Patents

Abstract

【課題】忘れ物があった場合、状況を適切に記録して、適切に通知すること。【解決手段】忘れ物通知制御装置１０は、持ち主が荷物を乗物内に置いたことを検出するセンサ２から、検出データを取得するセンサデータ取得部１１と、全方位カメラ３が撮影した映像データを取得する映像データ取得部１２とセンサデータと映像データとに基づいて、荷物が網棚に置かれたと判定する場合、荷物と、持ち主とを紐づける紐づけ部２１と、紐づけ部２１によって紐づけられた荷物と持ち主との相対的な位置関係に基づいて、荷物の位置が変わらない状態で、荷物と持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定部２６と、忘れ物であると判定した場合、撮影された映像データを上書き禁止の状態にして保存する記録制御部１５と、忘れ物であると判定した場合、忘れ物であることを通知する通知制御部２７とを備える。【選択図】図１

Description

本発明は、忘れ物通知制御装置、忘れ物通知システム、忘れ物通知制御方法およびプログラムに関する。

例えば、電車における荷物忘れを、荷物の所持者である乗客に通知する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、荷物と所持者との位置関係が所定の状態になった場合に、所定の投影を行う。

特開２０１５−０２３４５９号公報

電車内のトラブルの発生を抑止すること、または、トラブルが発生した際に状況を確認することなどを目的として、電車の車両にカメラが設置されていることがある。ところが、常時撮影された映像データから、例えば、忘れ物に関する所望の映像データを探すことは手間を要する。そこで、忘れ物があった場合、状況を適切に記録して、適切に通知することが望まれる。

本発明は、上記に鑑みてなされたものであって、忘れ物があった場合、状況を適切に記録して、適切に通知することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る忘れ物通知制御装置は、荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得部と、前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得部と、前記検出データ取得部が取得した前記検出データと、前記映像データ取得部が取得した前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけ部と、前記紐づけ部によって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定部と、前記忘れ物判定部によって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御部と、前記忘れ物判定部によって忘れ物であると判定した場合、忘れ物であることを通知する通知制御部と、を備える。

本発明に係る忘れ物通知システムは、上記の忘れ物通知制御装置および、荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部と、前記荷物と前記持ち主との少なくともどちらかの映像を撮影する撮影部と、前記忘れ物であることを通知する通知部との少なくともいずれかを備える。

本発明に係る忘れ物通知制御方法は、荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得ステップと、前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得ステップと、前記検出データ取得ステップによって取得された前記検出データと、前記映像データ取得ステップによって取得された前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけステップと、前記紐づけステップによって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定ステップと、前記忘れ物判定ステップによって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御ステップと、前記忘れ物判定ステップによって忘れ物であると判定した場合、忘れ物であることを通知する通知制御ステップと、を含む。

本発明に係るプログラムは、荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得ステップと、前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得ステップと、前記検出データ取得ステップによって取得された前記検出データと、前記映像データ取得ステップによって取得された前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけステップと、前記紐づけステップによって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定ステップと、前記忘れ物判定ステップによって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御ステップと、前記忘れ物判定ステップによって忘れ物であると判定した場合、忘れ物であることを通知する通知制御ステップと、を忘れ物通知制御装置として動作するコンピュータに実行させる。

本発明によれば、忘れ物があった場合、状況を適切に記録して、適切に通知できるという効果を奏する。

図１は、第一実施形態に係る忘れ物通知制御装置を有する忘れ物通知システムの構成例を示すブロック図である。 図２は、荷物と持ち主との紐づけを説明する概略図であり、持ち主が網棚に荷物を乗せる状態を示す図である。 図３は、荷物と持ち主との紐づけを説明する概略図であり、持ち主が網棚に荷物を乗せて座席に座っている状態を示す図である。 図４は、忘れ物をしている状態を示す図である。 図５は、持ち主の捜索を説明する概略図である。 図６は、第一実施形態に係る忘れ物通知制御装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る忘れ物通知制御装置、忘れ物通知システム、忘れ物通知制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る忘れ物通知制御装置１０を有する忘れ物通知システム１の構成例を示すブロック図である。忘れ物通知システム１は、乗物の乗客が手を離した荷物を置き忘れた場合、映像を保存して、通知を行う。また、忘れ物通知システム１は、忘れ物があった場合、荷物の降車位置情報と、荷物を保持した、持ち主以外の第三者の第三者情報とを記録する。乗物とは、例えば、電車、バス、路面電車など公共の乗物である。本実施形態では、乗物が電車である場合について説明する。第三者は、忘れ物である荷物を、拾得物として届けてくれる可能性が高い人物である。

（忘れ物通知システム）
忘れ物通知システム１は、電車の車両に載置されている。また、忘れ物通知システム１は、車両に予め設置されている装置や監視カメラ等の機能または構成を含んで実現されてもよい。忘れ物通知システム１は、センサ（検出部）２、全方位カメラ（撮影部）３と、記録部４と、荷物認識辞書記憶部５と、人物認識辞書記憶部６と、表示部（通知部）１００と、忘れ物通知制御装置１０とを有する。

センサ２は、荷物の持ち主が、荷物を乗物内に置いたことを検出する。より詳しくは、センサ２は、例えば、車両の網棚、床面、座席、または、車両に設けられた荷物置場などに置かれた荷物を検出する。センサ２は、乗客が手を離した状態で、網棚などに置かれた荷物を検出することが好ましい。本実施形態では、センサ２は、車両の網棚に置かれた荷物を検出する。センサ２は、例えば、車両の網棚、床面、座席、荷物置場などに向けて可視光以外の電磁波又は超音波を出力し、その電磁波又は超音波の反射波によって物体を検出するセンサである。センサ２は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどを含むセンサである。センサ２は、センサデータ（検出データ）をセンサデータ取得部（検出データ取得部）１１に出力する。

全方位カメラ３は、荷物と持ち主との少なくともどちらかの映像を撮影する。より詳しくは、全方位カメラ３は、車両の内部の乗客と、例えば、車両の網棚、床面、座席、または、車両に設けられた荷物置場などに置かれた荷物とを撮影可能である。全方位カメラ３は、車両の内部の全周を撮影する全方位カメラである。全方位カメラ３は、全方位カメラに代わって、複数のカメラによって全方位を撮影可能であってもよい。全方位カメラ３は、例えば、車両の天井の中央部に下方を向いて配置されている。全方位カメラ３は、センサ２によって、荷物が検出された場合に、撮影を開始してもよいし、電車の走行時、常時撮影を行ってもよい。全方位カメラ３は、撮影した映像データを忘れ物通知制御装置１０の映像データ取得部１２へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

記録部４は、忘れ物通知システム１におけるデータの一時記憶などに用いられる。記録部４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部４は、忘れ物通知制御装置１０の記録制御部１５から出力された制御信号に基づいて、ループ記録映像データまたは忘れ物記録データを記録する。

荷物認識辞書記憶部５は、例えば、種々の荷物の各方面視の形状、大きさ、色などのパターンを照合可能な認識辞書データを記憶している。荷物認識辞書記憶部５は、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｏｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。荷物は、乗客の携行品であり、例えば、ハンドバッグ、ブリーフケースまたはキャリーバックなどを含むバッグ、傘、ノートパソコンを含む電子機器、カメラなどを含む。荷物は、乗客が車内で脱いだコート、帽子などの衣料品を含んでもよい。荷物には、例えば、新聞、雑誌、ビニール袋、空き缶などを含まなくてもよい。

人物認識辞書記憶部６は、例えば、種々の人物の身体の各方面視の形状、大きさ、色などのパターンを照合可能な認識辞書データを記憶している。人物認識辞書記憶部６は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

表示部１００は、一例としては、忘れ物通知システム１に固有の表示装置、または、他のシステムと共用した表示装置などである。表示部１００は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。本実施形態では、表示部１００は、駅事務所、管理事務所などに配置されている。表示部１００は、忘れ物があったことを、表示によって駅員などに通知する。より詳しくは、表示部１００は、忘れ物通知制御装置１０の通知制御部２７から出力された映像信号に基づいて、忘れ物記録データの映像を表示する。

（忘れ物通知制御装置）
忘れ物通知制御装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。忘れ物通知制御装置１０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。忘れ物通知制御装置１０には図示しない内部メモリが含まれ、内部メモリは忘れ物通知制御装置１０におけるデータの一時記憶などに用いられる。忘れ物通知制御装置１０は、バス１０Ｘに接続された、センサデータ取得部１１と、映像データ取得部１２と、バッファメモリ１３と、映像データ処理部１４と、記録制御部１５と、紐づけ部２１と、捜索部２５と、忘れ物判定部２６と、通知制御部２７とを有する。

センサデータ取得部１１は、センサ２によって取得されたセンサデータを取得する。センサデータ取得部１１は、センサデータから、荷物が車両の網棚、床面、座席、または、荷物置場などに置かれたことを検出する。本実施形態では、センサデータ取得部１１がセンサデータを取得したことをトリガとして、紐づけ部２１による紐づけ処理が実行される。

映像データ取得部１２は、荷物と持ち主との少なくともどちらかを撮影した映像データを取得する。より詳しくは、映像データ取得部１２は、全方位カメラ３が出力した映像データを取得して、バッファメモリ１３に出力する。

バッファメモリ１３は、忘れ物通知制御装置１０が備える内部メモリであり、映像データ取得部１２が取得した一定時間分の映像データを、更新しながら一時的に記憶するメモリである。

映像データ処理部１４は、バッファメモリ１３が一時的に記憶している映像データを、例えばＨ．２６４やＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。映像データ処理部１４は、バッファメモリ１３が一時的に記憶している映像データから、一定時間分のファイルとした映像データを生成する。具体例として、映像データ処理部１４は、バッファメモリ１３が一時的に記憶している映像データを、記憶順に６０秒間の映像データをファイルとして生成する。映像データ処理部１４は、生成した映像データを記録制御部１５へ出力する。また、映像データ処理部１４は、生成した映像データを通知制御部２７へ出力する。ファイルとして生成される映像データの期間は、一例として６０秒としたが、これには限定されない。

記録制御部１５は、映像データ処理部１４でファイル化された映像データを、記録部４に記録させる制御を行う。記録制御部１５は、電車の走行中など、ループ記録処理を実行する期間は、映像データ処理部１４でファイル化された映像データを、上書き可能な映像データとして、記録部４に記録する。より詳しくは、記録制御部１５は、ループ記録処理を実行する期間は、映像データ処理部１４が生成した映像データを記録部４に記録し続け、記録部４の容量が一杯になった場合、最も古い映像データに新しい映像データを上書きして記録する。

記録制御部１５は、忘れ物判定部２６が忘れ物であると判定した場合、映像データ処理部１４が生成した映像データにおける所定の期間の映像データを、上書きが禁止された忘れ物記録データとして記録部４に保存する。記録制御部１５は、忘れ物判定部２６によって忘れ物であると判定した場合、荷物を保持した、持ち主以外の第三者が撮影された映像データを保存する。

忘れ物記録データは、忘れ物判定部２６によって忘れ物であると判定された時点の、例えば、前後２０秒以上１２０秒以下程度の所定の期間の映像データを忘れ物記録データとして保存する。言い換えると、忘れ物記録データは、持ち主が荷物を置いて荷物から閾値距離以上離れた時点の、荷物と持ち主とが撮影された映像データを含むように保存する。忘れ物記録データは、後述する紐づけ記録制御部２４によって記録される荷物情報と持ち主情報と紐づけて記録される。さらに、忘れ物記録データには、後述する人物認識部２３によって、荷物の持ち主がいなくなった後に取得された映像データから、荷物を保持した、持ち主以外の第三者が認識された場合、荷物と、荷物を拾得した第三者とが撮影された映像データが紐づけて記録される。忘れ物記録データには、荷物、持ち主、および第三者が紐づけて記録される。

忘れ物記録データには、さらに荷物の降車位置情報、言い換えると、第三者の降車位置情報を記録してもよい。荷物の降車位置情報は、例えば、車両に設置された、図示しないＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機が取得した、荷物が降車した位置を示す位置情報でもよい。荷物の降車位置情報は、忘れ物記録データに文字認識処理を行って、降車駅の駅名を認識して、降車位置情報としてもよい。荷物の降車位置情報は、忘れ物記録データに音声認識処理を行って、降車駅の駅名のアナウンスの音声を認識して、降車位置情報としてもよい。

忘れ物記録データには、さらに荷物を保持した、持ち主以外の第三者を特定可能な第三者情報を記録してもよい。第三者情報は、忘れ物記録データに画像処理を行って、持ち主が荷物を置いた後に、荷物を保持した、持ち主以外の第三者の顔を認識して、第三者情報としてもよい。第三者情報は、顔に限らず、例えば、特徴的な衣服、髪型、装着品など、映像データから、第三者を特定可能な情報であればよい。

記録制御部１５は、忘れ物記録データに画像処理を行って、荷物を保持した、持ち主以外の第三者が善意の第三者であるか否かを判定し、善意の第三者である場合、忘れ物記録データを削除してもよい。例えば、記録制御部１５は、忘れ物記録データに画像処理を行って、第三者が駅員、警備員または清掃係員などの制服を着用していることが認識された場合、善意の第三者であると判定して、忘れ物記録データを削除してもよい。例えば、記録制御部１５は、第三者が降車した降車位置情報と、荷物が拾得物として届け出られた届出駅の情報とが対応する場合、善意の第三者であると判定して、忘れ物記録データを削除してもよい。届出駅の情報は、例えば、外部の拾得物管理システムを介して、拾得物である荷物と、届出駅とが対応付けられて入力されて、拾得物データベースなどに記録される。忘れ物通知システム１では、拾得物データベースを参照して、届出駅の情報を取得すればよい。

図２、図３を用いて、紐づけ部２１について説明する。図２は、荷物Ｂと持ち主Ｍとの紐づけを説明する概略図であり、持ち主Ｍが網棚に荷物Ｂを乗せる状態を示す図である。図３は、荷物Ｂと持ち主Ｍとの紐づけを説明する概略図であり、持ち主Ｍが網棚に荷物Ｂを乗せて座席に座っている状態を示す図である。紐づけ部２１は、センサデータ取得部１１が取得したセンサデータと、映像データ取得部１２が取得した映像データとに基づいて、荷物Ｂが網棚に置かれたと判定する場合、荷物Ｂと、荷物Ｂを置いた乗客である持ち主Ｍとを紐づける。紐づけ部２１は、荷物認識部２２と、人物認識部２３と、紐づけ記録制御部２４とを有する。

荷物認識部２２は、映像データ取得部１２が取得した、映像データに、荷物認識辞書記憶部５を使用した画像処理を行って、車両の網棚、床面、座席、または、荷物置場などに置かれた荷物Ｂを認識する。荷物認識部２２は、認識された荷物Ｂを追尾する。

荷物認識部２２は、映像データから、認識した荷物Ｂについて、車両における位置を認識してもよい。図２、図３では、荷物Ｂは、車両のドアとドアの中間部に位置することが認識される。

人物認識部２３は、映像データから、荷物Ｂの持ち主Ｍを認識する。より詳しくは、図２に示すように、人物認識部２３は、映像データ取得部１２が取得した、映像データに、人物認識辞書記憶部６を使用した画像処理を行って、網棚などに荷物Ｂを置いたときに、荷物Ｂに接触している人物の手などの身体の一部を認識する。人物認識部２３は、映像データに画像処理を行って、荷物認識部２２によって認識された荷物Ｂと接触している人物の身体の一部から、例えば、手、腕、肩、首、顔と順番にたどることによって、持ち主Ｍの顔を認識する。または、持ち主Ｍの顔以外に、例えば、特徴的な衣服、髪型、装着品などを認識することによって持ち主を特定してもよい。

人物認識部２３は、認識された持ち主Ｍを、映像データにおいて追尾する。これにより、図３に示すように、持ち主Ｍが網棚に荷物Ｂを乗せた後、座席に座っていても、人物認識部２３は、荷物Ｂと対応付けられた持ち主Ｍを追尾する。

人物認識部２３は、映像データから、認識した持ち主Ｍについて、車両における位置を認識してもよい。図２、図３では、持ち主Ｍは、車両のドアとドアの中間部に位置することが認識される。

図４は、忘れ物をしている状態を示す図である。図４では、持ち主Ｍは、網棚に置いた荷物Ｂを持つことなく、荷物Ｂから離れていくことが認識される。このような状態は、後述する忘れ物判定部２６によって、忘れ物であると判定される。人物認識部２３は、持ち主Ｍについて、降車位置情報を認識してもよい。

人物認識部２３は、映像データ取得部１２によって、荷物Ｂの持ち主Ｍがいなくなった後に取得された映像データから、荷物Ｂを保持した、持ち主Ｍ以外の第三者を認識する。より詳しくは、人物認識部２３は、映像データに、人物認識辞書記憶部６を使用した画像処理を行って、荷物Ｂに接触している人物の手などの身体の一部を認識する。人物認識部２３は、映像データに画像処理を行って、荷物認識部２２によって認識された荷物Ｂと接触している人物の身体の一部から、例えば、手、腕、肩、首、顔と順番にたどった人物の顔を、第三者として認識する。または、顔以外に、例えば、特徴的な衣服、髪型、装着品などを認識することによって第三者を特定してもよい。人物認識部２３は、認識された第三者を、映像データにおいて追尾する。

人物認識部２３は、荷物Ｂの持ち主Ｍがいなくなった後に取得された映像データから、認識した第三者について、車両における位置、および、降車位置情報を認識してもよい。

紐づけ記録制御部２４は、荷物認識部２２の認識結果と、人物認識部２３による認識結果とに基づいて、映像データにおける、荷物Ｂと持ち主Ｍとを対応付けて、図示しない記憶部に記憶する。紐づけ記録制御部２４は、画像から認識した、荷物Ｂの映像と、荷物Ｂの持ち主Ｍの映像とを対応付けて、荷物情報と持ち主情報として記録する。

荷物情報とは、映像データにおいて、荷物Ｂを特定するための映像データである。荷物情報は、例えば、荷物Ｂの形状、大きさ、色などを含む映像データである。荷物情報は、さらに荷物Ｂの車両における位置情報を含んでもよい。

持ち主情報は、映像データにおいて、荷物Ｂの持ち主Ｍを特定するための映像データである。持ち主情報は、例えば、持ち主Ｍの顔、特徴的な衣服、髪型、装着品などの映像データである。持ち主情報は、さらに持ち主Ｍの車両における位置情報を含んでもよい。また、持ち主情報は、例えば、荷物Ｂを置いて持ち主Ｍが降車するなどして、忘れ物判定部２６によって、荷物Ｂが忘れ物と判定された場合、持ち主Ｍが降車した降車位置情報を含んでもよい。

図５を用いて、捜索部２５について説明する。図５は、持ち主Ｍの捜索を説明する概略図である。捜索部２５は、紐づけ部２１によって荷物と紐づけられた持ち主Ｍが、例えば、他の乗客などの遮蔽物によって遮られて、映像データに表示されなくなった場合、持ち主Ｍを捜索する。より詳しくは、捜索部２５は、紐づけ部２１によって荷物と紐づけられた持ち主Ｍが、映像データにおいて追尾できなくなった場合、持ち主Ｍを捜索する。捜索部２５は、持ち主情報に基づいて、映像データにおいて、持ち主Ｍが最後に追尾された位置を基準にした所定範囲の映像データから、顔、特徴的な衣服、髪型、装着品などの画像認識を行って、持ち主Ｍを捜索する。所定範囲とは、例えば、半径２ｍの円形の範囲である。所定範囲は、捜索が長期間になるほどに、広くしてもよい。

忘れ物判定部２６は、網棚などに置かれた荷物を忘れたか、言い換えると、忘れ物であるか否かを判定する。より詳しくは、忘れ物判定部２６は、紐づけ部２１によって紐づけられた荷物と持ち主との相対的な位置関係に基づいて、荷物の位置が変わらない状態で、荷物と持ち主との距離が閾値距離以上である場合、忘れ物であると判定する。荷物の位置が変わっていないにも関わらず、荷物と持ち主との距離が増加するということは、荷物が置き忘れられていることを示す。忘れ物判定部２６は、荷物情報に基づいて、荷物の位置が変わっていないことを判定する。忘れ物判定部２６は、荷物情報と持ち主情報とに基づいて、荷物と持ち主との距離を算出して、閾値距離以上であるか否かを判定する。

閾値距離は、例えば、２ｍ程度である。閾値距離は、網棚などに置かれた荷物の車両内の位置に応じて、設定してもよい。閾値距離は、例えば、荷物が車両の出入口の近くに位置する場合、荷物が車両の中央部に位置する場合に比べて、短くしてもよい。閾値距離は、車両の混雑度に応じて、設定してもよい。例えば、車両が混雑している場合、乗客は車両内を自由に移動できないので、車両が空いている場合に比べて、閾値距離を短くしてもよい。例えば、新幹線または特急列車では、乗員の座席から離れた位置に荷物置き場が設置されていることがあるので、各駅停車などに比べて閾値距離を長くしてもよい。

通知制御部２７は、忘れ物判定部２６によって忘れ物であると判定した場合、忘れ物があったことを通知する。より詳しくは、通知制御部２７は、表示部１００における忘れ物記録データの表示を制御して、通知を行う。通知制御部２７は、忘れ物記録データを表示部１００に出力させる映像信号を出力する。

（忘れ物通知制御装置における処理）
次に、図６を用いて、忘れ物通知制御装置１０における処理の流れについて説明する。図６は、第一実施形態に係る忘れ物通知制御装置１０における処理の流れを示すフローチャートである。

忘れ物通知システム１は、電車が運行している間、言い換えると、電車が始発駅から終着駅までを走行している間、センサ２が作動する。そして、センサデータ取得部１１が、例えば、車両の網棚、床面、座席、または、荷物置場などに置かれた荷物の検出を行う。

忘れ物通知制御装置１０は、全方位カメラ３による撮影を開始して、全方位カメラ３が撮影した映像データによるループ記録処理を開始する（ステップＳ２０１）。より詳しくは、映像データ取得部１２によって、全方位カメラ３が出力した映像データが取得されて、バッファメモリ１３に出力される。映像データ処理部１４によって、バッファメモリ１３が一時的に記憶している映像データが、記憶順に６０秒間の映像データのファイルとして生成される。記録制御部１５によって、映像データ処理部１４でファイル化された映像データが、上書き可能な映像データとして、記録部４に記録される。忘れ物通知制御装置１０は、ステップＳ２０２へ進む。

忘れ物通知制御装置１０は、荷物が網棚に置かれたか否かを判定する（ステップＳ２０２）。より詳しくは、センサデータ取得部１１がセンサデータを取得した場合、荷物が網棚に置かれたと判定して（ステップＳ２０２でＹｅｓ）、ステップＳ２０３へ進む。センサデータ取得部１１がセンサデータを取得していない場合、荷物が網棚に置かれていないと判定して（ステップＳ２０２でＮｏ）、ステップＳ２０１を再度実行する。

センサデータ取得部１１が取得したセンサデータから、荷物が網棚に置かれたと判定した場合（ステップＳ２０２でＹｅｓ）、忘れ物通知制御装置１０は、紐づけ部２１によって、荷物と持ち主とを紐づける（ステップＳ２０３）。より詳しくは、まず、荷物認識部２２によって、映像データから、荷物を認識する。人物認識部２３によって、映像データから、荷物の持ち主を認識する。紐づけ記録制御部２４によって、荷物認識部２２による認識結果と、人物認識部２３による認識結果とに基づいて、映像データにおいて、荷物と、荷物を持っている人物である持ち主とを紐づける。なお、紐づけられた荷物と持ち主とは、映像データにおいて追尾される。忘れ物通知制御装置１０は、ステップＳ２０４へ進む。

忘れ物通知制御装置１０は、紐づけ記録制御部２４によって、荷物情報と持ち主情報とを記憶する（ステップＳ２０４）。より詳しくは、紐づけ部２１によって、荷物の映像データと、荷物の車両における位置とを含む荷物情報と、荷物と対応付けられた持ち主の映像データと、持ち主の車両における位置とを含む持ち主情報とを対応付けて記憶部に記憶する。忘れ物通知制御装置１０は、ステップＳ２０５へ進む。

忘れ物通知制御装置１０は、持ち主を映像に捉えているか否かを判定する（ステップＳ２０５）。より詳しくは、人物認識部２３によって、映像データにおいて、荷物に紐づけられた持ち主が追尾されているか否かを判定する。人物認識部２３によって、荷物に紐づけられた持ち主が追尾されている場合（ステップＳ２０５でＹｅｓ）、ステップＳ２０７へ進む。人物認識部２３によって、荷物に紐づけられた持ち主が追尾されていない場合（ステップＳ２０５でＮｏ）、ステップＳ２０６へ進む。

荷物に紐づけられた持ち主が追尾されていない場合（ステップＳ２０５でＮｏ）、忘れ物通知制御装置１０は、持ち主を捜索する（ステップＳ２０６）。より詳しくは、捜索部２５によって、映像データにおいて、持ち主が最後に追尾された位置を基準にした所定範囲の映像データから、顔、特徴的な衣服、髪型、装着品などの画像認識を行って、持ち主を捜索する。忘れ物通知制御装置１０は、ステップＳ２０７へ進む。

忘れ物通知制御装置１０は、忘れ物であるか否かを判定する（ステップＳ２０７）。より詳しくは、忘れ物判定部２６によって、紐づけ部２１によって紐づけられた荷物と持ち主との相対的な位置関係に基づいて、荷物の位置が変わっていない状態で、荷物と持ち主との距離が、閾値距離以上である場合、忘れ物であると判定して（ステップＳ２０７でＹｅｓ）、ステップＳ２０８へ進む。忘れ物判定部２６によって、紐づけ部２１によって紐づけられた荷物と持ち主との相対的な位置関係に基づいて、荷物と持ち主との距離が、閾値距離以上ではない場合、忘れ物であると判定せず（ステップＳ２０７でＮｏ）、ステップＳ２１０へ進む。

忘れ物であると判定する場合（ステップＳ２０７でＹｅｓ）、忘れ物通知制御装置１０は、記録制御部１５によって、忘れ物記録データを記録部４に保存する（ステップＳ２０８）。忘れ物記録データは、忘れ物判定部２６によって忘れ物であると判定された時点を含む所定の期間の映像データを保存する。言い換えると、忘れ物記録データは、持ち主が荷物を置いて荷物から閾値距離以上離れた時点の、荷物と持ち主とが撮影された映像データを含むように保存する。忘れ物記録データは、忘れ物が発生したと判定された時点の前後の映像データに加えて、荷物の降車位置情報と、荷物を保持した、持ち主以外の第三者の第三者情報とを記録してもよい。忘れ物通知制御装置１０は、ステップＳ２０９へ進む。

忘れ物通知制御装置１０は、忘れ物を通知する（ステップＳ２０９）。より詳しくは、通知制御部２７によって、忘れ物記録データを、駅事務所、管理事務所などに設置されている表示部１００に送信して、表示させる。

忘れ物であると判定しない場合（ステップＳ２０７でＮｏ）、忘れ物通知制御装置１０は、荷物と持ち主とがいなくなったか否かを判定する（ステップＳ２１０）。より詳しくは、忘れ物通知制御装置１０は、映像データにおいて、荷物と持ち主とが追尾されなくなった場合、荷物と持ち主とがいなくなったと判定する。忘れ物通知制御装置１０は、荷物と持ち主とがいなくなったと判定する場合（ステップＳ２１０でＹｅｓ）、処理を終了する。忘れ物通知制御装置１０は、荷物と持ち主とがいなくなったと判定しない場合（ステップＳ２１０でＮｏ）、ステップＳ２０７の処理を再度実行する。

これにより、表示部１００では、忘れ物記録データが再生されて表示される。駅員は、忘れ物があったと判定された場合、表示部１００に表示された忘れ物記録データによって、荷物が置き忘れられた場所、荷物の持ち主などを確認する。その後、例えば、駅員が忘れ物を回収してもよい。また、駅員は、善意の第三者または駅員によって忘れ物が届けられた場合、表示部１００に表示された忘れ物記録データによって、荷物の降車位置が届けられた駅に対応していること、および、第三者情報と届出者が同じであることを確認する。駅員は、忘れ物記録データに表示された第三者が届出者である場合、当該忘れ物記録データから、第三者情報を削除する。当該忘れ物記録データの第三者情報以外の、荷物情報と持ち主情報と、荷物の降車位置情報などは削除しない。

（効果）
上述したように、本実施形態では、車両の内部を撮影した映像データから、紐付けられた荷物と持ち主との距離を算出して、その距離が長くなり閾値を超えた場合、忘れ物であると判定する。本実施形態では、忘れ物発生時に撮影された、荷物と持ち主との撮影した忘れ物記録データを、上書き禁止にして記録する。また、本実施形態では、忘れ物発生時に撮影された、荷物と、荷物を保持した持ち主以外の第三者とを撮影した忘れ物記録データを、上書き禁止にして記録する。本実施形態では、忘れ物記録データを、駅事務所、管理事務所などに配置された表示部１００で表示させることによって、駅員などに対して、忘れ物を通知できる。このようにして、本実施形態によれば、忘れ物の状況を適切に記録し、忘れ物を適切に通知できる。

本実施形態によれば、表示された忘れ物記録データによって、荷物が置き忘れられた場所、荷物の持ち主を確認できる。本実施形態は、持ち主が忘れ物の受領に来た際に、持ち主本人であることが確認された場合に、忘れ物を引き渡してもよい。これにより、本実施形態によれば、忘れ物の引き取り時の、持ち主の本人確認をより容易かつ確実にできる。

本実施形態によれば、善意の第三者または駅員によって忘れ物が届けられた場合、表示された忘れ物記録データによって、荷物の降車位置が届けられた駅に対応していること、および、第三者情報と届出者が同じであることを確認できる。

本実施形態によれば、忘れ物が、駅員などに適切に通知されるので、忘れ物を持ち去る第三者を迅速に確保したり、荷物を取り戻したりできる。

本実施形態は、荷物と紐づけられた持ち主が、他の乗客などの遮蔽物によって遮られて、映像データに表示されなくなった場合、持ち主を捜索する。本実施形態によれば、荷物と紐づけられた持ち主を適切に追尾できる。

本実施形態は、忘れ物記録データには、荷物の降車位置情報もあわせて記録する。本実施形態によれば、忘れ物の降車駅を適切に記録できる。本実施形態によれば、忘れ物があった場合に、迅速に対応できる。

本実施形態は、忘れ物記録データには、第三者の第三者情報もあわせて記録する。本実施形態によれば、忘れ物を持ち去った第三者を特定可能な情報を適切に記録できる。本実施形態によれば、忘れ物があった場合に、迅速に対応できる。

本実施形態は、持ち主以外の第三者が、善意の第三者である場合、忘れ物記録データを消去する。本実施形態によれば、忘れ物記録データが、善意の第三者の好意に反して、不用意に保存されることを抑制できる。

本発明に係る忘れ物通知システム１は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

図示した忘れ物通知システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

忘れ物通知システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

（変形例）
上記では、センサデータ取得部１１は、センサ２から取得した検出データによって、車両の網棚などに置かれた荷物を検出するものとして説明したが、これに限定されない。センサデータ取得部１１は、全方位カメラ３が撮影した映像データから、車両の網棚などに置かれた荷物を検出してもよい。

例えば、新幹線または特急列車などでは、乗客が電話またはトイレのために席を離れることがある。忘れ物判定部２６によって忘れ物であると判定した後に、人物認識部２３または捜索部２５によって、戻って来た持ち主が認識された場合、忘れ物との判定を取り消ししてもよい。

荷物を持ち去る第三者を、例えば、車両のドアの周辺に設置されたカメラによって撮影した映像データを、第三者情報に含めてもよい。これにより、第三者の鮮明な映像データを保存できる。

上記では、荷物認識部２２は、荷物認識辞書記憶部５を使用するものとして説明したが、これに限定されない。荷物認識部２２は、公知の方法を使用して、映像データから荷物を認識すればよい。

上記では、人物認識部２３は、人物認識辞書記憶部６を使用するものとして説明したが、これに限定されない。人物認識部２３は、公知の方法を使用して、映像データから人物を認識すればよい。

例えば、新聞、雑誌、ビニール袋、空き缶などは、車内に意図的に放置されることがある。そこで、例えば、新聞、雑誌、ビニール袋、空き缶なども荷物として検出して、乗客との紐づけを行い、忘れ物として検出してもよい。これにより、例えば、新聞、雑誌、ビニール袋、空き缶などが、車内に放置されることの抑制になり、車内美化を推進できる。

忘れ物通知制御装置１０は、持ち主が荷物を置いて降車する際に、車両のドアの周辺に設置されたカメラによって撮影された持ち主の映像データと、持ち主の降車位置情報とを、持ち主記録データとして、忘れ物記録データに紐づけて保存してもよい。持ち主が忘れ物の受領に来た際に、忘れ物記録データおよび持ち主記録データを確認して、持ち主本人である場合に、忘れ物を引き渡してもよい。これにより、忘れ物の引き取り時の、持ち主の本人確認をより容易かつ確実にできる。

１ 忘れ物通知システム
２ センサ（検出部）
３ 全方位カメラ（撮影部）
４ 記録部
５ 荷物認識辞書記憶部
６ 人物認識辞書記憶部
１０ 忘れ物通知制御装置
１１ センサデータ取得部（検出データ取得部）
１２ 映像データ取得部
１３ バッファメモリ
１４ 映像データ処理部
１５ 記録制御部
２１ 紐づけ部
２２ 荷物認識部
２３ 人物認識部
２４ 紐づけ記録制御部
２５ 捜索部
２６ 忘れ物判定部
２７ 通知制御部
１００ 表示部（通知部）

Claims (10)

1. 荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得部と、
   前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得部と、
   前記検出データ取得部が取得した前記検出データと、前記映像データ取得部が取得した前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけ部と、
   前記紐づけ部によって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定部と、
   前記忘れ物判定部によって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御部と、
   前記忘れ物判定部によって忘れ物であると判定した場合、忘れ物であることを通知する通知制御部と、
   を備える忘れ物通知制御装置。
2. 前記紐づけ部によって前記荷物と紐づけられた前記持ち主が、遮蔽物によって遮られて、前記映像データに表示されなくなった場合、前記持ち主を捜索する捜索部、
   を備える請求項１に記載の忘れ物通知制御装置。
3. 前記記録制御部は、前記忘れ物判定部によって忘れ物であると判定した場合、前記荷物と前記持ち主とが撮影された前記映像データを保存する、
   請求項１または２に記載の忘れ物通知制御装置。
4. 前記記録制御部は、前記忘れ物判定部によって忘れ物であると判定した場合、前記荷物を保持した、前記持ち主以外の第三者が撮影された前記映像データを保存する、
   請求項１から３のいずれか一項に記載の忘れ物通知制御装置。
5. 前記記録制御部は、前記忘れ物判定部によって忘れ物であると判定した場合、さらに前記荷物の降車位置情報を保存する、
   請求項１から４のいずれか一項に記載の忘れ物通知制御装置。
6. 前記記録制御部は、前記忘れ物判定部によって忘れ物であると判定した場合、さらに前記荷物を保持した、前記持ち主以外の第三者を特定可能な第三者情報を保存する、
   請求項１から５のいずれか一項に記載の忘れ物通知制御装置。
7. 前記記録制御部は、前記持ち主以外の第三者が、善意の第三者であるか否かを判定し、善意の第三者であると判定された場合、保存された前記映像データを消去する、
   請求項４に記載の忘れ物通知制御装置。
8. 請求項１から７のいずれか一項に記載の忘れ物通知制御装置および、
   荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部と、前記荷物と前記持ち主との少なくともどちらかの映像を撮影する撮影部と、前記忘れ物であることを通知する通知部との少なくともいずれかを備える忘れ物通知システム。
9. 荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得ステップと、
   前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得ステップと、
   前記検出データ取得ステップによって取得された前記検出データと、前記映像データ取得ステップによって取得された前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけステップと、
   前記紐づけステップによって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定ステップと、
   前記忘れ物判定ステップによって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御ステップと、
   前記忘れ物判定ステップによって忘れ物であると判定した場合、忘れ物であることを通知する通知制御ステップと、
   を含む忘れ物通知制御方法。
10. 荷物の持ち主が、前記荷物を乗物内に置いたことを検出する検出部から、検出データを取得する検出データ取得ステップと、
    前記荷物と前記持ち主との少なくともどちらかの映像を撮影部が撮影した映像データを取得する映像データ取得ステップと、
    前記検出データ取得ステップによって取得された前記検出データと、前記映像データ取得ステップによって取得された前記映像データとに基づいて、前記荷物が網棚に置かれたと判定する場合、前記荷物と、前記持ち主とを紐づける紐づけステップと、
    前記紐づけステップによって紐づけられた前記荷物と前記持ち主との相対的な位置関係に基づいて、前記荷物の位置が変わらない状態で、前記荷物と前記持ち主との距離が、閾値距離以上である場合、忘れ物であると判定する忘れ物判定ステップと、
    前記忘れ物判定ステップによって忘れ物であると判定した場合、撮影された前記映像データを上書き禁止の状態にして保存する記録制御ステップと、
    前記忘れ物判定ステップによって忘れ物であると判定した場合、忘れ物であることを通知する通知制御ステップと、
    を忘れ物通知制御装置として動作するコンピュータに実行させるためのプログラム。

Images