JP2023006558A - 車載装置、物体の報知方法、及びプログラム - Google Patents

Abstract

【課題】車室内にある物体を正確に認識できるとともに、物体の認識に要する計算時間及び消費電力を抑制できる車載装置、物体の報知方法、及びプログラムを提供すること。
【解決手段】車載装置３は、画像取得ユニットと、物体認識ユニットと、物体判断ユニットと、報知ユニットとを備える。画像取得ユニットは、乗車前画像、及び乗車後画像を、カメラ１５を用いて取得する。物体認識ユニットは、乗車前画像と乗車後画像との差分領域を抽出し、差分領域において、画像認識により物体を認識する処理を行う。物体判断ユニットは、認識した物体が報知対象となる物体であるか否か、及び、物体が車室内に存在するか否かを判断する。報知ユニットは、報知対象となる物体が車室内に存在する場合、報知を行う。
【選択図】図１

Description

本開示は、車載装置、物体の報知方法、及びプログラムに関する。

車内忘れ物防止装置が特許文献１に開示されている。車内忘れ物防止装置は、車室内を撮影して得られた画像と、基準画像とを比較することによって忘れ物を検知する。車内忘れ物防止装置は、忘れ物を検知した場合、ドアが開いたときに、車室内スピーカー及び車室内ディスプレイにより、ユーザに対して忘れ物があることを通知する。

特開２００９－７５７５６号公報

車室内を撮影して得られた画像と、基準画像とを比較するだけでは、物体を正確に認識できないことがある。そこで、画像認識により物体を認識することが考えられる。しかしながら、画像の全体において画像認識を行うと、計算時間及び消費電力が増加してしまう。

本開示の１つの局面では、車室内にある物体を正確に認識できるとともに、物体の認識に要する計算時間及び消費電力を抑制できる車載装置、物体の報知方法、及びプログラムを提供することが好ましい。

本開示の１つの局面は、車載装置（３）である。車載装置は、車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、前記物体認識ユニットが認識した前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断するように構成された物体判断ユニット（４７）と、前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると前記物体判断ユニットが判断した場合、報知を行う報知ユニット（４９）と、を備える。

本開示の１つの局面である車載装置は、画像認識を用いるので、車室内にある物体を精度よく認識できる。また、本開示の１つの局面である車載装置は、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。

本開示の別の局面は、通信機（１９）を介してクラウド（５）と通信可能な車載装置（３）である。車載装置は、車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）、前記車両が停車した際の前記車室内の画像である停車後画像（１０９－Ｍ、１１１）、及び前記車両のドアが施錠された際の前記車室内の画像である施錠後画像（１１３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、前記車両のユーザに対し報知を行うように構成された報知ユニット（４９）と、を備える。
前記物体認識ユニットは、前記差分領域に所定の物体が認識された場合、前記差分領域と前記停車後画像とに基づいて物体を認識し、前記報知ユニットは、前記物体認識ユニットが前記差分領域と前記停車後画像とに基づいて前記所定の物体を認識した場合、報知を行うよう構成されている。
本開示の別の局面である車載装置は、画像認識を用いるので、車室内にある物体を精度よく認識できる。また、本開示の１つの局面である車載装置は、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。
本開示の別の局面は、車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得し、前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行い、前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断し、前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると判断した場合、報知を行う、物体の報知方法である。

本開示の別の局面である物体の報知方法では、画像認識を用いるので、車室内にある物体を正確に認識できる。また、本開示の別の局面である物体の報知方法では、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。

モビリティＩｏＴシステムの構成を表すブロック図である。 車載装置の制御部における機能的構成を表すブロック図である。 車載装置が実行する処理を表すフローチャートである。 車載装置が実行する処理を表すフローチャートである。 乗車前画像と乗車後画像との差分領域を抽出する処理を表す説明図である。 停車後画像及び走行中画像を用いて物体の位置をトラッキングする方法を表す説明図である。 停車後画像と施錠後画像との差分領域を抽出する処理を表す説明図である。

本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．モビリティＩｏＴシステム１の構成
モビリティＩｏＴシステム１の構成を、図１に基づき説明する。ＩｏＴは、Internet of Thingsの略である。モビリティＩｏＴシステム１は、車載装置３と、クラウド５と、サービス提供サーバ７と、を備える。なお、図１では便宜上、１のみの車載装置３を記載しているが、モビリティＩｏＴシステム１は、例えば、複数の車載装置３を備える。複数の車載装置３は、それぞれ、異なる車両９に搭載されている。

車載装置３は、車両９に搭載された通信機１９を介して、クラウド５と通信可能である。なお、車載装置３及び車両９の詳しい構成は後述する。
クラウド５は、車載装置３、サービス提供サーバ７、及び携帯端末２３と通信可能である。携帯端末２３は、例えば、車両９の乗員が所持する携帯端末である。乗員はユーザに対応する。携帯端末２３として、例えば、スマートフォン、タブレット端末、ノートＰＣ等が挙げられる。

クラウド５は、制御部２５と、通信部２７と、記憶部２９とを備える。制御部２５は、ＣＰＵ３１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ３３とする）とを備える。制御部２５の機能は、メモリ３３に格納されたプログラムをＣＰＵ３１が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。通信部２７は、通信機１９及び携帯端末２３との間で無線通信を行うことができる。記憶部２９は情報を記録することができる。

サービス提供サーバ７は、クラウド５と通信可能である。サービス提供サーバ７は、例えば、車両９の運行を管理するサービス等を提供するために設置されたサーバである。なお、モビリティＩｏＴシステム１は、サービス内容が互いに異なる複数のサービス提供サーバ７を備えてもよい。

クラウド５は、複数の車載装置３のそれぞれから通信機１９を介して送信された車両９のデータを収集する。クラウド５は、車両９ごとに、収集したデータを記憶部２９に記憶する。

クラウド５は、記憶部２９に記憶されている車両９のデータに基づき、デジタルツインを作成する。デジタルツインは、正規化されたインデックスデータを有する。サービス提供サーバ７は、デジタルツインから取得したインデックスデータを用いて記憶部２９に記憶されている所定車両のデータを取得することができる。サービス提供サーバ７は、車両９に指示する制御内容を決定し、制御内容に対応する指示をクラウド５に送信する。クラウド５は、指示に基づき、車両９へ制御内容を送信する。

２．車載装置３及び車両９の構成
車載装置３及び車両９の構成を、図１～図２に基づき説明する。図１に示すように、車載装置３は、制御部３５と、記憶部３７と、を備える。制御部３５は、ＣＰＵ３９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ４１とする）とを備える。制御部３５の機能は、メモリ４１に格納されたプログラムをＣＰＵ３９が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。

記憶部３７は情報を記憶することができる。記憶部３７には、画像認識モデルが記憶されている。画像認識モデルは、車両９に搭載されたカメラ１５を用いて生成した画像に対し画像認識を行い、物体１０７を識別するために使用される。

図２に示すように、制御部３５の機能的な構成は、画像取得ユニット４３と、物体認識ユニット４５と、物体判断ユニット４７と、報知ユニット４９と、施錠後処理ユニット５０と、施錠後報知ユニット５１と、トラッキングユニット５３と、車両状態取得ユニット５５と、を含む。

画像取得ユニット４３は、カメラ１５を用いて車両９の車室内を撮影し、画像を取得する。画像として、乗車前画像１０１と、乗車後画像１０３と、走行中画像１０９と、停車後画像１１１と、施錠後画像１１３と、ドアクローズ後画像とがある。

乗車前画像１０１は、車両９に乗員が乗車する前の車室内の画像である。乗車前画像１０１は、車両９のエンジンがオンになる前に撮影された画像であってもよいし、車両９がアイドリング状態であるときに撮影された画像であってもよい。例えば、画像取得ユニット４３は、ドアロック解除を契機として乗車前画像１０１を取得する。

乗車後画像１０３は、車両９に乗員が乗車した後の車室内の画像である。乗車後画像１０３は、例えば、車両９が走行を開始する前に撮影された画像である。走行中画像１０９は、車両９が走行中であるときの車室内の画像である。停車後画像１１１は、車両９が停車した後の車室内の画像であり、例えば、停車を契機として撮影された画像である。停車後画像１１１は、例えば、イグニッションオフを契機として撮影された画像である。施錠後画像１１３は、車両９のドアが施錠された後の車室内の画像であり、例えば、ドア施錠を契機として撮影された画像である。ドアクローズ後画像は、車両９のドアが開き、次に閉じた後の車室内の画像であり、例えば、ドア開放後のドア閉鎖を契機として撮影された画像である。

物体認識ユニット４５は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出する。差分領域Ｙは、乗車前画像１０１と乗車後画像１０３との画像に差異がある領域である。物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体判断ユニット４７は、物体認識ユニット４５が認識した物体１０７がアラート対象となる物体１０７であるか否か、及び、物体１０７が車両９の車室内に存在するか否かを判断する。報知ユニット４９は、物体１０７が車両９の車室内に存在すると物体判断ユニット４７が判断した場合、報知を行う。物体判断ユニット４７は、物体認識ユニット４５の一部であってもよい。アラート対象とは、ステップ１２、１８において報知を行う対象となる物体１０７である。アラート対象は所定の物体、及び報知対象に対応する。アラート対象は記憶部２９に予め記憶されている。

施錠後処理ユニット５０は、施錠後画像１１３と停車後画像１１１との差分領域Ｚを抽出する処理を行う。差分領域Ｚは、施錠後画像１１３と停車後画像１１１との画像に差異がある領域である。施錠後処理ユニット５０は、差分領域Ｚが抽出された場合は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。施錠後報知ユニット５１は、差分領域Ｚが抽出されなかった場合、及び、差分領域Ｚで物体１０７が認識された場合、報知を行う。施錠後処理ユニット５０は、物体認識ユニット４５の一部であってもよい。施錠後報知ユニット５１は、例えば、差分領域Ｚで、アラート対象となる物体１０７が認識された場合、報知を行う。施錠後報知ユニット５１は、例えば、差分領域Ｚで認識された物体１０７がアラート対象となる物体１０７ではない場合は、報知を行わない。

トラッキングユニット５３は、走行中画像１０９に基づき、物体認識ユニット４５が認識した物体１０７の位置をトラッキングする。車両状態取得ユニット５５は、車両ＥＣＵ１１から車両９の状態を表す信号を取得する。車両９の状態として、例えば、イグニッションオン、イグニッションオフ、エンジンオン、エンジンオフ、走行開始、走行終了、ドアの施錠、ドアの解錠、ドアの開閉、アイドリング状態等が挙げられる。トラッキングユニット５３は、物体認識ユニット４５の一部であってもよい。

図１に示すように、車両９は、車載装置３に加えて、車両ＥＣＵ１１、カメラ１５、通信機１９、及びアラート機器２１を備える。車載装置３は、車両ＥＣＵ１１、カメラ１５、通信機１９、及びアラート機器２１のそれぞれと、通信を行うことができる。

車両ＥＣＵ１１は、車両９の状態を検出し、検出した状態を表す信号を、バスを介して車載装置３の車両状態取得ユニット５５に送信する。例えば、車両ＥＣＵ１１は、車両９の車速を検出する。車両９の車速が０Ｋｍ／ｈから閾値以上に変化したとき、車両ＥＣＵ１１は、走行開始を表す信号を車両状態取得ユニット５５に送信する。また、車両９の車速が閾値以上から０Ｋｍ／ｈに変化したとき、車両ＥＣＵ１１は、走行終了を表す信号を車両状態取得ユニット５５に送信する。

車両ＥＣＵ１１は、例えば、シフトの位置を検出する。シフトの位置がパーキングに変化し、エンジンがオフになったとき、車両ＥＣＵ１１は、停車を表す信号を車両状態取得ユニット５５に送信する。また、シフトの位置がパーキングに変化し、エンジンがオンであるとき、車両ＥＣＵ１１は、アイドリング状態を表す信号を車両状態取得ユニット５５に送信する。

カメラ１５は、車室内に設置されている。カメラ１５の撮影範囲は、車室内のうち、物体１０７が置かれる可能性が高い範囲を含む。カメラ１５の撮影範囲は、例えば、運転席、助手席、後部座席、及びダッシュボード等の一部又は全部を含む。乗車前画像１０１、乗車後画像１０３、走行中画像１０９、停車後画像１１１、施錠後画像１１３、及びドアクローズ後画像は、カメラ１５を用いて撮影することで生成する画像である。

通信機１９は、クラウド５の通信部２７との間で通信を行うことができる。アラート機器２１は、例えば、スピーカー、クラクション、メーター等である。スピーカー、及びメーターは、例えば、車室内に設置されている装置である。スピーカー、及びクラクションは音声を出力する。メーターは画像を表示する。スピーカー、及びクラクションは車両に設置された装置に対応する。

３．車載装置３が実行する処理
車載装置３が実行する処理を図３～図７に基づき説明する。図３、図４に示す処理は、例えば、スリープ状態にあった車載装置３が起動したときに実行される。車載装置３は、例えば、以下のように起動する。車両９のドアが解錠されたとき、車両ＥＣＵ１１がドア解錠信号をバスに送信する。ドア解錠信号を受信した車載装置３は、スリープ状態から起動し、ウェイクアップ状態となる。なお、車載装置３は、図３、図４に示す処理が終了したとき、スリープ状態となる。

図３のステップ１では、画像取得ユニット４３が、カメラ１５を用いて乗車前画像１０１を取得する。例えば、画像取得ユニット４３は、車両９のドアが解錠された時点から、乗車前画像１０１を取得するまでの時間を十分に短くする。すなわち、画像取得ユニット４３は、ドアが解錠された直後に撮影された画像を取得する。その場合、乗車前画像１０１を取得した時点で、乗員は未だ車両９に乗車していない。

ステップ２では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のエンジンがオンになったか否かを判断する。車両９のエンジンがオンになったと判断したと判断した場合、本処理はステップ３に進む。車両９のエンジンがオンでないと判断した場合、本処理はステップ２の前に戻る。なお、車両９のエンジンがオンになったとき、乗員は車両９に乗車している。

ステップ３では、画像取得ユニット４３が、カメラ１５を用いて乗車後画像１０３を取得する。画像取得ユニット４３は、例えば、エンジンオンを契機として撮影された乗車後画像１０３を取得する。例えば、画像取得ユニット４３は、パーキングブレーキオフやシフトがＤレンジになったことを契機として撮影された乗車後画像１０３を取得してもよい。
ステップ４では、物体認識ユニット４５が物体認識処理を行う。物体認識処理は以下のとおりである。物体認識ユニット４５は、図５に示すように、乗車前画像１０１と乗車後画像１０３とを対比することで、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出する処理を行う。

差分領域Ｙとは、乗車後画像１０３のうち、乗車前画像１０１とは画像に差異がある領域である。物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体認識ユニット４５は、記憶部３７に記憶されている画像認識モデルを使用して画像認識を行い、物体１０７の種類を識別する。乗車前画像１０１において物体１０７が存在せず、乗車後画像１０３において物体１０７が存在する場合、物体１０７は差分領域Ｙとなる。例えば、乗員は、車両９に乗車するとき、物体１０７を車室内に持ち込むことがある。物体１０７として、例えば、手荷物、幼児、赤ちゃん等が挙げられる。

物体１０７として、例えば、物（人及び動物を除く）、人、動物等が挙げられる。物は、例えば、車両９の乗員が持ち運び可能な物である。人として、例えば、大人、幼児、赤ちゃん等が挙げられる。これらのうち、車室内に置き忘れがある場合にアラートする対象をアラート対象とする。アラート対象は、例えば、幼児、赤ちゃん、動物、バッグ等の手荷物等である。物体認識ユニット４５は、アラート対象となる物体１０７のみを認識するよう構成してもよい。

ステップ５では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９が走行を開始したか否かを判断する。走行を開始したと判断した場合、本処理はステップ６に進む。走行を開始していないと判断した場合、本処理はステップ５の前に戻る。なお、車両９が走行を開始してから、後述するステップ１０で走行が終了したと判断するまで、車両９は走行中である。走行中とは、走行状態だけでなく、一時的な停車状態も含む。なお、ステップＳ３～Ｓ５の処理を、走行開始直後に行うよう構成してもよい。すなわち、前述した乗車後画像１０３は、車両９が走行を開始した後の画像であってもよい。
ステップ６では、前記ステップ４の処理で物体１０７を認識できたか否かを物体認識ユニット４５が判断する。物体１０７を認識できたと判断した場合、本処理はステップ７に進む。物体１０７を認識できなかったと判断した場合、本処理はステップ２１に進む。なお、いずれの物体１０７も認識できなかったと判断した場合だけでなく、アラート対象となる物体１０７を認識できなかった場合も、ステップ２１に進む。すなわち、アラート対象となる物体１０７が車室内に存在しない場合、後述するトラッキング処理等は行わない。

ステップ７では、画像取得ユニット４３が、カメラ１５を用いて走行中画像１０９を取得する。ここでの走行中画像１０９とは、乗車後画像１０３よりも時間的に後に撮影された画像を意味する。なお、後述するステップ１０で否定判断するごとに、ステップ６～１０のサイクルが繰り返される。ｉ回目のサイクル中のステップ７で取得した走行中画像１０９を、ｉ回目の走行中画像１０９－ｉとする。ｉは自然数である。

ステップ８では、トラッキングユニット５３が、乗車後画像１０３、及び前記ステップ７で取得した走行中画像１０９に基づき、前記ステップ４の処理で認識した物体１０７、又は、後述するステップ２０の処理で認識した物体１０７の位置をトラッキングする。

例えば、図６に示すように、トラッキングユニット５３は、乗車後画像１０３と、１回目の走行中画像１０９－１とを対比し、それらの差（以下では差分領域Ｘ１とする）に基づき、前記ステップ４の処理で認識した物体１０７の位置をトラッキングする。すなわち、差分領域Ｘ１に対し、ステップ４で認識した物体１０７の追跡を試み、当該物体１０７の位置を認識する。また、後述するステップ２０の処理で物体１０７を認識した場合、トラッキングユニット５３は、ステップ１９で取得したドアクローズ後画像と、その後のステップ７で取得した走行中画像１０９とを対比し、それらの差に基づき、物体１０７の位置をトラッキングする。

また、トラッキングユニット５３は、１回目の走行中画像１０９－１と、２回目の走行中画像１０９－２とを対比し、それらの差（以下では差分領域Ｘ２とする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。すなわち、差分領域Ｘ２に対し、認識された物体１０７の追跡を試み、当該物体１０７の位置を認識する。また、トラッキングユニット５３は、２回目の走行中画像１０９－２と、３回目の走行中画像１０９－３とを対比し、それらの差（以下では差分領域Ｘ３とする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。同様に、トラッキングユニット５３は、（Ｎ＋１）回目の走行中画像１０９－（Ｎ＋１）と、Ｎ回目の走行中画像１０９－Ｎとを対比し、それらの差（以下では差分領域ＸＮとする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。トラッキングユニット５３は定期的に走行中画像１０９を取得し、これらの処理を行う。Ｎは１以上の自然数である。なお、ステップ８では、差分領域に対してトラッキングをするまでの処理を行い、物体１０７の種類を識別するための画像認識は行わない。
上述の説明では、２つの画像の差分領域を定めてトラッキングを行った。しかしながら、トラッキングは、次のように行っても良い。トラッキングユニット５３は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを用いて、１回目の走行中画像１０９－１における当該差分領域Ｙを含む領域に対し、認識された物体１０７の追跡を試みる。そして、トラッキングユニット５３は、１回目の走行中画像１０９－１における物体１０７の位置（以下では物体存在領域Ｙ１とする）を決定する。トラッキングユニット５３は、２回目の走行中画像１０９－２における物体存在領域Ｙ１を含む領域に対し、認識された物体１０７の追跡を試みる。そして、トラッキングユニット５３は、２回目の走行中画像１０９－２における物体１０７の位置（以下では物体存在領域Ｙ２とする）を決定する。トラッキングユニット５３は、以下同様に、Ｎ回目の走行中画像１０９－Ｎまで上述した処理を定期的に繰り返す。

ステップ９では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のドアが開き、次に閉じた事象（以下では開閉事象とする）が生じたか否かを判断する。開閉事象が生じたと判断した場合、本処理はステップ１９に進む。開閉事象が生じなかったと判断した場合、本処理はステップ１０に進む。なお、ここでの開閉事象は、エンジンオンのままドライバ以外の乗員が乗降する場合を含む。

ステップ１０では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９の走行が終了したか否かを判断する。車両９の走行が終了したと判断した場合、本処理はステップ１１に進む。例えば、車両状態取得ユニット５５は、エンジンオフ又はイグニッションオフの信号に基づき、車両９の走行が終了したと判断する。車両９の走行が終了した時点では、乗員は降車していない。車両９の走行が終了していないと判断した場合、本処理はステップ６に進む。

ステップ１１では、前記ステップ４又は前記ステップ２０の処理で認識した物体１０７が車室内に存在するか否かを物体判断ユニット４７が判断する。物体判断ユニット４７は、前記ステップ８の処理により、最後の走行中画像１０９－Ｍまで、物体１０７の位置がトラッキングできていれば、物体１０７は車室内に存在すると判断する。物体判断ユニット４７は、最後の走行中画像１０９－Ｍまで、物体１０７の位置がトラッキングできていなければ、物体１０７は車室内に存在しないと判断する。
また、物体判断ユニット４７は、前記ステップ４又は前記ステップ２０の処理で認識した物体１０７がアラート対象である物体１０７であるか否かを判断する。アラート対象である物体１０７が車室内に存在すると判断した場合、本処理はステップ１２に進む。アラート対象である物体１０７が車室内に存在しないと判断した場合、本処理は終了する。なお、最後の走行中画像１０９－Ｍを、停車後画像１１１として扱ってもよい。
また、走行中画像１０９による定期的なトラッキング処理（ステップ８）を行うことなく、最後の走行中画像１０９－Ｍ又は停車後画像１１１を用いて、物体１０７を認識するように構成してもよい。例えば、物体認識ユニット４５は、最後の走行中画像１０９－Ｍにおける乗車前画像１０１と乗車後画像１０３との差分領域Ｙに対し、画像認識を行い、物体１０７を認識する。または、物体認識ユニット４５は、最後の走行中画像１０９－Ｍにおける差分領域Ｙ及びその周辺領域に対し、物体１０７の追跡を試み、物体１０７を認識してもよい。

ステップ１２では、報知ユニット４９が報知を行う。報知ユニット４９は、例えば、アラート機器２１のうち、車室内に設置された装置を用いて、車室内に向けて報知を行う。車室内に設置された装置として、例えば、スピーカー、メーター等が挙げられる。報知ユニット４９は、赤ちゃんや動物の置き去り、手荷物の置き忘れ等をしないよう、表示又は音声にて注意喚起する。

ステップ１３では、画像取得ユニット４３が、カメラ１５を用いて停車後画像１１１を取得する。例えば、画像取得ユニット４３は、走行終了の判断を契機としてカメラ１５から停車後画像１１１を取得する。また、最後の走行中画像１０９－Ｍを停車後画像１１１として扱ってもよい。
ステップ１４では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のドアが施錠されたか否かを判断する。車両９のドアが施錠されたと車両状態取得ユニット５５が判断した場合、本処理はステップ１５に進む。車両９のドアが施錠されていないと判断した場合、本処理はステップ１４の前に戻る。なお、ここでのドア施錠は、走行終了後のドア開閉によりドライバが降車した後のドア施錠状態を含む。

ステップ１５では、画像取得ユニット４３が、カメラ１５を用いて施錠後画像１１３を取得する。例えば、画像取得ユニット４３は、ドアが施錠されたとの判断を契機として、カメラ１５から施錠後画像１１３を取得する。
図４のステップ１６では、施錠後処理ユニット５０が、図７に示すように、停車後画像１１１と施錠後画像１１３との差分領域Ｚを抽出する処理を行う。例えば、停車後画像１１１と施錠後画像１１３Ａとの両方において、同一の物体１０７が同じ位置に存在する場合、差分領域Ｚは存在せず、抽出されない。

施錠後画像１１３Ｂの内容が、停車後画像１１１の内容とは異なる場合、差分領域Ｚは抽出される。例えば、停車後画像１１１においては物体１０７が存在し、施錠後画像１１３Ｂにおいては物体１０７が存在しない場合、差分領域Ｚは存在し、抽出される。

差分領域Ｚが抽出された場合、施錠後処理ユニット５０は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。施錠後処理ユニット５０は、図７に示す差分領域Ｚにおいて、停車後画像１１１では存在した物体１０７が施錠後画像１１３では存在しないことを認識することができる。ここで、停車後から施錠後までの間に物体１０７が移動した場合、異なる二つの差分領域が抽出される。施錠後処理ユニット５０は、各差分領域において画像認識により物体１０７を認識する処理を行う。これにより、停車後画像１１１では領域αに物体１０７が存在し、施錠後画像１１３では領域βに物体１０７が存在することを認識できる。
ステップ１７では、施錠後処理ユニット５０が、前記ステップ１６の処理の結果に基づき、車両９の車室内にアラート対象である物体１０７が残っているか否かを判断する。差分領域Ｚが抽出されなかった場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていると判断する。
例えば、停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３でも同じ場所に赤ちゃんが存在する場合は、車室内にアラート対象である物体１０７が残っている場合である。赤ちゃんは、アラート対象である物体１０７に対応する。停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３でも同じ場所に赤ちゃんが存在する場合、差分領域Ｚは存在しない。
停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３では赤ちゃんが存在しない場合（すなわち、ドライバとともに赤ちゃんが降車した場合）、差分領域Ｚが生じる。また、停車後画像１１１のうち領域αに赤ちゃんが存在し、施錠後画像１１３のうち、領域αとは異なる領域βに赤ちゃんが存在する場合（すなわち、赤ちゃんが車室内で移動したが、施錠後画像１１３を撮影した時点で依然として赤ちゃんが車室内にいる場合）、領域α、βが差分領域Ｚとなる。
また、画像認識の結果、差分領域Ｚでアラート対象である物体１０７が認識された場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていると判断する。それ以外の場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていないと判断する。車室内にアラート対象である物体１０７が残っていると判断した場合、本処理はステップ１８に進む。車室内にアラート対象である物体１０７が残っていないと判断した場合、本処理は終了する。

ステップ１８では、施錠後報知ユニット５１が報知を行う。報知の態様として、例えば、以下の態様がある。施錠後報知ユニット５１は、例えば、クラウド５を介し、携帯端末２３へ報知する。携帯端末２３は、音声、画像、振動等により報知する。施錠後報知ユニット５１は、クラウド５を介し、携帯端末２３へ、施錠後画像１１３、又は施錠後画像１１３を加工した画像を送信する。携帯端末２３は、施錠後画像１１３、又は施錠後画像１１３を加工した画像を表示する。施錠後報知ユニット５１は、例えば、車両９のクラクションを鳴らし、降車したドライバに気づかせるように、車両９の周囲へ報知を行う。

前記ステップ９で肯定判断した場合、ステップ１９に進む。ステップ１９では、画像取得ユニット４３が、カメラ１５を用いてドアクローズ後画像を取得する。
ステップ２０では、物体認識ユニット４５が物体認識処理を行う。物体認識処理は以下のとおりである。物体認識ユニット４５は、最後に取得した走行中画像１０９―Ｍとドアクローズ後画像とを対比することで、最後に取得した走行中画像１０９－Ｍとドアクローズ後画像との差分領域Ｙを抽出する処理を行う。差分領域Ｙとは、ドアクローズ後画像のうち、最後に取得した走行中画像１０９－Ｍとは異なる領域である。
例えば、車両９のドアが開いてからドアが閉じるまでの間に乗員が降車した場合、降車した乗員は、最後に取得した走行中画像１０９－Ｍには存在し、ドアクローズ後画像には存在しないため、差分領域Ｙが生じる。
例えば、車両９のドアが開いてからドアが閉じるまでの間に乗員が乗車し、新たな手荷物を持ち込んだ場合、乗車した乗員及び新たな手荷物は、最後に取得した走行中画像１０９－Ｍには存在せず、ドアクローズ後画像には存在するため、差分領域Ｙが生じる。

物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体１０７として、例えば、車両９のドアが開いてからドアが閉じるまでの間に降車した乗員、車両９のドアが開いてからドアが閉じるまでの間に乗車した乗員、乗車した乗員により持ち込まれた手荷物等が挙げられる。
物体認識ユニット４５は、記憶部３７に記憶されている画像認識モデルを使用して画像認識を行う。物体１０７が認識された場合、その物体１０７は、車両９のドアが開いてからドアが閉じるまでの間に乗員によって車室内に持ち込まれた物体１０７である。
前記ステップ６で否定判断した場合、ステップ２１に進む。ステップ２１では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９が停車したか否かを判断する。車両９が停車したと判断した場合、本処理はステップ２２に進む。車両９が停車していないと判断した場合、本処理はステップ９に進む。
ステップ２２では、画像取得ユニット４３が、カメラ１５を用いて走行中画像１０９を取得する。次に、本処理はステップ９に進む。

４．車載装置３が奏する効果
（１Ａ）車載装置３は、乗車前画像１０１、及び乗車後画像１０３を取得する。車載装置３は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出し、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う
車両９に乗車するときに、乗員が物体１０７を車室内に持ち込んだ場合、物体１０７は乗車前画像１０１においては存在せず、乗車後画像１０３においては存在する。そのため、乗員が物体１０７を車室内に持ち込んだ場合、乗車後画像１０３のうち、物体１０７が存在する領域は差分領域Ｙとなる。乗員が物体１０７を車室内に持ち込んだ場合、車載装置３は、乗車後画像１０３のうち、物体１０７が存在する領域を差分領域Ｙとして抽出し、差分領域Ｙにおいて画像認識により物体１０７を認識する。

車両９が停車するまでに乗員が物体１０７を回収していない場合、前記ステップ１１において、物体１０７が車室内にあると判断される。物体１０７が車室内にあると判断された場合、車載装置３は報知を行う。乗員は、報知によって、車室内に物体１０７があることを知ることができる。走行終了時、車室内に向けて報知をすることで、ドライバ等による置き忘れ又は置き去りを抑制するよう、降車前のドライバ等に対して予め注意喚起できる。

車載装置３は、画像認識を用いるので、車室内にある物体１０７の種類を精度よく認識できる。また、車載装置３は、乗車後画像１０３のうち、差分領域Ｙにおいて画像認識を行うので、乗車後画像１０３の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。

（１Ｂ）車載装置３は、前記ステップ１２において、車室内に設置された装置を用いて報知を行う。前記ステップ１２の処理の時点において、乗員（例えばドライバ等）は車室内にいる可能性が高い。そのため、乗員は、車室内に物体１０７があることを一層確実に知ることができ、車室内に物体１０７を置き忘れて降車することを抑制できる。

（１Ｃ）車載装置３は、停車後画像１１１及び施錠後画像１１３をさらに取得する。車載装置３は、施錠後画像１１３と停車後画像１１１との差分領域Ｚを抽出する処理を行い、差分領域Ｚが抽出された場合は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。車載装置３は、差分領域Ｚが抽出されなかった場合、及び、差分領域Ｚで物体１０７が認識された場合、報知を行う。

差分領域Ｚが抽出されなかった場合とは、停車後画像１１１と施錠後画像１１３との両方において、同一の物体１０７が同じ位置に存在していた場合である。すなわち、差分領域Ｚが抽出されなかった場合とは、施錠後に車両９の車室内に物体１０７が残っている場合である。また、差分領域Ｚで物体１０７が認識された場合も、施錠後に車両９の車室内に物体１０７が残っている場合である。

よって、車載装置３が報知を行う場合は、施錠後に車両９の車室内に物体１０７が残っている場合である。車両９の乗員は、報知により、施錠後に車両９の車室内に物体１０７が残っていることを知ることができる。

（１Ｄ）車載装置３は、前記ステップ１８において、クラウド５を介し、乗員の携帯端末２３へ報知することができる。そのため、乗員は、車両９の車室内に物体１０７があることを一層確実に知ることができる。

（１Ｅ）車載装置３は、前記ステップ１８において、クラウド５を介し、乗員の携帯端末２３へ、施錠後画像１１３、又は施錠後画像１１３を加工した画像を送信することができる。そのため、乗員は、車室内に物体１０７があること、及び物体１０７が何であるかを知ることができる。

（１Ｆ）車載装置３は、前記ステップ１８において、車両９のクラクションを鳴らすことができる。そのため、降車後の乗員（例えばドライバ等）は、車室内に物体１０７があることを一層確実に知ることができる。

（１Ｇ）車載装置３は、前記ステップ６において物体１０７を認識しなかったと判断した場合、トラッキング等を行わない。そのため、車載装置３は、制御部３５の処理負担を抑制することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）前記ステップ１６、１７の処理は、以下の処理であってもよい。ステップ１６では、施錠後処理ユニット５０は、前記ステップ８において行われたトラッキングの結果に基づき、施錠後画像１１３において物体１０７が存在する範囲を推測する。施錠後処理ユニット５０は、推測した範囲に対し、画像認識により物体１０７を認識する処理を行う。

ステップ１７では、施錠後処理ユニット５０が、前記ステップ１６において物体１０７を認識したか否かを判断する。物体１０７を認識したと判断した場合、本処理はステップ１８に進む。物体１０７を認識しなかったと判断した場合、本処理は終了する。なお、施錠後画像１１３は車両９の車室内を撮影して得られた画像であるから、認識された物体１０７は車室内に存在する。この場合も、第１実施形態と同様の効果を奏する。

（２）車載装置３は、アイドリング状態にある車両９に乗員が乗車する前に、乗車前画像１０１を取得してもよい。この場合、車載装置３は、アイドリング状態にある車両９に乗車するときに乗員が持ち込んだ物体１０７について、前記ステップ１２又は前記ステップ１８で報知を行うことができる。

（３）前記ステップ１８において、車載装置３は、携帯端末２３への報知等に加えて、他の処理を行ってもよい。例えば、物体１０７が人間の幼児である場合、車載装置３は、前記ステップ１８において、車両９のエアコンを動作させて車室の温度を下げる、窓を開ける、ドアを解錠する等の処理を行うことができる。

（４）車載装置３は、カメラ１５、通信機１９、及びアラート機器２１のうちの１以上の機能を備えていてもよい。これら幼児に対する対策は、クラウド５からの指示に基づいて車載装置３が行うよう構成してもよい。
（５）本開示に記載の制御部３５及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部３５及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。制御部３５に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（７）上述した車載装置３の他、当該車載装置３を構成要素とするシステム、当該車載装置３の制御部３５としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体の認識方法等、種々の形態で本開示を実現することもできる。

１…モビリティＩｏＴシステム、３…車載装置、５…クラウド、９…車両、１５…カメラ、２１…アラート機器、２３…携帯端末、４３…画像取得ユニット、４５…物体認識ユニット、４７…物体判断ユニット、４９…報知ユニット、５０…施錠後処理ユニット、５１…施錠後報知ユニット、５３…トラッキングユニット、５５…車両状態取得ユニット、１０１…乗車前画像、１０３…乗車後画像、Ｙ…差分領域、１０７…物体、１０９…走行中画像、１１１…停車後画像、１１３、１１３Ａ、１１３Ｂ…施錠後画像、Ｚ…差分領域

Claims (19)

1. 車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、
   前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、
   前記物体認識ユニットが認識した前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断するように構成された物体判断ユニット（４７）と、
   前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると前記物体判断ユニットが判断した場合、報知を行う報知ユニット（４９）と、
   を備える車載装置（３）。
2. 請求項１に記載の車載装置であって、
   前記画像取得ユニットは、前記車両が停車した後の前記車室内の画像である停車後画像（１１１）、及び前記車両のドアが施錠された後の前記車室内の画像である施錠後画像（１１３）をさらに取得するように構成され、
   前記施錠後画像と前記停車後画像との差分領域（Ｚ）を抽出する処理を行い、前記差分領域が抽出された場合は、前記差分領域において、画像認識により前記物体を認識する処理を行うように構成された施錠後処理ユニット（５０）と、
   前記差分領域が抽出されなかった場合、及び、前記差分領域で前記物体が認識された場合、報知を行う施錠後報知ユニット（５１）と、
   をさらに備える、
   車載装置。
3. 請求項２に記載の車載装置であって、
   前記施錠後報知ユニットは、クラウド（５）を介し、前記車両のユーザの携帯端末（２３）へ報知するように構成された、
   車載装置。
4. 請求項３に記載の車載装置であって、
   前記施錠後報知ユニットは、前記クラウドを介し、前記携帯端末へ、前記施錠後画像、又は前記施錠後画像を加工した画像を送信するように構成された、
   車載装置。
5. 請求項２～４のいずれか１項に記載の車載装置であって、
   前記施錠後報知ユニットは、前記車両のクラクションを鳴らすように構成された、
   車載装置。
6. 請求項１～５のいずれか１項に記載の車載装置であって、
   前記画像取得ユニットは、前記車両が走行中であるときの前記車室内の画像である走行中画像（１０９）、及び、前記車両のドアが施錠された後の前記車室内の画像である施錠後画像（１１３）をさらに取得するように構成され、
   前記走行中画像に基づき、前記物体認識ユニットが認識した前記物体の位置をトラッキングするように構成されたトラッキングユニット（５３）と、
   前記トラッキングユニットが行ったトラッキングの結果に基づき、前記施錠後画像において前記物体が存在する範囲を推測し、推測した前記範囲に対し、画像認識により前記物体を認識する処理を行うように構成された施錠後処理ユニット（５０）と、
   前記施錠後処理ユニットが前記物体を認識した場合、報知を行う施錠後報知ユニット（５１）と、
   をさらに備える、
   車載装置。
7. 請求項６に記載の車載装置であって、
   前記物体認識ユニットが前記物体を認識しなかった場合、前記トラッキングユニットはトラッキングを行わない、
   車載装置。
8. 通信機（１９）を介してクラウド（５）と通信可能な車載装置（３）であって、
   車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）、前記車両が停車した際の前記車室内の画像である停車後画像（１０９－Ｍ、１１１）、及び前記車両のドアが施錠された際の前記車室内の画像である施錠後画像（１１３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、
   前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、
   前記車両のユーザに対し報知を行うように構成された報知ユニット（４９）と、を備え、
   前記物体認識ユニットは、前記差分領域に所定の物体が認識された場合、前記差分領域と前記停車後画像とに基づいて物体を認識し、
   前記報知ユニットは、前記物体認識ユニットが前記差分領域と前記停車後画像とに基づいて前記所定の物体を認識した場合、報知を行うよう構成された、
   車載装置。
9. 請求項８に記載の車載装置であって、
   前記画像取得ユニットは、前記車両が走行中であるときの前記車室内の画像である走行中画像（１０９）をさらに取得し、
   前記物体認識ユニットは、複数の前記走行中画像に基づき、認識した前記物体をトラッキングするように構成されたトラッキングユニット（５３）を有し、前記車両が走行終了したとき、前記トラッキングユニットによるトラッキング結果に応じて前記物体を認識し、
   前記報知ユニットは、前記物体認識ユニットにより前記所定の物体を認識した場合、報知を行うよう構成された、
   車載装置。
10. 請求項９に記載の車載装置であって、
    前記物体認識ユニットは、前記トラッキングユニットが行ったトラッキングの結果に基づき、前記施錠後画像において前記物体が存在する範囲を推測し、推測した前記範囲に対し、画像認識により前記物体を認識する処理を行い、
    前記報知ユニットは、前記物体認識ユニットにより前記所定の物体を認識した場合、報知を行うよう構成された、
    車載装置。
11. 請求項９又は１０に記載の車載装置であって、
    前記物体認識ユニットは、前記乗車前画像と前記乗車後画像との差分領域（Ｙ）において物体（１０７）を認識しなかった場合、前記トラッキングユニットによるトラッキングを行わない、
    車載装置。
12. 請求項９～１１のいずれか１項に記載の車載装置であって、
    前記物体認識ユニットは、前記施錠後画像と前記停車後画像との差分領域（Ｚ）を抽出する処理を行い、前記差分領域が抽出された場合は、前記差分領域において、画像認識により前記物体を認識し、
    前記報知ユニットは、前記車両のドアが施錠された際に前記車室内に認識した前記物体が残存している場合、報知を行う、
    車載装置。
13. 請求項８～１２のいずれか１項に記載の車載装置であって、
    前記報知ユニットは、前記クラウドを介し、前記車両のユーザの携帯端末へ、前記施錠後画像、又は前記施錠後画像を加工した画像を送信するように構成された、
    車載装置。
14. 請求項８～１３のいずれか１項に記載の車載装置であって、
    前記報知ユニットは、前記車両に設置された装置を用いて前記車両の周辺に向けて報知を行うように構成された、
    車載装置。
15. 請求項１～１４いずれか１項に記載の車載装置であって、
    前記報知ユニットは、前記車室内に設置された装置（２１）を用いて前記車室内に向けて前記報知を行うように構成された、
    車載装置。
16. 請求項１～１５のいずれか１項に記載の車載装置であって、
    前記報知ユニットは、クラウド（５）を介し、前記車両のユーザの携帯端末（２３）へ報知するように構成された、
    車載装置。
17. 請求項１～１６のいずれか１項に記載の車載装置であって、
    前記乗車前画像は、アイドリング状態にある前記車両に前記乗員が乗車する前の前記車室内の画像を含む、
    車載装置。
18. 車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得し、
    前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行い、
    前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断し、
    前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると判断した場合、報知を行う、
    物体の報知方法。
19. 請求項１～１７のいずれか１項に記載の車載装置の制御部としてコンピュータを機能させるプログラム。

Images