以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの概要>
図1は、本実施の形態に係る危険報知システム100の概要を示す図である。危険報知システム100は、携帯端末10と、車両30と、センター40とを有している。
携帯端末10は、ユーザが所持する可搬型の電子機器であり、例えば、スマートフォン、タブレット、携帯電話、PDA(Personal Digital Assistant)等である。携帯端末10は、ユーザが事故等の危険な状況にある場合にその旨を報知する機能を有している。携帯端末10は、ユーザの状況及び外部環境を考慮し、ユーザが危険な状況にあるか否かを判断し、危険な状況にある場合には危険度に応じた内容をユーザに対して報知する。また、携帯端末10は、センター40と通信可能に構成されており、危険な状況にある携帯端末10の位置情報等を送信する。
車両30は、ユーザの周囲を走行する自動車等の車両である。車両30は、所定の周波数の超音波を出力し、自車両の存在を周囲の携帯端末10に知らせることができるようになっている。また、車両30は、センター40と通信可能に構成されており、センター40から危険な状況にある携帯端末10の位置情報を受信すると、その内容を表示部に表示させる。
センター40は、情報処理装置であり、携帯端末10及び車両30と通信可能に構成されている。センター40は、危険な状況にある携帯端末10から位置情報を受信すると、その情報を車両30に送信する。
このように、本実施の形態に係る携帯端末10は、携帯端末10を使用するユーザの状況と、ユーザの周囲を走行する車両30の状況とを考慮して、ユーザが危険な状況にあるか否かを判断する。そして、携帯端末10は、ユーザが危険な状況にあると判断した場合には、ユーザに対してその旨を報知することができるものである。また、危険報知システム100は、危険な状況にある携帯端末10の存在を車両30に報知することができるようにしたシステムである。以下、危険報知システム100の各構成及び各処理について詳細に説明する。
<1−2.携帯端末の構成>
まず、携帯端末10の構成について説明する。図2は、携帯端末10の概要を示すブロック図である。図2に示すように、携帯端末10は、制御部11と、加速度センサ12と、表示部13と、第1撮影部14と、第2撮影部15と、時間計測部16と、位置情報取得部17と、音声出力部18と、集音部19と、操作部20と、記憶部21と、通信部22とを備えている。
制御部11は、歩行状態判定部11aと、危険判定部11bと、危険度判定部11cと、報知制御部11dとを備えており、また、図示しないCPU、RAM、及びROMを備えるコンピュータである。制御部11は、携帯端末10が備える記憶部21等と接続され、記憶部21に記憶されたプログラム21aに基づいて携帯端末10の全体を制御する。記憶部21に記憶されたプログラム21aにしたがってCPUが演算処理を実行することにより、制御部11の各機能が実現される。
歩行状態判定部11aは、ユーザが携帯端末10を目視しながら歩行している状態であるか否かを判定する。本明細書では、ユーザが携帯端末10を目視しながら歩行する行為を「ながら歩き」と称する。すなわち、歩行状態判定部11aは、ユーザがながら歩きをしているか否かを判定する。歩行状態判定部11aは、携帯端末10の移動速度(すなわちユーザの移動速度)や表示部13の起動状態(画面のオン又はオフ)等に基づいて、ユーザがながら歩きをしているか否かを判定する。
危険判定部11bは、ユーザがながら歩きをしている場合に、自動車等との接触事故を起こすような危険性の高い状況にあるか否かを判定する。危険判定部11bは、ユーザがながら歩きをしている地点の周囲を走行する車両等の情報を取得し、それら情報に基づいて危険性の高い状況にあるか否かを判定する。
危険度判定部11cは、ユーザがながら歩きをしている場合であって、危険な状況にある場合に、その危険度を判定する。ユーザが危険な状況にあったとしても、周囲に走行する車両の状態や、ユーザの携帯端末10の使用状態によって危険度が異なる場合がある。そのため、危険度判定部11cは、これらの情報を考慮してユーザの危険度を複数段階に分けて判定する。
報知制御部11dは、ユーザが危険な状況にある場合に、ユーザに対して危険である旨を報知する。報知制御部11dは、危険である旨のメッセージを表示部13に表示したり、音声を音声出力部18から出力して報知する。メッセージや音声は各々複数種類設けられていて、報知制御部11dは、危険度に応じて報知するメッセージや音声を選択する。
加速度センサ12は、携帯端末10が移動する際の加速度を導出する。本実施の形態では、2軸又は3軸の加速度センサを用いることができ、水平方向の加速度を積分することで携帯端末10の移動速度(すなわちユーザの移動速度)を導出することができる。
表示部13は、携帯端末10に設けられている表示装置であり、例えば、液晶ディスプレイや、有機ELディスプレイ等である。
第1撮影部14及び第2撮影部15は、レンズと撮像素子とを備えたカメラで構成されており、携帯端末10の周辺を撮影した画像を電子的に取得する。第1撮影部14は、携帯端末10の表示部13側に設けられており、表示部13側の周辺画像を撮影する。また、第2撮影部15は、携帯端末10の表示部13と反対側に設けられており、表示部13と反対側の周辺画像を撮影する。すなわち、第1撮影部14は、いわゆる内向きカメラであって、通常の使用態様においてはユーザ側を撮影するカメラである。また、第2撮影部15は、いわゆる外向きカメラであって、通常の使用態様においてはユーザと反対側の風景を撮影するカメラである。
時間計測部16は、時間を計測するものであり、例えば、ながら歩き状態であるか否かを判定する際に、ユーザが表示部13を見ている時間を計測する。
位置情報取得部17は、携帯端末10の位置情報を取得する。位置情報取得部17としては、例えば、GPS(Global positioning system:全地球測位システム)を用いることができる。位置情報取得部17で取得した携帯端末10の位置情報は、緯度情報及び経度情報を含んでいる。すなわち、位置情報取得部17は、GPSを用いて携帯端末10の現在位置の緯度情報及び経度情報を取得する。
音声出力部18は、携帯端末10で楽曲や動画を再生している際に、音楽や音声を出力するものであり、例えばスピーカやイヤホン出力部である。
集音部19は、外部の音を集め携帯端末10に入力するものであり、例えばマイクである。本実施の形態の集音部19は、可聴領域の周波数の音のみならず超音波等の不可聴領域の音も集音可能に構成されている。
操作部20は、タッチパネルを備えた入力装置である。ユーザは、操作部20を操作することによって、携帯端末10の各種操作を行うことができる。
記憶部21は、プログラム21aと、地図情報21bとを記憶している。本実施の形態における記憶部21は、電気的にデータの読み書きが可能であって、電源を遮断されてもデータが消去されない不揮発性の半導体メモリである。記憶部21としては、例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)やフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。
プログラム21aは、制御部11により読み出され、制御部11が携帯端末10を制御するために実行される、いわゆるシステムソフトウェアである。また、地図情報21bは、全国又は一定の広域の道路情報を含む情報である。
通信部22は、センター40と通信可能に接続され、センター40との間で情報の送受信を行う。通信部22は、例えば、センター40に対して危険な状況にある携帯端末10の位置情報を送信する。携帯端末10とセンター40との通信は、いわゆる携帯電話網やインターネット回線を通じて行われる。
<1−3.車両の構成>
次に、車両30の構成について説明する。図3は、車両30の概要を示すブロック図である。図3に示すように、車両30は、制御部31と、超音波出力部32と、車両情報取得部33と、記憶部34と、通信部35と、表示部36とを備えている。
制御部31は、超音波出力制御部31aを備えており、また、図示しないCPU、RAM、及びROMを備えるコンピュータである。制御部31は、記憶部34等と接続され、記憶部34に記憶されたプログラム34aに基づいて車両30全体を制御する。また、記憶部34に記憶されたプログラム34aにしたがってCPUが演算処理を実行することにより、制御部31の各機能が実現される。
超音波出力制御部31aは、後述する超音波出力部32が所定の周波数の超音波を車両の外部に向かって出力する際に、その出力を制御するものである。
また、制御部31は、CAN(Controller Area Network)等の車載LAN(Local Area Network)を介して車両内の他の各種センサやECU(Electronic Control Unit)と通信可能に接続されており、これらセンサやECUとの間で種々の情報の送受信を行っている。
超音波出力部32は、自車両の存在を周囲に知らせるために所定の周波数の超音波を出力する。超音波出力部32が出力する超音波は、集音部19にて集音可能な周波数の超音波である。携帯端末10は、超音波出力部32が出力した超音波を取得して周囲に車両が存在していることや、接近していることを検出することが可能になる。
車両情報取得部33は、車両の走行状態や他のECUの状態を示す情報としての車両情報を取得する。車両には、例えば、車速センサや蛇角センサ等の車両の走行状態を検出するセンサや、燃料噴射用ECUといったエンジン制御系のECUやドアロック/アンロック用ECUといったボディ制御系のECUが設けられている。車両情報取得部33は、CANを介してこれらセンサやECUの出力を車両情報として取得する。
記憶部34は、プログラム34aを記憶している。本実施の形態における記憶部34は、電気的にデータの読み書きが可能であって、電源を遮断されてもデータが消去されない不揮発性の半導体メモリである。記憶部34としては、例えば、EEPROMやフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。プログラム34aは、制御部31により読み出され、制御部31が車両30を制御するために実行される、いわゆるシステムソフトウェアである。
通信部35は、センター40と通信可能に接続され、センター40との間で情報の送受信を行う。通信部35は、例えば、センター40から危険な状況にある携帯端末10の位置情報を受信する。車両30とセンター40との通信は、いわゆる携帯電話網を通じて行ってもよく、インターネット回線を通じて行ってもよい。
表示部36は、車両30に設けられている表示装置であり、例えば、液晶ディスプレイや、有機ELディスプレイ等である。表示部36は、センター40から取得した危険な状況にある携帯端末10の位置情報等を表示する。
<1−4.センターの構成>
次に、センター40の構成について説明する。図4は、センター40の概要を示すブロック図である。図4に示すように、センター40は、制御部41と、通信部42と、記憶部43とを備えている。
制御部41は、図示しないCPU、RAM、及びROMを備えるコンピュータである。制御部41は、センター40が備える記憶部43等と接続され、記憶部43に記憶されたプログラム43aに基づいてセンター40全体を制御する。記憶部43に記憶されたプログラム43aにしたがってCPUが演算処理を実行することにより、制御部41の各機能が実現される。
通信部42は、携帯端末10及び車両30と通信可能に構成され、各々との間で情報の送受信を行う。通信部42は、例えば、危険な状況にある携帯端末10から位置情報を受信し、その位置情報を車両30に対して送信する。センター40と、携帯端末10及び車両30との通信は、いわゆる携帯電話網やインターネット回線を通じて行われる。
記憶部43は、プログラム43aと、危険情報43bとを記憶している。記憶部43は、電気的にデータの読み書きが可能であって、電源を遮断されてもデータが消去されない不揮発性の半導体メモリである。記憶部43としては、例えば、EEPROMやフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。
プログラム43aは、制御部41により読み出され、制御部41がセンター40を制御するために実行される、いわゆるシステムソフトウェアである。危険情報43bは、携帯端末10から取得した危険な状況にある携帯端末10の位置情報を含む情報である。
<1−5.携帯端末の処理>
次に、携帯端末10の処理について説明する。図5ないし図9は、携帯端末10の処理を説明する図である。
図5は、携帯端末10が実行する危険報知処理の概要を示すフローチャートである。図5に示すように、まず、携帯端末10が、歩行状態判定処理を実行する(ステップS501)。すなわち、携帯端末10は、ユーザの状態及び携帯端末10の使用状態を検出して、ユーザが携帯端末10を見ながら歩行している状態(ながら歩きをしている状態)であるか否かを判定する。
そして、ながら歩きをしていると判定されると、携帯端末10は、危険判定処理を実行する(ステップS502)。ユーザが携帯端末10を見ながら歩行している状態であっても、周囲の状況によっては必ずしも危険な状況でない場合もあるため、携帯端末10は、ユーザが事故に遭う可能性があるような危険な状況であるか否かを判定する。
そして、危険な状況であると判定されると、携帯端末10は、危険度判定処理を実行する(ステップS503)。携帯端末10は、ユーザが危険な状況にあると判定すると、その状況に応じた危険度(危険レベル)を判定する。これは、危険度の高低に応じてユーザに対する報知方法を変えるためである。危険度は、ユーザと車両との関係性や、携帯端末10の使用状態等を考慮して判定される。
そして、危険度が判定されると、携帯端末10は、報知処理を実行する(ステップS504)。すなわち、携帯端末10は、ユーザに対して危険な状況にある旨を報知する。この報知は、危険度に応じた方法及び内容で行われる。例えば、危険である旨のメッセージを画面上部に小さく表示したり、画面中央に大きく表示したり、音声を出力する等である。また、これらを組み合わせてもよい。
次に、上述した各処理(ステップS501〜ステップS504)の詳細について説明する。
図6は、歩行状態判定処理(ステップS503)を示すフローチャートである。歩行状態判定処理は、携帯端末10が起動すると開始される。ただし、画面がオンされたとき(画面が点灯したとき)に開始してもよい。図6に示すように、携帯端末10は、歩行状態判定処理を開始すると、携帯端末10の移動速度が人の歩行速度程度の速度であるか否かを判定する(ステップS601)。具体的には、歩行状態判定部11aが、加速度センサ12からの出力値を定期的に取得し、取得した加速度に基づいて携帯端末10の移動速度を導出する。加速度センサ12は、上述のように2軸又は3軸の加速度センサであることから、出力される加速度には少なくとも水平方向の加速度が含まれる。歩行状態判定部11aは、加速度センサから取得した水平方向の加速度に対して積分等の演算処理を行うことによって移動速度を導出する。この携帯端末10の移動速度は、ユーザの移動速度となる。
そして、歩行状態判定部11aは、ユーザの移動速度が人の歩行速度程度の速度であるか否かを判定する。人の歩行速度程度の速度とは、例えば2km/h〜6km/hである。すなわち、歩行状態判定部11aは、導出したユーザの移動速度がこの範囲内に含まれているか否かを判定することで、ユーザが歩行速度で移動しているか否かを判定する。
ユーザが歩行速度で移動していない場合には(ステップS601でNo)、歩行状態判定部11aは、ユーザはながら歩きをしていないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。なお、ながら歩き判定フラグとは、ながら歩き状態である場合にオンとなり(フラグを立てる)、ながら歩き状態でない場合にオフとなる(フラグを消す)フラグである。
一方、ユーザが歩行速度で移動している場合には(ステップS601でYes)、歩行状態判定部11aは、画面がオン状態であるか否かを判定する(ステップS602)。携帯端末10が起動していて、ユーザが歩行速度で移動している状態であっても、画面が消灯している場合には、ユーザが画面を見ながら歩いていることはない。このため、歩行状態判定部11aは、画面が点灯しているか否かを判定している。
画面がオンしていない場合には(ステップS602でNo)、歩行状態判定部11aは、ながら歩き状態でないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。
一方、画面がオンしている場合には(ステップS602でYes)、歩行状態判定部11aは、ユーザの顔が画面を向いているか否かを判定する(ステップS603)。歩行状態判定処理が開始されると、第1撮影部14が起動して一定の間隔で画像を撮影している。第1撮影部14は、上述のように内向きカメラであるため、ユーザが画面を見ていればユーザの顔が撮影される。
そこで、歩行状態判定部11aは、顔認識アルゴリズム等を用いて第1撮影部14が撮影した画像の中に含まれる顔を認識し、その顔の向いている方向を認識する。歩行状態判定部11aは、例えば、第1撮影部14で撮影された画像の中から、顔のパーツの相対位置や大きさ等に基づいて顔データを抽出することで、顔の向いている方向を認識することができる。
そして、歩行状態判定部11aは、認識結果に基づいてユーザの顔が画面を向いているか否かを判定する。歩行状態判定部11aは、認識された顔の向いている方向が画面の方向であれば、ユーザの顔が画面を向いていると判定する。
ユーザの顔が画面を向いていない場合には(ステップS603でNo)、歩行状態判定部11aは、ながら歩き状態でないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。
一方、ユーザの顔が画面を向いている場合には(ステップS603でYes)、歩行状態判定部11aは、ユーザの視線が画面を向いているか否かを判定する(ステップS604)。ユーザの顔が画面を向いている場合であっても、視線が画面を向いていない場合には、ユーザは携帯端末10を見ながら歩いていない。このため、歩行状態判定部11aは、ユーザの視線の方向が画面の方向を向いているか否かを判定している。
歩行状態判定部11aは、例えば、第1撮影部14で撮影された画像の中から、ユーザの黒目の中心位置と眼球の中心位置とを結ぶ延長線を視線の方向と認識する視線認識アルゴリズム等を用いることができる。具体的には、歩行状態判定部11aは、第1撮影部14で撮影された画像の中から、ユーザの目に相当する画像を抽出し、さらに目の画像から黒目を抽出する。そして、歩行状態判定部11aは、黒目の中心位置を検出して、この黒目の中心位置と眼球の中心位置とを結ぶ線を導出することで視線方向を認識することができる。歩行状態判定部11aは、認識結果に基づいてユーザの視線が画面を向いているか否かを判定する。歩行状態判定部11aは、認識された視線方向が画面の方向であれば、ユーザの視線が画面を向いていると判定する。
なお、ステップS603とステップS604の処理はいずれか一方のみでもよい。いずれか一方の処理を実行すればユーザが画面を見ているか否かのおおよその判定は可能である。ただし、本実施の形態のように、両処理を実行することでユーザが画面を見ているか否かをより高精度に判定することが可能になる。
次いで、ユーザの視線が画面を向いていない場合には(ステップS604でNo)、歩行状態判定部11aは、ながら歩き状態でないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。
一方、ユーザの視線が画面を向いている場合には(ステップS604でYes)、歩行状態判定部11aは、ユーザの視線が画面を向いている時間が所定時間継続したか否かを判定する(ステップS605)。ユーザが携帯端末10の画面を見ながら歩行している場合であっても、短時間で画面から視線を移動した場合には、危険を伴うようなながら歩きを継続している状態とは言えない。このため、画面を見ている時間が所定時間以上継続していることをながら歩きと判定する条件に含めている。
歩行状態判定処理が開始されると、時間計測部16が起動している。そして、時間計測部16は、ユーザの視線が画面を向いていると判定されてから、ユーザの視線が画面から向いていないと判定されるまでの時間を計測する。歩行状態判定部11aは、時間計測部16から時間情報を取得し、計測を開始してからの時間が所定時間に到達したか否かを判定する。所定時間に到達した場合とは、ユーザが画面を見ている時間が所定時間継続した場合である。
ユーザが画面を見ている時間が所定時間継続していない場合には(ステップS605でNo)、歩行状態判定部11aは、ながら歩き状態でないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。
一方、ユーザが画面を見ている時間が所定時間継続した場合には(ステップS605でYes)、歩行状態判定部11aは、背景に変化があるか否かを判定する(ステップS606)。背景とは、第2撮影部15で撮影される景色である。歩行状態判定処理が開始されると、第2撮影部15が起動して一定の間隔で画像を撮影する。第2撮影部15は、上述のように外向きカメラであるため、ユーザが携帯端末10を略水平に保持して画面を上から見ているような状況であれば、ユーザがいる地点の地面が撮影される。
ユーザが歩いている場合には、背景も変化するため、歩行状態判定部11aは、この背景が変化しているか否かを判定することとしている。背景が変化しているか否かは、撮影画像の特徴点(例えば、輝度の分布情報等)が移動したり、拡大・縮小したりしているかを判断することで判定可能である。したがって、歩行状態判定部11aは、一定間隔で取得した連続する撮影画像を比較して背景の変化の有無を判定する。
なお、ユーザが電車や自動車等の車両に乗っている場合において、乗車している車両が低速で走行している間は、ステップS601〜ステップS605の判定では、ながら歩きをしていると判定してしまう可能性がある。しかしながら、電車や自動車等に乗っている場合には背景は変化しないため、本実施の形態のように背景の変化の有無を判定条件に含めることで、歩行中の場合と車両に乗車中の場合とを正確に区別することが可能になる。
背景が変化していない場合には(ステップS606でNo)、歩行状態判定部11aは、ながら歩き状態でないと判定し(ステップS609)、ながら歩き判定フラグをオフにする(ステップS610)。そして、携帯端末10は、危険報知処理を終了する。
一方、背景が変化している場合には(ステップS606でYes)、歩行状態判定部11aは、ユーザがながら歩きをしていると判定し(ステップS607)、ながら歩き判定フラグをオンにする(ステップS608)。すなわち、歩行状態判定部11aは、ステップS601〜ステップS606の各条件を満たしている場合に、ながら歩き状態であると判定する。
なお、ながら歩き状態であるか否かは、ステップS601〜ステップS603の判定によっても行うことができる。ただし、本実施の形態のように、移動速度や、ユーザの顔の向き、視線の向きのみならず背景の変化等までを判定条件に含めているため、ながら歩き状態を確実に判定することが可能になる。そして、携帯端末10は、危険判定処理(ステップS502)に進む。
次に、危険判定処理(ステップS502)の詳細について説明する。図7は、危険判定処理を示すフローチャートである。
まず、危険判定部11bは、ながら歩き判定フラグがオンであるか否かを判定する(ステップS701)。歩行状態判定処理においてながら歩き状態であると判定された場合にのみ危険判定処理を実行するのであれば、本ステップは省略することも可能である。ただし、歩行状態判定処理と危険判定処理とは同時並行的に実行することも可能であるため、各処理の実行タイミングによっては危険判定処理を開始する際にながら歩き判定フラグがオフになっている場合もある。このため、危険判定処理では、ながら歩き判定フラグがオンであることを確認している。
したがって、ながら歩き判定フラグがオフである場合には(ステップS701でNo)、危険判定部11bは、ユーザは危険状態にないと判定し(ステップS704)、危険報知処理を終了する。
一方、ながら歩き判定フラグがオンである場合には(ステップS701でYes)、危険判定部11bは、車両が接近しているか否かを判定する(ステップS702)。ユーザがながら歩きをしている場合であっても、周囲に走行する車両がない場合等、ユーザが危険な状態にない場合もある。このため、危険判定部11bは、車両の接近の有無等、周囲の状況を考慮して危険状態であるか否かを判定することとしている。
ここで、車両が接近しているか否かを判定する方法について説明する。車両30は、超音波出力部32から所定の周波数の超音波を出力しながら走行している。所定の周波数とは、携帯端末10の集音部19で集音可能な周波数であればよく、例えば、20kHz〜40kHzの任意の周波数とすることができる。
携帯端末10の集音部19が超音波を入力すると、危険判定部11bは、入力した超音波をFFT(Fast Fourier Transform)等の処理によって周波数成分に変換する。危険判定部11bは、この処理を定期的に実行し、周波数の変化に基づいて車両が接近しているかを判定する。つまり、車両30の超音波出力部32から出力される超音波の周波数が一定である場合には、車両が接近してくるにつれて携帯端末10に入力される超音波の周波数は徐々に高くなる(ドップラー効果による)。
したがって、危険判定部11bは、超音波の周波数が連続して所定回数以上高周波側に変化している場合に、車両が接近していると判定する。所定回数以上としているのは、接近している車両を確実に抽出するためであり、例えば一度接近した車両が直ぐに遠ざかった場合等を除外するためである、また、所定回数とは、接近していることを確実に判定可能な回数であればよく、例えば3回、5回、10回等、適宜設定可能である。
ステップS702において、車両が接近していない場合には(ステップS702でNo)、危険判定部11bは、ユーザは危険状態にないと判定し(ステップS704)、危険報知処理を終了する。
一方、車両が接近している場合には(ステップS702でYes)、危険判定部11bは、ユーザは危険状態にあると判定する(ステップS703)。このように、ユーザが単にながら歩きをしているというだけでなく、ユーザの周囲の状況(特に車両の接近)を考慮することで、ユーザが危険な状態にある場面を抽出することが可能になる。その後、携帯端末10は、危険度判定処理(ステップS503)に進む。
次に、危険度判定処理(ステップS503)の詳細について説明する。図8は、危険度判定処理を示すフローチャートである。
まず、危険度判定部11cは、車両30との相対速度に基づいた危険度を判定する(ステップS801)。車両30との相対速度は、車両30から集音した超音波の周波数の変化に基づいて導出することができる。本実施の形態では、相対速度を例えば2段階に分けて、危険度判定部11cは、相対速度が大きい場合に危険度が高く、小さい場合に危険度が低いと判定する。相対速度の大小の分け方は適宜設定可能である。例えば、相対速度が20km/h以上の場合には大きいとし、20km/h未満の場合には小さいとする等である。
そして、危険度判定部11cは、車両30との距離に基づいた危険度を判定する(ステップS802)。例えば、車両30が自車両の位置情報を超音波に重畳して出力する構成とすれば、携帯端末10は、自装置の位置情報と比較することで車両30との距離を導出することが可能になる。この場合、危険度判定部11cは、車両との距離を例えば2段階に分けて、距離が近い場合に危険度が高く、遠い場合に危険度が低いと判定する。距離の遠近の分け方は適宜設定可能である。例えば、距離が50m未満の場合には近いとし、50m以上の場合には遠いとする等である。
そして、危険度判定部11cは、高凝視性アプリの起動有無に基づいた危険度を判定する(ステップS803)。凝視性アプリとは、ユーザが画面を凝視する可能性の高いアプリケーションであり、例えば、動画再生アプリやゲームアプリ等である。危険度判定部11cは、各アプリに付与されているカテゴリ(例えば、動画、ゲーム等)に基づいて、使用しているアプリが凝視性の高いアプリであるか否かを判断し、凝視性が高い場合には危険度が高く、凝視性が低い場合には危険度が低いと判定する。
そして、危険度判定部11cは、イヤホン出力の有無に基づいた危険度を判定する(ステップS804)。危険度判定部11cは、音声出力部18のうち、イヤホン出力端子からの音声出力の有無を判断し、音声出力がある場合に危険度が高く、音声出力がない場合に危険度が低いと判定する。イヤホン出力端子から音声出力がある場合とは、ユーザがイヤホンを用いて音楽や動画の音声等を聴いている状態であり、周囲の音が聴こえない状態である。このため、ユーザは、車両の接近音等が聴こえず、車両の接近に気がつかない場合が多いため危険度を高くする。
そして、危険度判定部11cは、これら各判定処理にて判定された危険度に基づいて、ユーザに対して危険を報知する内容を選択するための総合的な危険度(以下「総合危険度」という)を判定する(ステップS805)。本実施の形態では、例えば、危険度判定部11cは、各処理にて判定された危険度のうち、高危険度が2以上ある場合には、総合危険度は高いとし、高危険度が1つの場合には、総合危険度は中とし、高危険度が0の場合には、総合危険度は低いとする。
ただし、総合危険度の判定方法は、これに限定されることはない。総合危険度を3段階以上に分けてもよいし、総合危険度を分類する際の各高危険度の数を変更してもよい。また、特定の危険度のみを用いて総合危険度を判定してもよい。総合危険度は、各処理にて判定された危険度の内容や組み合わせに応じて適宜設定することができる。各危険度と総合危険度との関係をテーブルとして記憶部21に持たせておき、危険度判定部11cが、このテーブルに基づいて判定してもよい。これにより、危険を報知する内容を選択するための危険度が判定される。そして、携帯端末10は、報知処理(ステップS504)に進む。
次に、報知処理(ステップS504)の詳細について説明する。図9は、報知処理を示すフローチャートである。
まず、報知制御部11dが、総合危険度に基づいて報知内容を選択する(ステップS901)。報知内容とは、危険である旨を示すメッセージや、アイコン、振動、音声等の種類及び内容である。報知制御部11dは、総合危険度に応じて、これら各種類のうちのいずれか又は複数を選択する。例えば、報知制御部11dは、総合危険度が高い場合には、メッセージと振動と音声とを選択し、総合危険度が中の場合には、アイコンと振動とを選択し、総合危険度が低い場合には、アイコンのみを選択する。
そして、報知制御部11dは、選択した報知内容に基づいてユーザに危険を報知する(ステップS902)。メッセージを表示して危険を報知する場合には、報知制御部11dは、メッセージをポップアップで、その際に表示している画面に割り込ませて表示部13に表示させる。アイコンを表示して危険を報知する場合には、報知制御部11dは、表示部13の画面上部等、所定の位置にアイコンを表示させる。
ここで、報知制御部11dが、画面にメッセージ等を表示する例について説明する。図10及び図11は、危険を報知する画面の例を示す図である。図10に示すように、報知制御部11dは、危険をメッセージで報知する場合に、メッセージを画面に割り込ませて表示させている。また、図11に示すように、報知制御部11dは、危険をアイコンで報知する場合に、アイコンを画面の所定の位置に表示させている。
また、振動により危険を報知する場合には、報知制御部11dは、携帯端末10を所定時間振動させる。音声により危険を報知する場合には、報知制御部11dは、音声出力部18から危険である旨の音声を出力する。報知制御部11dは、ユーザがイヤホンを使用している場合には、その際に出力している音声に割り込ませてイヤホン出力端子から音声を出力させる。また、報知制御部11dは、ユーザがイヤホンを使用していない場合にはスピーカから音声を出力させる。音声により報知する場合には、報知制御部11dは、例えば、イヤホン出力端子又はスピーカから「車両が接近しています」等の音声を出力する。これにより、ユーザの危険度に応じた危険の報知が可能になる。
このようにして、携帯端末10は、ユーザがながら歩きをしているときに、周囲の状況や携帯端末10の使用状態を考慮してユーザが危険な状況にあるか否かを判定し、その判定結果に応じて危険の報知の是非及びその内容を変えている。このため、ユーザがながら歩きをしていることと、ユーザが危険な状況にあることを確実に判定することができ、ユーザの危険度に応じた内容を報知することが可能となる。
<1−6.危険報知システムの処理>
本発明は、上述した携帯端末10のユーザに対する危険報知に加え、車両30のドライバに対して危険を報知することもできる。そこで、車両30のドライバに対する危険報知について説明する。
危険報知システム100においては、携帯端末10は、ユーザが危険な状況にあるときに、携帯端末10の位置情報をセンター40に送信している。具体的には、携帯端末10は、危険判定処理において危険な状態にあると判定されると、その旨及び位置情報(これらを「危険情報」という)をセンター40に送信する。そして、センター40は、危険情報を集約し、危険な状態にある携帯端末10の付近を走行する車両30に対して、危険情報を送信する。
車両30は、センター40から危険情報を受信すると、表示部36に危険情報を表示する。すなわち、地図の該当する位置に危険な状態にある携帯端末10が存在する旨を表示する。これにより、車両30のドライバに対しても周囲への注意力が低下している歩行者の存在を報知することができ、注意喚起を促すことができる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第1の実施の形態では、ユーザの周囲を走行する車両が接近しているか等を考慮して危険を判定する構成としていたが、車両以外の障害物を考慮して危険を判定する構成としてもよい。このため、第2の実施の形態では、車両以外の障害物を考慮して危険を判定する構成について説明する。
<2−1.システムの概要>
第2の実施の形態に係る危険報知システムは、図1に示す危険報知システム100と同様の構成である。つまり、第2の実施の形態に係る携帯端末10、車両30及びセンター40の構成は、第1の実施の形態と同様の構成である。第2の実施の形態では、携帯端末10による危険報知処理のうち、危険判定処理及び危険度判定処理が第1の実施の形態と異なる。このため、以下では、危険報知処理について第1の実施の形態と相違する点を中心に説明する。
<2−2.危険報知処理>
第2の実施の形態に係る危険報知処理について説明する。第2の実施の形態の危険報知処理の概要は、第1の実施の形態の危険報知処理と同様である。すなわち、携帯端末10は、図5に示す危険判定処理(歩行状態判定処理、危険判定処理、危険度判定処理及び報知処理)を実行する。本実施の形態の危険報知処理においては、歩行状態判定処理及び報知処理は第1の実施の形態と同様であるが、危険判定処理及び危険度判定処理が第1の実施の形態と相違する。
そこで、まず、本実施の形態の危険判定処理について説明する。図12は、危険判定処理を示すフローチャートである。
まず、危険判定部11bは、ながら歩き判定フラグがオンであるか否かを判定する(ステップS1201)。これは、上述したステップS701と同様である。ながら歩き判定フラグがオフである場合には(ステップS1201でNo)、危険判定部11bは、ユーザは危険状態にないと判定し(ステップS1205)、携帯端末10による危険報知処理を終了する。この処理も上述したステップS704と同様である。
一方、ながら歩き判定フラグがオンである場合には(ステップS1201でYes)、危険判定部11bは、障害物があるか否かを判定する(ステップS1202)。ユーザが歩道を歩行している場合であっても、歩道に存在する障害物と衝突する可能性がある。このため、危険判定部11bは、ユーザと衝突する危険性のある障害物の有無を判定し、障害物を考慮して危険状態であるか否かを判定することとしている。
ここで、障害物の有無を判定する方法について説明する。携帯端末10は、危険判定処理の実行中においても第2撮影部15を起動させておき、定期的に画像を撮影している。危険判定部11bは、撮影画像中に障害物が含まれているか否かを判定することで障害物の有無を判定する。障害物とは、例えば、電柱やベビーカーなどの衝突する危険性のある物体であり、駅のホームの端などの落下する危険性のある場所も含まれる。すなわち、例えば、記憶部21に予め電柱等の障害物のパターンを記憶しておき、危険判定部11bは、画像認識により抽出された物体等の形状とパターンとを比較して、その一致度に応じて障害物であるか否かを判定する。そして、障害物であると判定された場合に、危険判定部11bは、障害物が存在すると判定する。
ステップS1202において、障害物が存在しない場合には(ステップS1202でNo)、危険判定部11bは、ユーザは危険状態にないと判定し(ステップS1205)、危険報知処理を終了する。
一方、障害物が存在する場合には(ステップS1202でYes)、危険判定部11bは、ユーザの視線が画面を向いているか否かを判定する(ステップS1203)。ユーザの視線が画面を向いている場合には、障害物に気付いていない可能性が高いことから、危険状態を判定する際の条件としている。視線が画面を向いているか否かの判断は、上述したステップS604と同様の方法で行うことができる。
ユーザの視線が画面に向いていない場合には(ステップS1203でNo)、危険判定部11bは、ユーザは危険状態にないと判定し(ステップS1205)、危険報知処理を終了する。一方、ユーザの視線が画面に向いている場合には(ステップS1203でYes)、ユーザは危険状態にあると判定し(ステップS1204)、危険度判定処理(ステップS503)に進む。
なお、本発明の危険判定処理においては、本実施の形態で説明した障害物の有無の判定処理と、第1の実施の形態で説明した車両が接近しているか否かの判定処理(ステップS702)との双方を実行し、いずれかの条件を満たした場合に危険状態にあると判定する構成としてもよい。
次に、危険度判定処理について説明する。図13は、本実施の形態の危険度判定処理を示すフローチャートである。
まず、危険度判定部11cは、障害物との相対速度に基づいた危険度を判定する(ステップS1301)。障害物との相対速度は、障害物が電柱等の静止物である場合には、携帯端末10の移動速度から導出される。また、障害物がベビーカー等の移動物である場合には、危険度判定部11cは、画像の撮影間隔と画像認識により抽出された障害物との距離とを用いて導出する。そして、危険度判定部11cは、相対速度に応じて、例えば2段階に危険度を分ける。なお、障害物との相対速度が導出できない場合には、本ステップの処理は省略してもよい。
次に、危険度判定部11cは、障害物との距離に基づいた危険度を判定する(ステップS1302)。障害物との距離は、画像認識により抽出された障害物の位置を用いて導出される。そして、危険度判定部11cは、導出した距離に応じて、例えば2段階に危険度を分ける。なお、障害物との距離が導出できない場合には、本ステップの処理は省略してもよい。
次に、危険度判定部11cは、イヤホン出力の有無に基づいた危険度を判定する(ステップS1303)。これは、上述したステップS804の処理と同様にして行うことができる。
次に、危険度判定部11cは、これら各処理にて判定された危険度に基づいて、ユーザに対して危険を報知する内容を選択するための総合危険度を判定する(ステップS1304)。この判定においても、上述したステップS805の処理と同様にして行うことができる。そして、報知処理(ステップS504)に進む。なお、本実施の形態においては、障害物が検出され、危険状態と判定された場合には、危険度を判定することなく一律の危険度としてもよい。
これにより、ユーザがながら歩き状態で、車両以外の障害物と接触する可能性のある危険な状態にある場合に、ユーザがながら歩きをしていることと、ユーザが危険な状況にあることを確実に判定することができ、ユーザに対して危険である旨を報知することが可能になる。
<3.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記各実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
<3−1.歩行状態判定>
まず、歩行状態判定処理の変形例について説明する。上記各実施の形態では、歩行状態判定処理を開始すると、携帯端末10は、第1撮影部14及び第2撮影部15を起動させ、一定の間隔でユーザの顔や背景を撮影する構成について説明したが、撮影する間隔をユーザの移動速度に応じて可変する構成としてもよい。
例えば、携帯端末10は、ユーザの移動速度が早歩きをしている程度と判定した場合には(例えば、6km/h、又は4歩/sec)、間隔を短くして撮影する(例えば、500ms間隔)。また、携帯端末10は、ユーザの移動速度が通常歩行と同程度と判定した場合には(例えば、4km/h、又は2歩/sec)、間隔を長くして撮影する(例えば、1000ms間隔)。これにより、常に一定の移動距離毎に撮影することができるため、歩行状態の判定を正確に行いつつ、携帯端末10のバッテリの余分な消耗を防ぐことが可能になる。
また、上記各実施の形態では、加速度センサ12の出力値を用いて携帯端末10の移動速度を導出する構成について説明したが、位置情報取得部17が取得した位置情報を用いて移動速度を導出することもできる。この場合、携帯端末10は、所定間隔で位置情報を取得することにより、所定の時間で移動した距離を導出することができるため、これら時間と距離とに基づいて移動速度を導出することができる。また、位置情報取得部17として、例えばIMES(Indoor MEssaging System)などの屋内での位置情報を取得可能な技術を用いれば、ユーザが屋内で移動する際にも移動速度を判定することが可能になる。
また、上記各実施の形態では、顔及び視線が所定時間画面を向いていることをながら歩き状態の判定条件とする構成について説明したが、これに限定されるものではない。例えば、ユーザが携帯端末10で地図アプリケーションを使用している場合には、ユーザは携帯端末10の画面だけでなく周囲も見回す可能性がある。このため、地図アプリケーションを起動している場合には、顔及び視線が所定時間画面を向いているかを判定する処理(ステップS603〜S605)を行わずに歩行状態判定処理を行ってもよい。すなわち、歩行状態判定部11aは、地図アプリケーションが起動していると判定すると、ステップS601、S602及びS606の条件を満たしたときに、ながら歩き状態であると判定する。
また、上記各実施の形態では、加速度センサから取得した加速度に基づいて移動速度を導出し、その移動速度が人の歩行速度程度である場合にユーザが歩行状態にあると判定していたが、これに限定されるものではない。例えば、携帯端末10は、加速度センサから取得した加速度をFFT等の処理によって周波数成分に変換し、周波数から周期を導出する。携帯端末10は、これら周波数及び周期を記憶しておき、歩行状態と判定された際の周波数や周期を対応付けて記憶しておく。これにより、携帯端末10を所持するユーザ特有の周波数や周期の加速度を取得した際に、歩行状態であると判定することも可能である。また、移動速度に加えて、これら周波数や周期を判定条件に含めることで、より高精度に歩行状態を判定することが可能になる。このように、携帯端末10がユーザの歩行状態に対応する周波数や周期を学習することで、擬似的な加速度が携帯端末10に与えられている場合であっても、ユーザの歩行状態に対応する周波数や周期でない場合には、誤って歩行状態と判定することを回避することができる。
<3−2.危険判定>
次に、危険判定処理の変形例について説明する。上記各実施の形態では、車両30から所定の周波数の超音波を出力し、危険判定部11bが、周波数の変化に基づいて車両30の接近を判定する構成について説明したが、これに限定されるものではない。例えば、車両30が一定の音量の超音波を出力する構成とし、危険判定部11bが、超音波の音量の変化に基づいて車両30の接近を判定する構成としてもよい。
具体的には、車両30が一定の音量の超音波を出力している場合には、車両30が携帯端末10に接近するに従って、携帯端末10に入力される超音波の音量が大きくなる。このため、危険判定部11bは、超音波の音量が大きくなっていることを検出することで車両30が接近していると判定することができる。この場合、危険判定部11bは、超音波の音量が所定回数以上連続して大きくなっている場合に、車両30が接近していると判定する。所定回数以上としているのは、接近している車両30を確実に抽出するためである。所定回数は、適宜設定可能であるが、例えば3回、5回、10回等とすることができる。
また、音量が所定回数以上連続して大きくなっている場合に車両30が接近していると判定する方法の他に、車両30が接近しているか否かを判定するための閾値を設けて判定する方法を採用してもよい。この場合には、危険判定部11bは、超音波の音量が閾値を超えると、車両30が接近していると判定する。これにより、危険判定部11bは、車両30が携帯端末10から遠い位置を接近しながら走行している場合ではなく、危険な位置まで接近してきた場合に、その旨を検出することが可能になる。
また、車両30が一定の音量の超音波を出力する構成ではなく、車両30が速度に応じて超音波の音量を変化させて出力する構成としてもよい。例えば、車両30の速度が速くなるほど出力する超音波の音量を大きくする等である。この場合、携帯端末10は、入力した超音波の音量の大きさで車両30の速度や接近を把握することが可能になる。
また、上記各実施の形態で説明した構成に加えて、車両30が方向指示器を作動させた際に、その方向の情報と車両30の位置情報とを超音波に重畳して出力してもよい。この場合、携帯端末10は、方向の情報と車両30の位置情報とから、接近している車両30の動きを予測することができるため、ユーザに対して車両30の接近方向が分かるように危険を報知することが可能になる。
また、上記各実施の形態で説明した構成に加えて、車両30の警笛(クラクション)に、一定周波数の不可聴領域の超音波を重畳してもよい。この場合、車両30が警笛を鳴らしながら接近してくると、携帯端末10は、超音波出力部32から出力された超音波と警笛に重畳された超音波との双方を入力することとなる。この場合、例えば、接近の判定に閾値を設けている場合には、携帯端末10は、車両30の接近の判定をより早く行うことができる。
また、上記各実施の形態では、車両30が常に超音波を出力する構成について説明したが、これに限定されるものではない。例えば、車両30の周囲に歩行者がいない場合や、歩行者に対して接触する可能性がない場合等、明らかに歩行者が危険な状況にならない場合には、超音波の出力を停止してもよい。明らかに歩行者が危険な状況にならない場合とは、例えば、車両30が高速道路を走行している場合や、車両30が駐車場に駐車している場合、車両30が赤信号で停車している場合等である。
また、上記各実施の形態では、車両30が専用の超音波出力部32を設けている構成について説明したが、これに限定されるものではない。車両30に障害物検知用の超音波センサ(例えば、クリアランスソナー)が搭載されている場合には、その超音波センサの出力周波数を集音部19で集音可能な周波数とすれば兼用可能である。
また、車両30が電気自動車やハイブリッド車である場合には、これら車両30には、周囲に自車両の存在を報知するための通報音を発生する通報音発生装置が設けられている。このため、車両30の接近を判定する際には、超音波出力部32から出力された超音波の代わりに通報音発生装置から出力された通報音を用いてもよい。この場合、車両30は、専用の超音波出力部32を設ける必要がない。
危険判定部11bは、通報音発生装置から出力された通報音に対応する周波数の音を入力すると、入力した通報音の周波数や音量等に基づいて車両30の接近を判定する。また、車種毎に異なる周波数の通報音が用いられている場合には、入力した通報音の周波数に応じて接近する車両30の車種をユーザに対して報知することもできる。これにより、ユーザは具体的にどの車両が接近してきたかを知ることができる。
また、車両30が走行する際には、車両30のエンジン音やロードノイズ音が発生しているため、車両30の接近を判定する際には、超音波出力部32から出力された超音波の代わりにこれらエンジン音やロードノイズ音を用いてもよい。この場合、車両30の接近を判定させるための専用の超音波出力部32や通報音発生装置を設ける必要がなく、全ての車両30の接近を判定することが可能になる。
<3−3.危険度判定>
次に、危険度判定処理の変形例について説明する。上記各実施の形態では、車両30や障害物等との相対速度や距離、イヤホン出力有無等に応じて危険度を判定していたが、これに限定されるものではなく、他の状況を考慮して危険度を判定してもよい。
例えば、携帯端末10が無線LANのアクセスポイントに接続している場合には、携帯端末10は、そのアクセスポイントの識別情報に基づいて、そのアクセスポイントが屋内であるか、電車等の公共交通機関であるかを識別することができる。携帯端末10がこのような屋内や電車等のアクセスポイントに接続している場合とは、ユーザが車両30に接触する等の危険な状況にはない可能性が高い場合である。このため、危険度判定部11cは、携帯端末10が屋内や電車等のアクセスポイントに接続している場合には、危険度が低い状態であると判定し、危険度判定に反映させてもよい。
また、携帯端末10やセンター40が、予め交通事故多発地点の情報を有している場合には、携帯端末10の位置に基づいて危険度を判定する構成としてもよい。例えば、危険度判定部11cは、位置情報取得部17が取得した位置情報と、交通事故多発地点の情報とを比較して、携帯端末10の位置が交通事故多発地点の付近に存在している場合には、危険度が高い状態であると判定し、危険度判定に反映させる等である。
また、車両30が警笛を鳴らしている状況は、ユーザにとって非常に危険な状況である可能性が高い。このため、携帯端末10が、車両30の超音波出力部32から出力された超音波と、警笛に重畳された不可聴領域の超音波との双方を入力した場合には、危険度判定部11cは、危険度が高い状態であると判定し、危険度判定に反映させてもよい。
また、上述した車両や障害物との相対速度や距離を考慮して危険度を判定する場合や、携帯端末10の利用状況(起動アプリやイヤホン出力等)を考慮して危険度を判定する場合の他、ながら歩きの継続時間を考慮して危険度を判定してもよい。例えば、ユーザがながら歩きをしていると判定された場合に、危険度判定部11cは、その継続時間が長いほど危険度を高くしていく等である。
また、ユーザが歩行している道路の利用頻度を考慮して危険度を判定してもよい。例えば、ユーザが過去に歩行した道路を記憶しておき、その頻度に応じて危険度を判定する方法である。具体的には、ユーザが頻繁に通る道については、ユーザはある程度その危険性について知っているものとして、危険度が低い状態であると判定し、ユーザがあまり通らない道については、ユーザはその危険性についてあまり知らないものとして、危険度が高い状態であると判定する等である。この場合、危険度判定部11cは、ユーザが歩行している道路と、過去における利用頻度とを比較して危険度を判定する。
なお、危険度判定部11cは、上述した各々の状況のみを用いて総合危険度を判定してもよいし、各々の危険度を組み合わせて総合危険度を判定してもよい。総合危険度を判定する場合には、危険度判定部11cは、各状況から判定された各危険度を任意に組み合わせたり、各危険度に異なる重み付けをして、それらに応じて危険度を判定することができる。
<3−4.その他>
なお、上記各実施の形態では、歩行状態判定処理を開始すると、携帯端末10の第1撮影部14と第2撮影部15と集音部19とを起動させ、各々画像の撮影と集音とを行っている。このため、ユーザが無意識のうちに携帯端末10の各撮影部14・15や集音部19を手で塞いでしまっている場合には、歩行状態判定処理を正常に実行することができない。従って、携帯端末10は、歩行状態判定処理を開始すると、ユーザが第1撮影部14と第2撮影部15と集音部19を手で塞いでいるか否かを監視し、塞いでいる場合にはユーザに対してその旨と持ち方の変更を促す報知を行ってもよい。
また、上記各実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。