JP2021145177A - 携帯端末装置、通知方法、およびプログラム - Google Patents

Abstract

【課題】適切にユーザに報知すること。【解決手段】携帯端末装置は、表示画面と、表示画面側に配置され表示画面に対向する方向を撮影する第一カメラと、第一カメラの反対方向における物体形状を取得するセンサと、を備える携帯端末装置であって、携帯端末装置が移動していることを検出する移動検出部と、表示画面に情報が表示されていることを検出する表示検出部と、携帯端末装置が移動しており、かつ表示画面に情報が表示されているときに、第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断部と、顔認識判断部が第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、センサの出力から、路面の変化を検出する路面検出部と、路面検出部が路面の変化を検出した場合に通知する通知処理部と、を備える。【選択図】図１

Description

本発明は、携帯端末装置、通知方法、およびプログラムに関する。

近年、スマートフォンなどの携帯端末を歩行しながら利用することに対する問題が提起されている。特許文献１には、携帯端末の進行方向における人の顔を認識し、ユーザに報知する技術が開示されている。

特開２０１２−１６９８２４号公報

特許文献１の技術では、携帯端末のユーザが携帯端末の表示画面を注視していない場合であっても、報知されてしまうことがある。そのため、携帯端末の表示画面を注視しながら歩行をしているユーザに適切に報知することが望まれる。

本発明は、適切にユーザに報知することのできる携帯端末装置、通知方法、およびプログラムを提供することを目的とする。

本発明の一態様に係る携帯端末装置は、表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサと、を備える携帯端末装置であって、前記携帯端末装置が移動していることを検出する移動検出部と、前記表示画面に情報が表示されていることを検出する表示検出部と、前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断部と、前記顔認識判断部が前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出部と、前記路面検出部が路面の変化を検出した場合に通知する通知処理部と、を備える。

本発明の一態様に係る通知方法は、表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサをと、を備える携帯端末装置が実行する方法であって、前記携帯端末装置が移動していることを検出する移動検出ステップと、前記表示画面に情報が表示されていることを検出する表示検出ステップと、前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断ステップと、前記顔認識判断ステップで前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出ステップと、前記路面検出ステップで路面の変化を検出した場合に通知する通知処理ステップと、を含む。

本発明の一態様に係るプログラムは、表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサをと、を備える携帯端末装置として動作するコンピュータに実行させるプログラムであって、前記携帯端末装置が移動していることを検出する移動検出ステップと、前記表示画面に情報が表示されていることを検出する表示検出ステップと、前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断ステップと、前記顔認識判断ステップで前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出ステップと、前記路面検出ステップで路面の変化を検出した場合に通知する通知処理ステップと、を前記コンピュータに実行させる。

本発明によれば、適切にユーザに報知することができる。

図１は、第一実施形態に係る携帯端末装置の構成の一例を示すブロック図である。 図２Ａは、第一実施形態に係る携帯端末装置の外観の前面の一例を示す図である。 図２Ｂは、第一実施形態に係る携帯端末装置の外観の後面の一例を示す図である。 図３は、第一実施形態に係る携帯端末装置の通知処理の流れの一例を示すフローチャートである。 図４Ａは、通知処理部による通知の一例を説明するための図である。 図４Ｂは、通知処理部による通知の一例を説明するための図である。 図５は、第一実施形態の変形例に係る携帯端末装置の構成を示すブロック図である。 図６は、第二実施形態に係る携帯端末装置の処理の流れの一例を示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下の説明においては、ＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。所定面のＸ軸と平行な方向をＸ軸方向とし、Ｘ軸と直交する所定面のＹ軸と平行な方向をＹ軸方向とし、所定面と直交するＺ軸と平行な方向をＺ軸方向とする。Ｘ軸方向を左右方向、Ｙ軸方向を前後方向、Ｚ軸方向を上下方向と呼ぶこともある。

［第一実施形態］
図１と、図２Ａと、図２Ｂとを用いて、第一実施形態に係る携帯端末装置の構成について説明する。図１は、第一実施形態に係る携帯端末装置の構成の一例を示すブロック図である。図２Ａは、第一実施形態に係る携帯端末装置の外観の前面の一例を示す図である。図２Ｂは、第一実施形態に係る携帯端末装置の外観の後面の一例を示す図である。携帯端末装置は、所謂、スマートフォン、タブレット端末、ゲーム装置、電子書籍装置などであり、本実施形態においては、スマートフォンの例として説明する。

図１に示すように、携帯端末装置１は、第一カメラ１０と、第二カメラ（センサ）２０と、ＧＮＳＳ（Global Navigation Satellite System）受信部３０と、操作部４０と、表示部５０と、送受信部６０と、制御部１００と、を備える。

第一カメラ１０は、携帯端末装置１の前面側に設けられている。ここでいう前面とは、表示部５０が備えられている面である。第一カメラ１０は、携帯端末装置１の前面側に対向する方向を撮像するように配置されている。例えば、第一カメラ１０は、ユーザが表示部５０を目視している場合、携帯端末装置１のユーザの顔を撮像可能である。第一カメラ１０は、撮像した撮影データを撮影データ取得部１１０に出力する。第一カメラ１０は、インカメラと呼ばれることもある。

第二カメラ２０は、携帯端末装置１の後面側に設けられている。ここでいう後面側とは、前面の裏側である。第二カメラ２０は、携帯端末装置１の後面側対向する方向を撮像するように配置されている。例えば、第二カメラ２０は、撮影方向において携帯端末装置１の後面側の路面などを撮像可能である。第二カメラ２０は、路面を撮像することで、路面に関する路面情報を取得する。第二カメラ２０は、撮像した撮影データを撮影データ取得部１１０に出力する。第二カメラ２０は、アウトカメラと呼ばれることもある。

ＧＮＳＳ受信部３０は、ＧＮＳＳ信号を受信する。ＧＮＳＳ受信部３０は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信器などで構成される。ＧＮＳＳ受信部３０は、受信したＧＮＳＳ信号を位置情報取得部１３０に出力する。

操作部４０は、携帯端末装置１に対する各種の操作を受け付ける。操作部４０は、例えば、表示部５０と一体に設けられたタッチパネルで実現される。操作部４０は、物理的なスイッチを含んでもよい。

表示部５０は、携帯端末装置１の前面側に設けられている。表示部５０は、各種の情報を表示する。表示部５０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。

送受信部６０は、携帯端末装置１と、外部の装置との間で情報の送受信を行う。具体的には、送受信部６０は、携帯端末装置１の外部から受信した情報を制御部１００に出力したり、制御部１００から出力された情報を携帯端末装置１の外部に送信したりする。

制御部１００は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本発明に係る情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。制御部１００は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部１００は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部１００は、撮影データ取得部１１０と、認識処理部１２０と、位置情報取得部１３０と、表示制御部１４０と、操作制御部１５０と、送受信制御部１６０と、移動検出部１７０と、通知処理部１８０と、を備える。

撮影データ取得部１１０は、撮影データを取得する。撮影データ取得部１１０は、例えば、第一カメラ１０から携帯端末装置１の前面側に対向する方向を撮像した撮影データを取得する。撮影データ取得部１１０は、例えば、第二カメラ２０から携帯端末装置１の後面側に対向する方向を撮像した撮影データを取得する。

認識処理部１２０は、撮影データ取得部１１０が取得した撮影データに対して物体認識処理などを含む各種の認識処理を実行する。認識処理部１２０は、例えば、図示しない記録部に記録された辞書データを用いて、認識処理を実行する。認識処理部１２０は、例えば、認識対象に合わせ周知の検出アルゴリズムを用いて、検出処理を実行する。認識処理部１２０は、顔認識判断部１２１と、路面検出部１２２と、を備える。

顔認識判断部１２１は、撮影データに対して人の顔の認識処理を行い、撮影データに人の顔が含まれているか否かを判断する。顔認識判断部１２１は、例えば、第一カメラ１０が撮影した撮影データに対して、顔認識処理を行う。具体的には、顔認識判断部１２１は、第一カメラ１０が撮影した撮影データの撮影範囲に対して、所定割合以上のサイズの顔が認識された場合に、顔が認識されたと判断する。第一カメラ１０が撮影した撮影データの撮影範囲に対して、所定割合以上のサイズの顔が認識された場合とは、第一カメラ１０の近傍、つまり携帯端末装置１の全面側の近傍に人の顔があるということである。このような状態とは、通常、認識された人が表示部５０を注視している可能性が高い状態である。顔認識判断部１２１は、遠方の顔、すなわち所定割合未満のサイズの顔は認識対象から除外してもよい。顔認識判断部１２１は、予め登録された顔（例えば、携帯端末装置１のユーザの顔）が検出されたことを判断条件としてもよい。顔認識判断部１２１は、任意のタイミングで顔認識を行い、その結果を記憶し、認識頻度の高い顔が検出されたことを判断条件としてもよい。認識頻度の高い顔は、例えば、携帯端末装置１のユーザの顔である。

路面検出部１２２は、例えば、第二カメラ２０が撮影した撮影データに対して、路面検出処理を行う。具体的には、路面検出部１２２は、第二カメラ２０の撮影データに対して、エッジ検出処理や、物体形状検出処理を実行して、第二カメラ２０の撮影データに含まれる路面の形状を取得する。

路面検出部１２２は、撮影データに対して路面検出処理を行い、路面の変化を検出する。路面検出部１２２は、例えば、携帯端末装置１の表示部５０の表示画面を注視しながら歩行している場合に、転倒する危険があるほどの路面の変化を検出する。言い換えると、路面検出部１２２は、携帯端末装置１の表示部５０の表示画面を注視しながら歩行をするユーザにとって危険となる路面の変化を検出する。言い換えれば、路面検出部１２２は、歩行を阻害する路面の変化を検出する。具体的には、路面検出部１２２は、所定以上（例えば、５ｃｍ）以上の高低差のある段差、物体、穴などを検出する。例えば、路面検出部１２２は、駅のホーム上や、工事現場近傍などのユーザが転落する恐れのある場所において、路面の変化を検出する。路面検出部１２２は、常時、路面検出処理を行い、路面の変化の有無を判定する。路面検出部１２２は、移動検出部１７０で移動が検出された場合、表示制御部１４０が検出対象の表示を表示部５０に表示させている場合、および顔認識判断部１２１で顔が検出された場合などに第二カメラ２０が撮影した撮影データに対して、路面検出処理を行ってもよい。

位置情報取得部１３０は、携帯端末装置１の現在位置の位置情報を取得する。位置情報取得部１３０は、ＧＮＳＳ受信部３０が受信したＧＮＳＳ信号に基づいて、携帯端末装置１の現在位置の位置情報を算出する。

表示制御部１４０は、表示部５０に表示させる映像を制御する。表示制御部１４０は、表示部５０に対して映像信号を出力することで、表示させる映像を制御する。表示制御部１４０は、例えば、表示部５０にホーム画面を表示させる。表示制御部１４０は、例えば、ＳＮＳ（Social Network Service）、メール、動画アプリ、静止画アプリ、ゲームアプリ、電子書籍、ブラウザなどを用いて表示される情報を表示部５０に表示させる。

操作制御部１５０は、操作部４０が受け付けた各種の情報を受け付ける。操作制御部１５０は、例えば、ＳＮＳ、メール、動画アプリ、静止画アプリ、ゲームアプリ、電子書籍、ブラウザを利用する操作などの各種操作を受け付ける。

送受信制御部１６０は、送受信部６０の動作を制御する。送受信制御部１６０は、送受信部６０を制御して、携帯端末装置１の外部からの信号を受信したり、携帯端末装置１の外部に信号を送信したりする。

移動検出部１７０は、位置情報取得部１３０が取得した位置情報の推移から、携帯端末装置１の移動状況として、移動有無および移動速度を検出する。移動検出部１７０は、例えば、速度が時速３ｋｍ／ｈ〜６ｋｍ／ｈなど、携帯端末装置１が連続的に移動していることを検出する。連続的な移動には、一部に断続する断続的な移動も含む。移動検出部１７０は、例えば、携帯端末装置１の移動速度に基づいて、携帯端末装置１のユーザが徒歩で移動していることを検出してもよい。移動検出部１７０は、移動速度に加えて、図示しない加速度センサの検出結果に基づく振動の傾向などを含めて、携帯端末装置１のユーザが徒歩移動していることを検出してもよい。

通知処理部１８０は、路面検出部１２２が携帯端末装置１の第二カメラの撮影方向、つまり携帯端末装置１のユーザの進行方向に路面の変化を検出した場合に、その旨を音声または表示で通知する。通知処理部１８０は、例えば、移動検出部１７０により携帯端末装置１のユーザが徒歩で移動していると判定された状況で、路面検出部１２２が携帯端末装置１のユーザの進行方向に路面の変化を検出した場合に、その旨を音声または表示で通知する。

［第一実施形態の通知処理］
図３を用いて、第一実施形態に係る携帯端末装置１の通知処理について説明する。図３は、第一実施形態に係る携帯端末装置１の通知処理の流れの一例を示すフローチャートである。

制御部１００は、表示部５０の表示画面に情報が表示されている否かを判定する（ステップＳ１００）。具体的には、表示制御部１４０は、検出対象の情報を表示させているか否かを判定する。より具体的には、表示制御部１４０は、ＳＮＳなどの、携帯端末装置１のユーザが、連続的に見ることが多いまたは連続的に見ることが有用な情報を表示させているか否かを判定する。表示部５０の表示画面に情報が表示されていると判定された場合（ステップＳ１００；Ｙｅｓ）、ステップＳ１１０に進む。一方、表示部５０の表示画面に情報が表示されていないと判定された場合（ステップＳ１００；Ｎｏ）、ステップＳ１８０に進む。

ステップＳ１００でＹｅｓと判定された場合、制御部１００は、携帯端末装置１のユーザが移動中であるか否か、つまり携帯端末装置１の位置の移動が徒歩移動に該当する移動であるか否かを判定する（ステップＳ１１０）。具体的には、移動検出部１７０は、携帯端末装置１のユーザが徒歩で移動中であるか否かを判定する。携帯端末装置１のユーザが徒歩で移動中であると判定された場合（ステップＳ１１０；Ｙｅｓ）、ステップＳ１２０に進む。携帯端末装置１のユーザが徒歩で移動中でないと判定された場合（ステップＳ１１０；Ｎｏ）、ステップＳ１８０に進む。

ステップＳ１１０でＹｅｓと判定された場合、制御部１００は、第一カメラ１０の映像から顔認識処理を開始し、顔が認識されたか否かを判定する（ステップＳ１２０）。具体的には、顔認識判断部１２１は、第一カメラ１０から取得した撮影データから、撮影データの撮影範囲に対して所定割合以上のサイズの顔が認識されたか否か、言い換えると、携帯端末装置１の表示部５０を注視している人がいるか否かを判定する。ステップＳ１１０の判定は、認識された顔が、携帯端末装置１のユーザの顔であるか否かの条件を含めてもよいを。顔が認識されたと判定された場合（ステップＳ１２０；Ｙｅｓ）、ステップＳ１３０に進む。顔が認識されていないと判定された場合（ステップＳ１２０；Ｎｏ）、ステップＳ１８０に進む。

ステップＳ１２０でＹｅｓと判定された場合、制御部１００は、第二カメラ２０の映像に対する路面検出処理を開始する。（ステップＳ１３０）。具体的には、路面検出部１２２は、第二カメラ２０から取得した撮影データに対して路面検出処理を実行し、路面の変化の検出を開始する。そして、ステップＳ１４０に進む。

制御部１００は、所定以上の路面の変化が検出された否かを判定する（ステップＳ１４０）。具体的には、路面検出部１２２は、エッジ検出処理または物体件処理などの結果から路面の形状の変化がユーザにとって危険であるような路面の変化が検出されたか否かを判定する。所定以上の路面の変化が検出されたと判定された場合（ステップＳ１４０；Ｙｅｓ）、ステップＳ１５０に進む。所定以上の路面の変化が検出されていないと判定された場合（ステップＳ１４０；Ｎｏ）、ステップＳ１７０に進む。

ステップＳ１４０でＹｅｓと判定された場合、制御部１００は、通知処理を開始する（ステップＳ１５０）。具体的には、通知処理部１８０は、表示部５０の表示画面に表示されている情報を注視している携帯端末装置１のユーザが気づきやすい通知を行う。また、通知処理部１８０は、ユーザによる表示画面の注視を中断させるような通知であることが好ましい。そして、ステップＳ１６０に進む。

図４Ａと、図４Ｂとは、通知処理部１８０による通知の一例を説明するための図である。図４Ａは、通知処理部１８０による通知が行われる前の表示部５０の状態を示している。図４Ａでは、表示部５０の表示画面は、全領域において情報表示範囲５１となる。情報表示範囲５１には、ＳＮＳなどの携帯端末装置１のユーザが視認することを所望する情報が表示される。

図４Ｂは、通知処理部１８０による通知が行われた後の表示部５０の状態を示している。図４Ｂに示すように、表示部５０の表示画面は、情報表示範囲５１と、通知表示範囲５２と、を含む。通知表示範囲５２には、例えば、「路面注意。注意してください。」といった警告メッセージが表示される。通知表示範囲５２には、例えば、警告マークなどが表示されてもよい。通知表示範囲５２は、情報表示範囲５１よりも広いことが好ましい。携帯端末装置１のユーザは、通知表示範囲５２に警告メッセージまたは警告マークが表示されることで、情報表示範囲５１の表示されている情報を視認し難くなる。

図３に戻る。制御部１００は、条件を満たさなくなった否かを判定する（ステップＳ１６０）。具体的には、ステップＳ１００の判定、ステップＳ１１０の判定、およびステップＳ１２０の判定のいずれかがＮｏとなることで、条件を満たさなくなったと判定する。条件を満たさなくなったと判定された場合（ステップＳ１６０；Ｙｅｓ）、ステップＳ１７０に進む。条件を満たしていると判定された場合（ステップＳ１６０；Ｎｏ）、ステップＳ１４０に進む。

ステップＳ１６０でＹｅｓと判定された場合、制御部１００は、顔認識処理、路面検出処理および通知処理とを終了する（ステップＳ１７０）。具体的には、路面検出部１２２は、第二カメラ２０から取得した撮影データに対する路面検出処理を終了する。通知処理部１８０は、通知処理を終了する。そして、ステップＳ１８０に進む。

制御部１００は、一連の処理を終了するか否かを判定する（ステップＳ１８０）。具体的には、操作制御部１５０は、携帯端末装置１のユーザによる操作部４０に対する操作を一定時間の間に受け付けなかった場合に一連の処理を終了すると判定する。通知処理を終了すると判定された場合（ステップＳ１８０；Ｙｅｓ）、図３の処理を終了する。通知処理を終了しないと判定された場合（ステップＳ１８０；Ｎｏ）、ステップＳ１００に進む。

上述のとおり、第一実施形態は、携帯端末装置１の画面を注視ながら歩行をしているユーザに対して、ユーザの顔が所定以上の大きさで検出され、かつ路面の変化が危険である場合に、歩行を停止させるような通知を行う。これにより、第一実施形態は、携帯端末装置１の画面を注視しながらの歩行を停止させることができる。

［変形例］
図５を用いて、第一実施形態に係る携帯端末装置１Ａの構成について説明する。図５は、第一実施形態に係る携帯端末装置１Ａの構成を示すブロック図である。

図５に示すように、携帯端末装置１Ａは、センサ７０を備え、認識処理部１２０Ａに路面検出部を含まない点で、図１に図示の携帯端末装置１と異なっている。

センサ７０は、物体の形状を測定可能なセンサである。センサ７０は、例えば、路面の形状を測定可能なセンサである。センサ７０は、例えば、超音波センサまたはレーザセンサなどで実現することができる。センサ７０は、物体の形状の測定結果を路面検出部１２２Ａに出力する。なお、センサ７０は、物体の形状を測定することのできるセンサであれば特に制限はない。

制御部１００Ａの路面検出部１２２Ａは、センサ７０による路面の測定結果に基づいて、路面の変化を検出する。すなわち、第二実施形態では、路面検出部１２２Ａは、撮影データからではなく、センサ７０による測定結果に基づいて、所定以上の高低差のある段差、物体、穴などを検出する。路面検出部１２２Ａの機能については、路面検出部１２２と同様なので説明を省略する。

［第二実施形態の通知処理］
図６を用いて、第二実施形態に係る携帯端末装置１の通知処理について説明する。図６は、第二実施形態に係る携帯端末装置１の通知処理の流れの一例を示すフローチャートである。なお、第二実施形態に係る携帯端末装置の構成は、第一実施形態に係る携帯端末装置１と同一の構成なので説明を省略する。

ステップＳ２００、ステップＳ２１０、およびステップＳ２３０からステップＳ２９０の処理は、それぞれ、図３に図示のステップＳ１００からステップＳ１８０と同一の処理なので、説明を省略する。

ステップＳ２１０でＹｅｓと判定された場合、制御部１００は、路面の変化が危険な場所であるか否かを判定する（ステップＳ２２０）。具体的には、路面検出部１２２は、位置情報取得部１３０がＧＮＳＳ信号に基づいて取得した位置情報と、図示しない記憶部などから取得した地図情報に基づいて、現在の位置が駅のホーム上や、工事現場近傍などのユーザが転落する恐れのある場所であるか否かを判定する。路面の変化が危険な場所であると判定された場合（ステップＳ２２０；Ｙｅｓ）、ステップＳ２３０に進む。路面の変化が危険な場所でないと判定された場合（ステップＳ２２０；Ｎｏ）、ステップＳ２９０に進む。

上述のとおり、第二実施形態は、路面の変化が危険な場所において、携帯端末装置１の画面を注視ながら歩行をしているユーザに対して、ユーザの顔が所定以上の大きさで検出され、かつ路面の変化が危険である場合に、歩行を停止させるような通知を行う。これにより、第二実施形態は、転落するおそれのある危険な場所で携帯端末装置１の画面を注視しながらの歩行を停止させることができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

例えば、顔認識判断部１２１による顔認識処理は、顔の検出に加えて検出された顔における視線も検出し、視線が携帯端末装置１、特に表示部５０を向いていることを判断条件としてもよい。

１，１Ａ 携帯端末装置
１０ 第一カメラ
２０ 第二カメラ
３０ ＧＮＳＳ受信部
４０ 操作部
５０ 表示部
６０ 送受信部
７０ センサ
１００，１００Ａ 制御部
１１０ 撮影データ取得部
１２０ 認識処理部
１２１ 顔認識判断部
１２２ 路面検出部
１３０ 位置情報取得部
１４０ 表示制御部
１５０ 操作制御部
１６０ 送受信制御部
１７０ 移動検出部
１８０ 通知処理部

Claims (7)

1. 表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサと、を備える携帯端末装置であって、
   前記携帯端末装置が移動していることを検出する移動検出部と、
   前記表示画面に情報が表示されていることを検出する表示検出部と、
   前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断部と、
   前記顔認識判断部が前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出部と、
   前記路面検出部が路面の変化を検出した場合に通知する通知処理部と、
   を備える、携帯端末装置。
2. 前記路面検出部は、路面の変化として歩行を阻害する路面の変化を検出する、
   請求項１に記載の携帯端末装置。
3. 前記携帯端末装置の位置情報および地図情報に基づいて前記携帯端末装置の現在位置情報を取得する位置情報取得部をさらに備え、
   前記路面検出部は、前記位置情報取得部が取得した結果に基づき、路面の変化が危険となる場所である場合に、路面の変化を検出する、
   請求項１または２に記載の携帯端末装置。
4. 前記顔認識判断部は、前記第一カメラの撮影データから、所定サイズ以上の予め登録された顔が認識されたか否かを判断する、
   請求項１から３のいずれか１項に記載の携帯端末装置。
5. 前記顔認識判断部は、前記第一カメラの撮影データから、認識頻度の高い顔が認識されたか否かを判断する、
   請求項１から３のいずれか１項に記載の携帯端末装置。
6. 表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサをと、を備える携帯端末装置が実行する方法であって、
   前記携帯端末装置が移動していることを検出する移動検出ステップと、
   前記表示画面に情報が表示されていることを検出する表示検出ステップと、
   前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断ステップと、
   前記顔認識判断ステップで前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出ステップと、
   前記路面検出ステップで路面の変化を検出した場合に通知する通知処理ステップと、
   を含む、通知方法。
7. 表示画面と、前記表示画面側に配置され前記表示画面に対向する方向を撮影する第一カメラと、前記第一カメラの反対方向における物体形状を取得するセンサをと、を備える携帯端末装置として動作するコンピュータに実行させるプログラムであって、
   前記携帯端末装置が移動していることを検出する移動検出ステップと、
   前記表示画面に情報が表示されていることを検出する表示検出ステップと、
   前記携帯端末装置が移動しており、かつ前記表示画面に情報が表示されているときに、前記第一カメラの撮影データから所定サイズ以上の顔が認識されたか否かを判断する顔認識判断ステップと、
   前記顔認識判断ステップで前記第一カメラの撮影データから所定サイズ以上の顔が認識されたと判断しているときは、前記センサの出力から、路面の変化を検出する路面検出ステップと、
   前記路面検出ステップで路面の変化を検出した場合に通知する通知処理ステップと、
   を前記コンピュータに実行させる、プログラム。

Images