JP2004294283A - ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム - Google Patents
ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム Download PDFInfo
- Publication number
- JP2004294283A JP2004294283A JP2003087477A JP2003087477A JP2004294283A JP 2004294283 A JP2004294283 A JP 2004294283A JP 2003087477 A JP2003087477 A JP 2003087477A JP 2003087477 A JP2003087477 A JP 2003087477A JP 2004294283 A JP2004294283 A JP 2004294283A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- unit
- terminal
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Mobile Radio Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】送信側端末装置10の画像入力部12は方向情報の送出先の人物を撮像した撮像部11からの画像を取り込む。方向検出部13は撮像した画像に含まれる頭部画像を解析し、顔(頭部)の方向を検出する。方向情報生成部14は、方向検出部13の顔方向検出結果に基づいて、相手の向きに対して自分の位置を示す方向情報を生成する。情報送信部17は選択された相手方と通信を行い、方向情報等を送出する。受信側端末装置20の情報表示部28は、受信部21で受信された情報に含まれる方向情報を、他の情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、携帯電話等の移動可能な端末に好適なナビゲーション装置、ナビゲーション方法及びプログラムに関する。
【0002】
【従来の技術】
従来、自動車等の移動可能な端末におけるナビゲーションにおいては、目的地等の位置情報を保持する地図データ及び自端末の位置を計測するGPS(地球規模測地システム)によって、目的地の方向を指示したり、道路等のルートを自動的に選択して表示することが行われてきた。GPSは複数の衛星の電波を捕捉する必要があるため、トンネルやビル等の影響により利用できなくなることがある。このため、ジャイロや地磁気センサーによって自端末の向きを検出するとともに、加速度センサー等によって自端末の移動を検出し、補完することも行われている。
【0003】
一方、携帯電話やPHSのような小無線ゾーン方式の移動通信網においては、基地局のゾーン情報と端末の位置登録とによって、自端末の位置の計測や通知が行われ、これらの端末位置情報を利用した対端末のナビゲーション技術が知られている(例えば、特許文献1参照)。
【0004】
また、携帯電話等の端末には小型のカメラが装備可能となり、静止画像や動画像のデータをテキスト等のメッセージとともに別の端末へ送出する機能や、動画像付きでの通話(テレビ電話)機能が提供されている。人物の頭部画像に基づいて人物の顔の方向を検出する技術は、入力された頭部画像について、目鼻などの特徴点抽出処理、特徴点を基準とした顔領域切り出し処理、顔領域の正規化等の処理を行った後、顔面の明るさ(濃淡値)等を特徴量として利用するものである(例えば、特許文献2参照)。
【0005】
【特許文献1】
特開平11−341546号公報(図1、図2)
【特許文献2】
特開平10−260772号公報(図11、図12)
【0006】
【発明が解決しようとする課題】
携帯電話等の端末を持った人物が徒歩で移動し、他の人物と待ち合わせをするような場合を想定すると、GPSで得られる位置情報の精度は、近接した2点間で方向を示すには十分でない場合や、GPSによる位置計測を開始するためには時間が掛かることが多いため、互いに移動する端末相互の位置計測では問題が生じることがある。更に、建物内やビル街ではGPSが利用できないことがあり、これを補完する移動検出手段は小型の携帯端末には搭載困難である。
【0007】
また、基地局のゾーン情報による位置計測は、サービス提供エリアであれば、建物内や地下街等で利用できても、基地局のサービスするゾーンは地上では百〜数百メートルにもなる。基地局の出力の制御によって計測精度を上げられる場合もあるが、見通しのきかない場所等利用するには十分ではない。
【0008】
これらの方法を複合的に適用しても、徒歩で移動する人物相互の位置関係を適切に表示することは困難であった。
上記問題を鑑みて、本発明は携帯端末において、簡単に端末相互の位置関係を表示できるナビゲーション装置、ナビゲーション方法及びそのプログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明のナビゲーション装置は、他の端末と通信可能なナビゲーション装置において、前記他の端末を保持する人物の頭部を撮像した画像を取り込む画像入力部と、前記画像を解析し、前記他の端末を保持する人物の頭部の方向を検出する方向検出部と、前記方向検出部の検出結果に基づいて、前記他の端末を保持する人物の顔の正面に対応した方向情報を生成する方向情報生成部と、前記生成された方向情報を前記他の端末に送信する情報送信部とを具備することを特徴とする。
【0010】
また、本発明のナビゲーションシステムは、複数の端末で構成されるナビゲーションシステムにおいて、第2の端末を保持する人物を撮像した画像を取り込む画像入力部と、前記画像を解析し、前記第2の端末を保持する人物の頭部の方向を検出する方向検出部と、前記方向検出部の検出結果に基づいて、前記第2の端末を保持する人物の顔の正面に対応した方向情報を生成する方向情報生成部と、前記生成された方向情報を前記第2の端末に送信する情報送信部とからなる第1の端末と、前記情報送信部が送信した方向情報を受信する受信部と、前記受信部が取り込んだ方向情報を表示する情報表示部とからなる第2の端末とを具備することを特徴とする。
【0011】
また、本発明のナビゲーション方法は、送信先の人物を撮像した画像を取り込むステップと、前記撮像した画像を解析し、前記人物の頭部の方向を検出するステップと、前記検出結果に基づいて、前記人物の顔の正面から前記送信元への方向に対応した方向情報を生成するステップと、前記生成された方向情報を送信するステップとを含むことを特徴とする。
【0012】
更に、本発明のナビゲーションプログラムは、ナビゲーション装置上で実行可能なプログラムであって、送信先の人物を撮像した画像を取り込むステップと、前記撮像した画像を解析し、前記人物の頭部の方向を検出するステップと、前記検出結果に基づいて、前記人物の顔の正面から前記送信元への方向に対応した方向情報を生成するステップと、前記生成された方向情報を送信するステップとを実行させることを特徴とする。
【0013】
上記により、本発明は、移動自在な端末装置を保持する人間同士が、徒歩で移動し待ち合わせをするような場合に、高精度の位置情報が利用できなくても、一方の人物が他の人物を発見して頭部(顔)画像を撮像することによって、相手端末上に自分のいる方向を表示させることができる。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は本発明の第1の実施の形態を示すブロック図である。
本実施の形態は移動自在な端末装置を保持する人間同士で、相手に自分の位置を伝達する場合の例を示している。本実施の形態は、送信側において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の向きを検出することで、相手の向きに対して自分の位置を示す方向情報を得て、この方向情報を相手端末に送信し、受信側において端末上に表示するようにしたものである。
【0015】
図1において、送信側端末装置10と受信側端末装置20とは、情報を伝送する無線等の通信路または通信網によって接続されている。
送信側端末装置10の撮像部11は、利用者(送信側端末装置を操作する人物)の操作によって、方向情報の送出先である相手方(受信側端末装置を保持する人物)の頭部(顔)を撮像する。画像入力部12は、撮像された画像を取り込む。
【0016】
方向検出部13は、画像入力部12の出力に基づいて、撮像した画像に含まれる頭部画像を解析し、顔(頭部)の方向を検出するようになっている。画像入力部12が撮像した人物の頭部画像に基づいて、人物の顔の方向を検出する技術としては、特開平10−260772号公報にて開示されたものがある。
【0017】
この技術は、入力された頭部画像について、目鼻などの特徴点抽出処理、特徴点を基準とした顔領域切り出し処理、顔領域の正規化等の処理を行った後、顔面の明るさ(濃淡値)等を特徴量として利用するものである。
【0018】
図2は特徴量の例を示す説明図である。図2は濃淡によって画像の明るさを示している。図2の画像41は顔部を正面から撮像した場合の特徴量を示しており、両目と鼻の穴の特徴点が他の部分に比べて暗く、そのだいたいの位置及び形状が特徴的に示されている。
【0019】
これに対し、画像42は、両目の位置は正面画像41と同様であるが、鼻の穴の位置が撮像領域の左側に寄っている。即ち、画像42は、顔が撮像部11に対して右を向いた場合の右向き画像を示している。同様に画像43は、左向き画像である。画像44は画像41に比べて、垂直方向に両目が細く、鼻の穴が太く、全体に明るいので、上向き画像であり、逆に、画像45は、垂直方向に両目が太く、鼻の穴が細く、全体に暗いので下向き画像である。このように、特徴量を利用することで、顔(頭部)の向きを検出可能である。
【0020】
また、方向検出部13は、利用者の操作によって選択された通信の相手方(受信側端末装置)の情報によって、相手方人物についての、予め登録された顔特徴点の3次元位置等のキャリブレーション情報を参照してもよい。
【0021】
方向検出部13による相手方の顔の方向検出結果は方向情報生成部14に出力される。方向情報生成部14は、入力された顔方向検出結果に基づいて、相手の向きに対して自分の位置を示す方向情報を生成する。情報入力部15は、利用者の操作によって、通信路を選択する情報や通信網において通信の相手方(受信側端末装置)を選択する電話番号その他の情報を入力する。合わせて、相手方に送出するテキスト等のメッセージ情報を入力することもできる。情報送信部17は、選択された相手方と通信を行い、方向情報生成部14によって生成された方向情報と、情報入力部15によって入力されたメッセージ情報とを送出する。
【0022】
受信側端末装置20の受信部21は、情報送信部17によって自端末宛に送信された情報を受信し、情報表示部28は、受信部21で受信された情報に含まれる方向情報を、他のテキスト等のメッセージ情報や、通信網における通信の相手方(送信側端末装置)を識別する発信者電話番号等の送信元情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される。
【0023】
図3に受信側端末装置20の情報表示部の具体的例を示す。
画面中央に受信側端末装置のシンボルが表示され、受信側から見た方向に対して矢印で示され、矢印の先に送信側端末装置のシンボルが表示されている。送信側端末のシンボルの横には電話番号が送信元情報として表示されている。更に、他のテキスト等のメッセージ情報は表示画面下部に表示されるようになっている。
【0024】
なお、体の正面方向と顔の方向との差は通常小さく、端末画面を見る際には顔の方向と画面方向はほぼ一致していること、利用者は画面を見た場合に体の正面方向か顔の方向を基準として方向を理解すること等により、本実施の形態による方向表示は有効に作用する。
【0025】
また、本実施の形態においては、撮像部11は送信側端末装置に含まれているものとして説明したが、端末の外部、例えば送信側端末を保持する人物の頭部等に装着してもよい。いずれにしても、生成される方向情報は撮像部を基準としたものとなり、送信側人物の方向を識別する上では問題にならない。即ち、送信側端末装置を保持する人物と撮像部11の設置位置の間の距離は、受信側端末装置において認識される送信元の位置の誤差として、許容される誤差の大きさに合致した距離内に撮像部11を配置すればよい。
【0026】
方向情報において高さ方向の情報を扱わないようにすることも可能であり、その場合は高さが異なる位置に撮像部11を設置してもよい。更に、送信側は人物である必要はなく、受信者に送信元として認識させたい場所近傍に撮像部11を設置することで、受信者に対して送信元を容易に設定することも可能である。
【0027】
なお、本実施の形態においては、受信側端末装置を保持する人物の顔についてのキャリブレーション情報を予め送信側端末装置に登録しておいて参照することについて上述したが、送信先情報が入力された時点で、受信側端末装置からキャリブレーション情報を取得するようにしてもよい。
【0028】
また、送信先情報は情報入力部15において、利用者の操作によって入力されるものとして説明したが、予め登録しておいた送信先毎の人物の顔画像とを参照して、入力された顔画像を認識し、自動的に送信先の選択を行うようにしてもよい。
【0029】
本実施の形態において、送信側から受信側へ一方向の通信を行うものとして説明したが、受信側から送信側への要求に従って方向情報を送信したり、送信側にメッセージ表示して撮像させたりしてもよい。その他、通信路や通信網の種類、通信の相手方の指定方法や通信の開始方法は問わない。
【0030】
また、本実施の形態においては、1回の通信において1回の画像の撮像についてのみ説明を行ったが、複数回の撮像を行ったり、動画像を連続的に処理してもよい。
このように、本実施の形態においては、撮像した受信者の頭部(顔)情報を基に、受信者からみた送信者の方向を受信側で表示するので、移動端末において簡単に相手端末上に自分のいる方向を表示させることができる。
【0031】
図4は本発明の第2の実施の形態を示すブロック図である。
本実施の形態は、送信側において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の画像を撮像し、この画像情報を相手端末に送信し、受信側において、画像中の自分の頭部(顔)の向きを検出することで、自分の向きに対して相手の位置を示す方向情報を得て、この方向情報を端末上に表示するようにしたものである。即ち、画像から頭部(顔)の向きを検出し、方向情報を得る処理を受信側端末において行う点と、方向情報に代えて画像情報を送信する点とが、第1の実施の形態と異なる。
【0032】
図4において、送信側端末装置10と受信側端末装置20とは、情報を伝送する無線等の通信路または通信網によって接続されている。
送信側端末装置10の撮像部11は、利用者の操作によって、方向情報の送出先である相手方(受信側端末装置を保持する人物)の顔を撮像する。画像入力部12は、撮像された画像を取り込む。
【0033】
情報入力部15は、利用者の操作によって、通信路を選択する情報や通信網において通信の相手方(受信側端末装置)を選択する電話番号その他の情報を入力することもできる。合わせて、相手方に送出するテキスト等のメッセージ情報を入力する。
【0034】
情報送信部17は、選択された相手方と通信を行い、画像入力部12によって取り込まれた画像情報と、情報入力部15によって入力されたメッセージ情報とを送出する。
【0035】
受信側端末装置20の受信部21は、情報送信部17によって自端末宛に送信された情報を受信する。
方向検出部23は、第1の実施の形態における方向検出部13と同様に、受信部21で受信された画像に含まれる頭部画像を解析し、顔(頭部)の方向を検出するようになっている。方向検出部23は、自端末を保持する人物についての、予め登録された顔特徴点の3次元位置等のキャリブレーション情報を参照してもよい。
【0036】
方向検出部23による顔の方向の検出結果は方向情報生成部24に出力、方向情報生成部24は、第1の実施の形態における方向情報生成部14と同様に、入力された顔方向検出結果に基づいて、自分の向きに対して相手の位置を示す方向情報を生成する。
【0037】
情報表示部28は、生成された方向情報を、他のテキスト等のメッセージ情報や、通信網における通信の相手方(送信側端末装置)を識別する発信者電話番号等の送信元情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される。また、受信部21で受信された画像を合わせて表示してもよい。
【0038】
このように、本実施の形態においても第1の実施の形態と同様の効果を得ることができる。
なお、本実施の形態においては、受信側に、方向検出部23、方向情報生成部24及び情報表示部28の全てを含むものとして説明したが、方向検出部23や方向情報生成部24が情報表示部28との間で無線等による通信が可能である場合には、受信部21及び方向検出部23並びに方向情報生成部24は、いずれの位置に配置されていてもよい。
【0039】
また、本実施の形態においては、1回の通信において1回の画像の撮像についてのみ説明を行ったが、複数回の撮像を行ったり、動画像を連続的に処理してもよい。
図5は本発明の第3の実施の形態を示すブロック図である。
本実施の形態は、送信側端末において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の画像を撮像し、この画像情報をサーバに送信し、サーバにおいて、画像中の頭部(顔)の向きを検出することで、受信側の向きに対して送信側の位置を示す方向情報を得、この方向情報を受信側端末に送信し、受信側において端末上に表示するようにしたものである。即ち、画像から頭部(顔)の向きを検出し、方向情報を得る処理を通信網上のサーバ装置において行う点が、前記第1、第2の実施の形態と異なる。
【0040】
図5において、送信側端末装置10とサーバ装置30との間、及びサーバ装置30と受信側端末装置20との間は、情報を伝送する無線等の通信路または通信網によって接続されている。
【0041】
送信側端末装置10の撮像部11は、利用者の操作によって、方向情報の送出先である相手方(受信側端末装置を保持する人物)の顔を撮像する。画像入力部12は、撮像された画像を取り込む。
【0042】
情報入力部15は、利用者の操作によって、通信路を選択する情報や通信網において通信の相手方(受信側端末装置)を選択する電話番号その他の情報を入力することもできる。合わせて、相手方に送出するテキスト等のメッセージ情報を入力する。
【0043】
画像情報送信部18は、サーバと通信を行い、選択された通信の相手方を指定する送信先情報と、画像入力部12によって取り込まれた画像情報と、情報入力部15によって入力されたメッセージ情報とを送出する。
【0044】
サーバ装置30の画像情報受信部31は、画像情報送信部18によって送信された情報を受信する。方向検出部32は、第2の実施の形態における方向検出部23と同様に、画像情報受信部31で受信された画像に含まれる頭部画像を解析し、顔(頭部)の方向を検出するようになっている。
【0045】
また、方向検出部32は、送信側端末装置によって指定された通信の相手方(送信先情報)によって、受信側端末装置を保持する人物についての、予め登録された顔特徴点の3次元位置等のキャリブレーション情報を参照してもよい。方向検出部32による顔の方向の検出結果は方向情報生成部33に出力される。方向情報生成部33は、第2の実施の形態における方向情報生成部24と同様に、入力された顔方向検出結果に基づいて、受信側の向きに対して送信側の位置を示す方向情報を生成する。方向情報送信部34は、送信側端末装置によって指定された相手方と通信を行い、方向情報生成部33によって生成された方向情報と、画像情報受信部31で受信されたメッセージ情報とを送出する。
【0046】
このように、本実施の形態においても第1及び第2の実施の形態と同様の効果を得ることができる。
なお、本実施の形態においては、受信側端末装置を保持する人物の顔についてのキャリブレーション情報を予めサーバに登録しておいて参照することもできるとしているが、送信先情報を受け取った時点で、受信側端末装置からキャリブレーション情報を取得するようにしてもよい。
【0047】
また、本実施の形態においては、1回の通信において1回の画像の撮像についてのみ説明を行ったが、複数回の撮像を行ったり、動画像を連続的に処理してもよい。
図6は本発明の第4の実施の形態を示すブロック図である。図6において図1と同一の構成要素には同一符号を付して説明を省略する。
本実施の形態は、送信側において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の向きを検出することで、その時点での相手の向きに対して自分の位置を示す方向情報を得て、この方向情報を撮像時刻情報とともに相手端末に送信し、受信側において、自分の向きの変化を記録しておき、撮像時刻情報に基づいて方向情報を補正した後、端末上に表示するようにしたものである。即ち、受信側の向きの変化の記録と撮像時刻に基づいて方向情報を補正する点が、第1の実施の形態と異なる。
【0048】
送信側端末装置10の撮像時刻情報生成部16は、画像入力部12の出力に対応して撮像時刻の情報を作成する。この撮像時刻情報は、方向情報等の情報とともに情報送信部17から送信される。
【0049】
受信側端末装置20の動き情報記録部25は、受信側端末装置20、または受信者自身に設置された地磁気センサー等を用いて計測した自端末の向きを時刻情報とともに連続的に記録する。
【0050】
補正情報生成部26は、受信部21の受信した撮像時刻情報に基づいて、記録された動き情報を検索し、撮像時刻から現在までの自端末の向きの変化を補正情報として生成する。
【0051】
方向情報補正部27は、受信部21の受信した方向情報と補正情報生成部26の生成した補正情報から、補正された方向情報を生成する。
情報表示部28は、補正された方向情報を、他のテキスト等のメッセージ情報や、通信網における通信の相手方(送信側端末装置)を識別する発信者電話番号等の送信元情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される。
【0052】
図7は本発明の第5の実施の形態を示すブロック図である。図7において図4と同一の構成要素には同一符号を付して説明を省略する。
本実施の形態は、送信側において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の画像を撮像し、この画像情報を撮像時刻情報とともに相手端末に送信し、受信側において、画像中の自分の頭部(顔)の向きを検出することで、自分の向きに対して相手の位置を示す方向情報を得るとともに、自分の向きの変化を記録しておき、撮像時刻情報に基づいてこの方向情報を補正した後、端末上に表示するようにしたものである。即ち、受信側の向きの変化の記録と撮像時刻に基づいて方向情報を補正する点が、第2の実施の形態と異なり、画像から頭部(顔)の向きを検出し、方向情報を得る処理を受信側端末において行う点と、方向情報に代えて画像情報を送信する点とが、第4の実施の形態と異なる。
【0053】
送信側端末装置10の撮像時刻情報生成部16は、画像入力部12の出力に対応して撮像時刻の情報を作成する。この撮像時刻情報は、画像等の情報とともに情報送信部17から送信される。
【0054】
受信側端末装置20の動き情報記録部25は、受信側端末装置20、または受信者自身に設置された地磁気センサー等を用いて計測した自端末の向きを時刻情報とともに連続的に記録する。
【0055】
補正情報生成部26は、受信部21の受信した撮像時刻情報に基づいて、記録された動き情報を検索し、撮像時刻から現在までの自端末の向きの変化を補正情報として生成する。
【0056】
方向情報補正部27は、方向情報生成部24の生成した方向情報と補正情報生成部26の生成した補正情報から、補正された方向情報を生成する。
情報表示部28は、補正された方向情報を、他のテキスト等のメッセージ情報や、通信網における通信の相手方(送信側端末装置)を識別する発信者電話番号等の送信元情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される。また、受信部21で受信された画像を合わせて表示してもよい。
【0057】
このように、第4及び第5の実施の形態においては、情報を受信して表示させるまでに時間が経過した場合など、受信側の向きが変化しても第1及び第2の実施の形態と同様の効果を得ることができる。
【0058】
なお、時間の経過に伴い、送信側が移動することもあるが、短時間であれば受信側の方向の変化に比べて影響は小さい。より長時間の経過に対応するためには、送信側や受信側において、GPSその他の位置情報を記録し、その変化を使用して補正情報を生成するようにしてもよい。
【0059】
また、第4及び第5の実施の形態において、動き情報記録部25において、自端末の向きを記録したが、これに代えて頭部に装着する地磁気センサーや加速度センサーを利用して、頭部(顔)の向きを記録するようにしてもよい。この場合、装置は若干複雑になるが、首を大きく左右に振った場合や、カバンの中の端末を取り出した場合などにも正しく補正情報を生成させることができる。
【0060】
図8は本発明の第6の実施の形態を示すブロック図である。図8において図5と同一の構成要素には同一符号を付して説明を省略する。
本実施の形態は、送信側端末において、相手が自分から見える位置にいる場合に、相手の頭部(顔)の画像を撮像し、この画像情報をサーバに送信し、サーバにおいて、画像中の頭部(顔)の向きを検出することで、受信側の向きに対して送信側の位置を示す方向情報を得て、この方向情報を撮像時刻情報とともに受信端末に送信し、受信側において自分の向きの変化を記録しておき、撮像時刻情報に基づいて方向情報を補正した後、端末上に表示するようにしたものである。即ち、受信側の向きの変化の記録と撮像時刻に基づいて方向情報を補正する点が前記第3の実施の形態と異なる。
【0061】
図8において、送信側端末装置10とサーバ装置30との間、及びサーバ装置30と受信側端末装置20との間は、情報を伝送する無線等の通信路または通信網によって接続されている。
【0062】
送信側端末装置10の撮像部11は、利用者の操作によって、方向情報の送出先である相手方(受信側端末装置を保持する人物)の顔を撮像する。画像入力部12は、撮像された画像を取り込む。送信側端末装置10の撮像時刻情報生成部16は、画像入力部12の出力に対応して撮像時刻の情報を作成する。この撮像時刻情報は、画像等の情報とともに画像情報送信部18から送信される。
【0063】
情報入力部15は、利用者の操作によって、通信路を選択する情報や通信網において通信の相手方(受信側端末装置)を選択する電話番号その他の情報を入力することもできる。合わせて、相手方に送出するテキスト等のメッセージ情報を入力する。
【0064】
画像情報送信部18は、サーバと通信を行い、選択された通信の相手方を指定する送信先情報と、画像入力部12によって取り込まれた画像情報と、情報入力部15によって入力されたメッセージ情報と、撮像時刻情報部16によって作成された撮像時刻情報とを送出する。
【0065】
サーバ装置30の画像情報受信部31は、画像情報送信部18によって送信された情報を受信する。方向検出部32は、第2の実施の形態における方向検出部23と同様に、画像情報受信部31で受信された画像に含まれる頭部画像を解析し、顔(頭部)の方向を検出するようになっている。
【0066】
また、方向検出部32は、送信側端末装置によって指定された通信の相手方(送信先情報)によって、受信側端末装置を保持する人物について予め登録された顔特徴点の3次元位置等のキャリブレーション情報を参照してもよい。方向検出部32による顔の方向の検出結果は方向情報生成部33に出力される。方向情報生成部33は、第2の実施の形態における方向情報生成部24と同様に、入力された顔方向検出結果に基づいて、受信側の向きに対して送信側の位置を示す方向情報を生成する。
【0067】
補正情報生成部35は、画像情報受信部31の受信した撮像時刻情報に基づいて、記録された動き情報を検索し、撮像時刻から現在までの受信端末の向きの変化を補正情報として生成する。
【0068】
方向情報補正部36は、画像情報受信部31の受信した方向情報と補正情報生成部35の生成した補正情報から、補正された方向情報を生成する。
方向情報送信部34は、送信側端末装置によって指定された相手方と通信を行い、画像情報受信部31で受信された画像情報及びメッセージ情報とを送出する。方向情報送信部34は、送信側端末装置によって指定された相手方と通信を行い、方向情報補正部36によって補正された方向情報と、画像情報受信部31で受信されたメッセージ情報とを送出する。
【0069】
受信側端末装置20の動き情報記録部25は、受信側端末装置20、または受信者自身に設置された地磁気センサー等を用いて計測した自端末の向きを時刻情報とともに連続的に記録する。方向情報受信部22はサーバ装置30の方向情報送信部34から送信された方向情報を受信し、情報表示部28は、補正された方向情報を、他のテキスト等のメッセージ情報や、通信網における通信の相手方(送信側端末装置)を識別する発信者電話番号等の送信元情報等とともに画面表示する。このようにして、受信側の画面上には、自分の顔の方向を基準とした相手の方向が表示される
【0070】
このように、本実施の形態においても第4及び第5の実施の形態と同様の効果を得ることができる。
なお、本実施の形態においては、受信側端末装置を保持する人物の顔についてのキャリブレーション情報を予めサーバに登録しておいて参照することもできるとしているが、送信先情報を受け取った時点で、受信側端末装置からキャリブレーション情報を取得するようにしてもよい。
【0071】
また、本実施の形態においては、1回の通信において1回の画像の撮像についてのみ説明を行ったが、複数回の撮像を行ったり、動画像を連続的に処理してもよい。
次に、このように構成された実施の形態の動作について図9のフローチャート及び図10の説明図を参照して説明する。
いま、2人の人物A,Bが待ち合わせをしているものとする。人物A,Bはそれぞれ図10に示す端末装置61及び62を保持しているものとする。これらの端末装置は、図1に示す送信側端末装置10及び受信側端末装置20の機能を共に備えたものであるが、ここでは、端末装置61が送信側端末装置10として、端末装置62が受信側端末装置20として、それぞれ機能する。
【0072】
ここで、例えば、人物Aが人物Bを待ち合わせ場所で遠くから発見したときに、図9のステップS51において、端末装置61の撮像部11を操作して人物Bの頭部(図10に示す63)を撮像する。
【0073】
撮像した画像が画像入力部12に入力されると、ステップS52において、送信側端末の方向検出部13が撮像方向を基準とした人物Bの顔の方向を検出する。のステップS53において、方向情報生成部14は、人物Bの顔の方向を基準とした撮像部の方向、即ち人物Aの方向情報を生成する。
【0074】
図11はステップS53における方向情報の生成方法を説明するためのものである。図11(a)は撮像方向を示し、図11(b)は顔方向を示している。
いま、人物Bの方向から見た人物Aの顔の方向が、図11(a)に示すように、例えば左30度、上15度だとすると、これは、人物Aから見た人物Bの方向が、図11(b)に示すように、右30度、下15度であることを意味する。
【0075】
また、人物Aは、情報入力部15において、テキストのメッセージとして例えば「ごめん、待ったー?」を入力し、方向情報とともに、情報送信部17を介して端末装置62に送信する。
【0076】
人物Bの端末装置62では、受信部21において受信された方向情報とテキストメッセージとが、ステップS54において、情報表示部28で表示される。
【0077】
【発明の効果】
以上説明したように本発明によれば、移動自在な端末装置を保持する人間同士が、徒歩で移動し待ち合わせをするような場合に、高精度の位置情報が利用できなくても、一方の人物が他の人物を発見して頭部(顔)画像を撮像することによって、相手端末上に自分のいる方向を表示させることができるという効果を有する。
【図面の簡単な説明】
【図1】第1の実施の形態に係るナビゲーション装置を示すブロック図。
【図2】特徴量を示す説明図。
【図3】受信側端末で表示される表示画面。
【図4】第2の実施の形態に係るナビゲーション装置を示すブロック図。
【図5】第3の実施の形態に係るナビゲーション装置を示すブロック図。
【図6】第4の実施の形態に係るナビゲーション装置を示すブロック図。
【図7】第5の実施の形態に係るナビゲーション装置を示すブロック図。
【図8】第6の実施の形態に係るナビゲーション装置を示すブロック図。
【図9】第1の実施の形態の動作を説明するためのフローチャート。
【図10】ナビゲーション装置の利用形態を説明するための説明図。
【図11】方向情報の生成を説明するための説明図。
【符号の説明】
10…送信側端末装置、11…撮像部、12…画像入力部、13…方向検出部、14…方向情報生成部、15…情報入力部、16…撮像時刻情報生成部、17…情報送信部、18…画像情報送信部、20…受信側端末装置、21…受信部、22…方向情報受信部、23…方向検出部、24…方向情報生成部、25…動き情報記録部、26…補正情報生成部、27…方向情報補正部、28…情報表示部、30…サーバ装置、31…画像情報受信部、32…方向検出部、33…方向情報生成部、34…方向情報送信部、35…補正情報生成部、36…方向情報補正部
Claims (20)
- 他の端末と通信可能なナビゲーション装置において、
前記他の端末を保持する人物の頭部を撮像した画像を取り込む画像入力部と、
前記画像を解析し、前記他の端末を保持する人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記他の端末を保持する人物の顔の正面を基準とした方向情報を生成する方向情報生成部と、
前記生成された方向情報を前記他の端末に送信する情報送信部とを具備することを特徴としたナビゲーション装置。 - 他の端末と通信可能なナビゲーション装置において、
前記他の端末から送信された人物の頭部を撮像した画像を受信する受信部と、
前記画像を解析し、前記人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記人物の顔の正面を基準とした方向情報を生成する方向情報生成部と、
前記方向情報を表示する情報表示部とを具備したことを特徴としたナビゲーション装置。 - 第1の端末と第2の端末との間で通信される通信網に接続されたナビゲーション装置において、
前記第1の端末から送信した第2の端末を保持する人物を撮像した画像を受信する画像情報受信部と、
前記画像を解析し、前記第2の端末を保持する人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記第2の端末を保持する人物の顔の正面から前記第1の端末の方向に対応した方向情報を生成する方向情報生成部と、
前記生成された方向情報を前記第2の端末に送信する方向情報送信部とを具備することを特徴としたナビゲーション装置。 - 他の端末と通信可能なナビゲーション装置において、
前記他の端末を保持する人物の頭部を撮像した画像を取り込む画像入力部と、
前記画像の撮像時刻を記録し、撮像時刻情報を生成する撮像時刻情報生成部と、
前記画像を解析し、前記他の端末を保持する人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記他の端末を保持する人物の顔の正面を基準とした方向情報を生成する方向情報生成部と、
前記生成された方向情報を前記他の端末に送信する情報送信部とを具備することを特徴としたナビゲーション装置。 - 他の端末と通信可能なナビゲーション装置において、
前記第1の端末から送信した撮像時刻情報と前記第2の端末を保持する人物の頭部を撮像した画像とを受信する受信部と、
前記画像を解析し、前記人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記人物の顔の正面を基準とした方向情報を生成する方向情報生成部と、
前記人物の頭部の動き情報を時刻とともに記録する動き情報記録部と、
前記撮像時刻情報に基づいて前記動き情報を検索し、前記撮像時刻から現在までの顔の向きの変化を補正情報として生成する補正情報生成部と、
前記方向情報と前記補正情報とに基づいて、補正された補正方向情報を生成する方向情報補正部と、
前記補正方向情報を表示する情報表示部とを具備したことを特徴としたナビゲーション装置。 - 第1の端末と第2の端末との間で通信される通信網に接続されたナビゲーション装置において、
前記第1の端末から送信された撮像時刻情報と人物の頭部を撮像した画像を受信する受信部と、
前記画像を解析し、前記第2の端末を保持する人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記第2の端末を保持する人物の顔の正面から前記第1の端末の方向に対応した方向情報を生成する方向情報生成部と、
前記撮像時刻情報に基づいて、前記第2の端末を保持する人物の頭部の動き情報を時刻とともに前記第2の端末に記録された動き情報を検索し、前記撮像時刻から現在までの顔の向きの変化を補正情報として生成する補正情報生成部と、
前記方向情報と前記補正情報とに基づいて、補正された補正方向情報を生成する方向情報補正部と、
前記補正方向情報を前記第2の端末に送信する方向情報送信部とを具備することを特徴としたナビゲーション装置。 - 前記動き情報記録部は、人物の頭部動き情報に代えて、端末の向きの変化情報を時刻とともに記録することを特徴とした請求項5又は請求項6のいずれかに記載のナビゲーション装置。
- 前記情報送信部はさらに、メッセージ情報をも送信することを特徴とした請求項1又は請求項4のいずれかに記載のナビゲーション装置。
- 前記受信部は、更に送信されたメッセージ情報を受信し、
前記情報表示部は、前記受信部が取り込んだメッセージ情報を、前記方向情報又は前記補正方向情報とともに表示することを特徴とする請求項2又は請求項5いずれかに記載のナビゲーション装置。 - 前記受信部は、更に送信されたメッセージ情報を受信し、
前記方向情報送信部は、前記受信部が取り込んだメッセージ情報を、前記方向情報又は前記補正方向情報とともに送信することを特徴とする請求項3又は請求項6いずれかに記載のナビゲーション装置。 - 更に、ナビゲーション装置を保持する人物に装着され前記人物の顔の方向に一致した方向を撮像した撮像手段を具備することを特徴とする請求項1又は請求項4のいずれかに記載のナビゲーション装置。
- 互いに通信可能な通信網に接続される複数の端末で構成されるナビゲーションシステムにおいて、
第2の端末を保持する人物を撮像した画像を取り込む画像入力部と、
前記画像を解析し、前記第2の端末を保持する人物の頭部の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記第2の端末を保持する人物の顔の正面を基準とした方向情報を生成する方向情報生成部と、
前記生成された方向情報を前記第2の端末に送信する情報送信部とからなる第1の端末と、
前記情報送信部が送信した方向情報を受信する受信部と、
前記受信部が取り込んだ方向情報を表示する情報表示部とからなる第2の端末と
を具備することを特徴としたナビゲーションシステム。 - 互いに通信可能な通信網に接続される複数の端末で構成されるナビゲーションシステムにおいて、
第2の端末を保持する人物を撮像した画像を取り込む画像入力部と、
前記撮像した画像を送信する情報送信部とからなる第1の端末と、
前記情報送信部が送信した画像を受信する受信部と、
前記受信部が取り込んだ画像を解析し、前記人物の顔の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記人物の顔の正面から前記第1の端末の方向に対応した方向情報を生成する方向情報生成部と、
前記生成された方向情報を表示する情報表示部とからなる第2の端末と
を具備することを特徴としたナビゲーションシステム。 - 互いに通信可能な通信網に接続される複数の端末で構成されるナビゲーションシステムにおいて、
第3の端末を保持する人物を撮像した画像を取り込む画像入力部と、
前記撮像した画像を送信する画像情報送信部とからなる第1の端末と、
前記画像情報送信部が送信した画像を受信する画像情報受信部と、
前記画像情報受信部が取り込んだ画像を解析し、前記第3の端末を保持する人物の顔の方向を検出する方向検出部と、
前記方向検出部の検出結果に基づいて、前記第3の端末を保持する人物の顔の正面から前記第1の端末の方向に対応した方向情報を生成する方向情報生成部と、
前記方向情報を送信する方向情報送信部とからなる第2の端末と、
前記方向情報を受信する方向情報受信部と、
前記方向情報受信部が取り込んだ方向情報を表示する情報表示部とからなる第3の端末と
を具備することを特徴としたナビゲーションシステム。 - 送信先の人物を撮像した画像を取り込むステップと、
前記撮像した画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元への方向を基準とした方向情報を生成するステップと、
前記生成された方向情報を送信するステップとを含むことを特徴とするナビゲーション方法。 - 送信先の人物を撮像した画像を受信するステップと、
前記画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元の方向を基準とした方向情報を生成するステップと、
前記生成された方向情報を表示するステップとを含むことを特徴とするナビゲーション方法。 - 送信先の人物を撮像した画像を受信するステップと、
前記画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元の方向に対応した方向情報を生成するステップと、
前記生成された方向情報を前記送信先に送信するステップとを含むことを特徴とするナビゲーション方法。 - ナビゲーション装置上で実行可能なプログラムであって、
送信先の人物を撮像した画像を取り込むステップと、
前記撮像した画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元への方向に対応した方向情報を生成するステップと、
前記生成された方向情報を送信するステップとを実行させることを特徴としたナビゲーションプログラム。 - ナビゲーション装置上で実行可能なプログラムであって、
送信先の人物を撮像した画像を受信するステップと、
前記画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元の方向に対応した方向情報を生成するステップと、
前記生成された方向情報を表示するステップとを実行させることを特徴としてナビゲーションプログラム。 - ナビゲーション装置上で実行可能なプログラムであって、
送信先の人物を撮像した画像と前記送信先で記録された該画像の撮像時刻情報を受信するステップと、
前記撮像時刻情報と画像とを受信するステップと、
前記画像を解析し、前記人物の頭部の方向を検出するステップと、
前記検出結果に基づいて、前記人物の顔の正面から送信元の方向に対応した方向情報を生成する方向情報生成処理と、
前記人物の顔の動き情報を時刻とともに記録するステップと、
前記撮像時刻情報に基づいて前記動き情報を検索し、前記撮像時刻から現在までの顔の向きの変化を補正情報として生成するステップと、
前記方向情報と前記補正情報とに基づいて、補正された補正方向情報を生成するステップと、
前記補正方向情報を表示するステップとを実行させることを特徴としたナビゲーションプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003087477A JP3886923B2 (ja) | 2003-03-27 | 2003-03-27 | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003087477A JP3886923B2 (ja) | 2003-03-27 | 2003-03-27 | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004294283A true JP2004294283A (ja) | 2004-10-21 |
JP3886923B2 JP3886923B2 (ja) | 2007-02-28 |
Family
ID=33401855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003087477A Expired - Fee Related JP3886923B2 (ja) | 2003-03-27 | 2003-03-27 | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3886923B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006254163A (ja) * | 2005-03-11 | 2006-09-21 | Ntt Docomo Inc | データ送受信装置、双方向データ伝送システム、及び、データ送受信方法 |
JP2006319538A (ja) * | 2005-05-11 | 2006-11-24 | Casio Comput Co Ltd | 画像撮影制御装置、画像編集装置、ゲーム機及びプログラム |
WO2009151666A2 (en) * | 2008-03-19 | 2009-12-17 | Motorola, Inc. | A wireless communication device and method with an orientation detector |
WO2015190473A1 (ja) * | 2014-06-12 | 2015-12-17 | 本田技研工業株式会社 | 撮像画像交換システム、撮像装置、および撮像画像交換方法 |
-
2003
- 2003-03-27 JP JP2003087477A patent/JP3886923B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006254163A (ja) * | 2005-03-11 | 2006-09-21 | Ntt Docomo Inc | データ送受信装置、双方向データ伝送システム、及び、データ送受信方法 |
JP4520335B2 (ja) * | 2005-03-11 | 2010-08-04 | 株式会社エヌ・ティ・ティ・ドコモ | データ送受信装置、双方向データ伝送システム、及び、データ送受信方法 |
US7831209B2 (en) | 2005-03-11 | 2010-11-09 | Ntt Docomo, Inc. | Data transmitter-receiver, bidirectional data transmitting system, and data transmitting-receiving method |
JP2006319538A (ja) * | 2005-05-11 | 2006-11-24 | Casio Comput Co Ltd | 画像撮影制御装置、画像編集装置、ゲーム機及びプログラム |
WO2009151666A2 (en) * | 2008-03-19 | 2009-12-17 | Motorola, Inc. | A wireless communication device and method with an orientation detector |
WO2009151666A3 (en) * | 2008-03-19 | 2010-03-04 | Motorola, Inc. | A wireless communication device and method with an orientation detector |
US8886258B2 (en) | 2008-03-19 | 2014-11-11 | Motorola Mobility Llc | Wireless communication device and method with an orientation detector |
WO2015190473A1 (ja) * | 2014-06-12 | 2015-12-17 | 本田技研工業株式会社 | 撮像画像交換システム、撮像装置、および撮像画像交換方法 |
US10306188B2 (en) | 2014-06-12 | 2019-05-28 | Honda Motor Co., Ltd. | Photographic image exchange system, imaging device, and photographic image exchange method |
Also Published As
Publication number | Publication date |
---|---|
JP3886923B2 (ja) | 2007-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10578452B2 (en) | Method and apparatus for providing service using a sensor and image recognition in a portable terminal | |
KR101730534B1 (ko) | 네비게이션을 위한 카메라 인에이블 헤드셋 | |
KR101436223B1 (ko) | 궤적 기반 위치 결정을 이용한 이미지 식별 | |
KR101838119B1 (ko) | 휴대단말기의 위치 표시 장치 및 방법 | |
US8531514B2 (en) | Image providing system and image providing method | |
US9584980B2 (en) | Methods and apparatus for position estimation | |
JP2007127584A (ja) | 移動局の位置検出方法、緊急通報システム及び防犯サービスシステム | |
KR20160144214A (ko) | 교통 사고 정보 공유 방법 및 이를 이용한 이동 단말기 | |
CN108377286B (zh) | 一种数据传输的方法及装置 | |
JP2002218503A (ja) | 通信システム及び携帯端末 | |
JP2006285546A (ja) | 情報提供システム、データベースサーバー、及び携帯通信端末 | |
JP3886923B2 (ja) | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法及びナビゲーションプログラム | |
JPH10239055A (ja) | 携帯型情報収集装置 | |
JP4059154B2 (ja) | 情報送受信装置、情報送受信用プログラム | |
KR20050058810A (ko) | 전자지도를 위한 영상 처리 시스템 및 방법 | |
JP2014075714A (ja) | 測位方法、測位システム及びそのプログラム | |
JP3706907B2 (ja) | 携帯者の現在位置および方位推定方法 | |
KR101322620B1 (ko) | 위치 측정 장치 및 방법 | |
KR20110095443A (ko) | 피사체 정보 제공 방법 및 시스템 | |
KR100583873B1 (ko) | 무선통신 단말기에서 목적지정보 제공 장치 | |
CN117120867A (zh) | 便携信息终端及其显示方法 | |
JP2008182484A (ja) | 携帯端末装置、無線通信システム、及び無線通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060526 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060825 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061122 |
|
LAPS | Cancellation because of no payment of annual fees |