JP2015152497A - 通信システム、携帯通信端末、電子装置、及びプログラム - Google Patents

通信システム、携帯通信端末、電子装置、及びプログラム Download PDF

Info

Publication number
JP2015152497A
JP2015152497A JP2014027935A JP2014027935A JP2015152497A JP 2015152497 A JP2015152497 A JP 2015152497A JP 2014027935 A JP2014027935 A JP 2014027935A JP 2014027935 A JP2014027935 A JP 2014027935A JP 2015152497 A JP2015152497 A JP 2015152497A
Authority
JP
Japan
Prior art keywords
communication terminal
mobile communication
map
display
vehicle device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014027935A
Other languages
English (en)
Other versions
JP6297353B2 (ja
Inventor
史章 木曽
Fumiaki Kiso
史章 木曽
大輔 山▲崎▼
Daisuke Yamazaki
大輔 山▲崎▼
前畑 実
Minoru Maehata
実 前畑
志都香 田村
Shizuka Tamura
志都香 田村
善隆 平嶋
Yoshitaka Hirashima
善隆 平嶋
北原 俊夫
Toshio Kitahara
俊夫 北原
敏洋 村田
Toshihiro Murata
敏洋 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2014027935A priority Critical patent/JP6297353B2/ja
Priority to US14/622,279 priority patent/US20150233721A1/en
Publication of JP2015152497A publication Critical patent/JP2015152497A/ja
Priority to US15/189,878 priority patent/US20160300324A1/en
Application granted granted Critical
Publication of JP6297353B2 publication Critical patent/JP6297353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおいて、携帯通信端末の表示画像と電子装置の表示画像の位置関係を把握し易くする。
【解決手段】携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおいて、前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す位置関係画像を表示する携帯機位置表示手段を備えることを特徴とする通信システム。
【選択図】図25

Description

本発明は、携帯通信端末と電子装置とを通信させる技術に関する。
近年の電子装置においては、搭載機能の多様化などに起因して、電子装置に対してユーザが所望の指示を行うために、複雑な操作が必要とされることが多い。このため、電子装置においては、ユーザが簡便に操作できる技術が要望されている。
特に、車両に搭載される電子装置である車載装置においては、信号待ちの停車中などの比較的短い期間に、車両の周辺の状況などにも注意を払いつつ、ユーザが車載装置に指示を与える場面が生じる。このため、車載装置では、ユーザが簡便な操作で様々な指示を行うことが可能な技術が特に要望される。
このようなことから、電子装置がユーザの手などの動き(ジェスチャ)を入力操作として検出し、ユーザの動きに応じて所定の処理を行う技術が提案されている(例えば、特許文献1参照。)。このような電子装置は、一般に、固定配置されたカメラで特定の領域を撮影し、取得された撮影画像に基づいてユーザの動きを検出するようになっている。
特開2007−237919号公報
上記のようなユーザの動きを検出する電子装置は、誤検出を避けるために、限定された領域のユーザの動きを検出するようになっている。このため一般的には、主対象となるユーザ以外のユーザは、手などを動かすことによって電子装置を操作することはできない。
例えば、車載装置が、車両の運転席に着座したドライバの手の動き(例えば、ステアリングホイールの近傍領域における手の動き)を検出するようになっている場合は、車両の助手席や後部座席に着座したユーザは、手などを動かすことによって車載装置を操作することはできない。
このため、主対象となるユーザ以外のユーザであっても、その動きによって電子装置に所定の処理を実行させることができる技術が望まれていた。
またところで、電子装置が表示しているコンテンツ中の他の領域を、主対象となるユーザ以外のユーザが閲覧したいという場合がある。例えば、車載装置が地図中の現在位置の近傍の領域を表示している際に、ドライバ以外のユーザが地図中の現在位置とは異なる領域(例えば、目的地の近傍の領域)を閲覧したいという場合がある。この場合において、スクロールさせて地図中の現在位置とは異なる領域を車載装置に表示させたとすると、ドライバが現在位置の近傍の領域を確認できないため、運転に影響を与える可能性がある。
このため、電子装置でのコンテンツの表示に影響を与えることなく、主対象となるユーザ以外のユーザが、コンテンツ中の所望の領域を閲覧できる技術が望まれていた。
本発明は、上記課題に鑑みてなされたものであり、ユーザが、その動きによって電子装
置に所望の処理を実行させることができる技術を提供し、そしてその操作性を高めることを目的とする。
上記課題を解決するため、本発明は、携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおいて、前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す位置関係画像を表示する携帯機位置表示手段を備えることを特徴とする。
本発明によれば、前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す画像が表示されるので、それらの位置関係が把握でき、携帯通信端末における所望の位置移動操作を行うことができる。
図1は、第1の実施の形態の通信システムの概要を示す図である。 図2は、第1の実施の形態の通信システムの構成を示す図である。 図3は、第1の実施の形態の車載装置が単体で動作している様子を示す図である。 図4は、第1の実施の形態の車載装置と携帯通信端末とが連携して動作している様子を示す図である。 図5は、第1の実施の形態の広域地図の一例を示す図である。 図6は、第1の実施の形態の連携動作の処理の流れを示す図である。 図7は、第1の実施の形態の初期位置設定処理の流れを示す図である。 図8は、第1の実施の形態の連携表示処理の流れを示す図である。 図9は、第2の実施の形態の車載装置と携帯通信端末とが連携して動作している様子を示す図である。 図10は、第3の実施の形態の初期位置設定処理の流れを示す図である。 図11は、第4の実施の形態の広域地図の一例を示す図である。 図12は、第5の実施の形態の車載装置と携帯通信端末とが連携して動作している様子を示す図である。 図13は、第5の実施の形態の広域地図の一例を示す図である。 図14は、第5の実施の形態の連携表示処理の流れを示す図である。 図15は、第6の実施の形態の通信システムの構成を示す図である。 図16は、第6の実施の形態の初期位置設定処理の流れを示す図である。 図17は、第6の実施の形態の車載装置が設定画像を表示した様子を示す図である。 図18は、第6の実施の形態の連携表示処理の流れを示す図である。 図19は、第7の実施の形態の通信システムの構成を示す図である。 図20は、第7の実施の形態の車載装置と携帯通信端末とが連携して動作している様子を示す図である。 図21は、第7の実施の形態の車載装置と携帯通信端末とが連携して動作している様子を示す図である。 図22は、第7の実施の形態の連携動作の処理の流れを示す図である。 図23は、第8の実施の形態の通信システムの構成を示す図である。 図24は、第8の実施の形態の連携動作の処理の流れを示す図である。 図25は、携帯通信端末位置表示機能を示す機能概念図である。 図26は、携帯通信端末位置表示機能を実現する処理の流れを示す図である。 図27は、携帯通信端末移動/地図移動調整機能を示す機能概念図である。 図28は、携帯通信端末移動/地図移動調整機能を実現する処理の流れを示す図である。 図29は、携帯通信端末画面固定機能を示す機能概念図である。 図30は、携帯通信端末画面固定機能を実現する処理の流れを示す図である。 図31は、車載装置/携帯通信端末縮尺連動機能を示す機能概念図である。 図32は、車載装置/携帯通信端末縮尺連動機能を実現する処理の流れを示す図である。 図33は、携帯通信端末傾斜対応画面表示機能を示す機能概念図である。 図34は、携帯通信端末傾斜対応画面表示を実現する処理の流れを示す図である。 図35は、携帯通信端末画面サイズ調整機能を示す機能概念図である。 図36は、携帯通信端末画面サイズ調整機能を実現する処理の流れを示す図である。 図37は、戻し操作機能を示す機能概念図である。 図38は、戻し操作機能を実現する処理の流れを示す図である。 図39は、携帯通信端末/車載装置接触時動作機能を実現する処理の流れを示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの概要>
図1は、本実施の形態の通信システム10の概要を示す図である。通信システム10は、自動車などの車両9に搭載される車載装置2と、車載装置2とは別個に構成される携帯通信端末3とを備えている。これら車載装置2と携帯通信端末3とは連携して動作することが可能となっている。
車載装置2と携帯通信端末3との双方は、Bluetooth(登録商標)などの所定の通信方式に準拠した無線通信機能を有している。したがって、車載装置2と携帯通信端末3とは、無線通信によって相互に信号を送受信できる。なお、車載装置2と携帯通信端末3とを通信ケーブルで物理的に接続し、車載装置2と携帯通信端末3とが有線通信によって相互に信号を送受信できるようになっていてもよい。
車載装置2は、車両9の車室内に固定的に設けられる電子装置であり、各種の画像を表示するディスプレイ22を備えている。車載装置2は、例えば、ユーザに設定された目的地までのルートを案内するナビゲーション機能を備えたナビゲーション装置である。車載装置2は、主対象となるユーザを、車両9の運転席に着座したドライバとしている。したがって、車載装置2は、主にドライバがディスプレイ22の画面を視認できるように、車両9の車室内の前方にあるダッシュボード内などに配置される。
一方、携帯通信端末3は、ユーザが手に持って利用可能な通話機能を備えた可搬性の通信端末である。携帯通信端末3は、例えば、ユーザが日常的に利用しているスマートフォンや携帯電話機などである。携帯通信端末3は、車両9の助手席あるいは後部座席に着座した、ドライバ以外のユーザによって主に利用される。
携帯通信端末3は、モーションセンサ33を備えており、自装置の移動や回転などの動き(モーション)を検出することが可能である。車載装置2と携帯通信端末3とが連携して動作する場合には、ユーザが携帯通信端末3を把持して動かしたときに、携帯通信端末3のモーションセンサ33が自装置の動きを検出する。そして、携帯通信端末3は検出された自装置の動きを示す端末信号を車載装置2に送信し、車載装置2はこの端末信号を受信することで携帯通信端末3の動きに応じた処理を実行する。したがって、ユーザは携帯通信端末3を動かすことで、車載装置2に所定の処理を実行させることができるようになっている。
以下、このような通信システム10の構成及び処理について詳細に説明する。
<1−2.システムの構成>
図2は、通信システム10の構成を示す図である。図中の左側は車載装置2の構成、右側は携帯通信端末3の構成をそれぞれ示している。
車載装置2は、制御部20と、ディスプレイ22と、操作部23と、GPS部24と、カメラ25と、データ通信部28と、記憶部29とを備えている。制御部20は、CPU、RAM及びROMなどを備え、車載装置2の全体を制御するマイクロコンピュータである。
ディスプレイ22は、例えば、液晶パネルを備えており各種の画像を表示する。また、ディスプレイ22は、タッチパネルを備えており、ユーザの操作を受け付ける操作受付部材としても機能する。ユーザが、タッチパネルとしてのディスプレイ22を操作した場合は、その操作内容を示す信号が制御部20に入力される。
操作部23は、ユーザの操作を直接的に受け付ける操作受付部材である。操作部23は、例えば、ディスプレイ22の画面の下部に配置される複数の操作ボタンを含んでいる(図3参照。)。ユーザが操作部23を操作した場合は、その操作内容を示す信号が制御部20に入力される。
GPS部24は、複数のGPS衛星からの信号を受信して車載装置2の現時点の位置(地球上における絶対位置)を取得する。車載装置2は車両9に搭載されるため、GPS部24は実質的に車両9の現時点の位置を取得する。以下、GPS部24が取得する車両9の現時点の位置を「現在位置」という。GPS部24が取得する現在位置は、例えば緯度経度で表現され、地図中の位置を特定する情報としても利用できる。
カメラ25は、レンズと撮像素子とを備えており、被写体を撮影して撮影画像を電子的に取得する。カメラ25は、例えば、ディスプレイ22の画面の上部に配置される(図3参照。)。このため、カメラ25は、ディスプレイ22の画面の正面に存在する被写体を撮影し、その被写体の像を含む撮影画像を取得する。
データ通信部28は、所定の通信方式の無線通信により携帯通信端末3との間で信号の送信及び受信を行う。データ通信部28は、携帯通信端末3の動きを示す端末信号を携帯通信端末3から受信する。また、データ通信部28は、携帯通信端末3で表示すべき画像を携帯通信端末3に送信する。
記憶部29は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部29は、制御部20で実行可能なプログラム29a、及び、ナビゲーション機能などに用いる地図データ29bを記憶している。プログラム29aに従って制御部20のCPUが演算処理を行うことで、制御部20においてナビゲーション機能を含む各種の機能を有する処理部がソフトウェア的に実現される。
図中に示す、車用地図制御部20a、ルート案内部20b、初期位置設定部20c、端末位置導出部20d及び端末地図制御部20eは、プログラム29aの実行によってソフトウェア的に実現される処理部の一部である。
車用地図制御部20aは、車載装置2のディスプレイ22に表示するための車用地図を生成し、ディスプレイ22に表示させる。車用地図制御部20aは、記憶部29に記憶された地図データ29bを用いて、現在位置を含む車用地図を生成する。車用地図制御部20aは、ディスプレイ22を制御して、生成した車用地図をディスプレイ22に表示させる。
ルート案内部20bは、目的地までのルートを案内する。ルート案内部20bは、記憶部29に記憶された地図データ29bを用いて、現在位置からユーザに設定された目的地までのルートを導出し、導出したルートを車用地図制御部20aが生成した車用地図に重畳する。これにより、目的地までのルートがユーザに提供される。
初期位置設定部20c、端末位置導出部20d及び端末地図制御部20eは、携帯通信端末3との連携に係る処理を実行する。これらの初期位置設定部20c、端末位置導出部20d及び端末地図制御部20eが実行する処理の詳細については後述する。
一方、携帯通信端末3は、制御部30と、通話部31と、ディスプレイ32と、モーションセンサ33と、データ通信部38と、記憶部39とを備えている。制御部30は、CPU、RAM及びROMなどを備え、携帯通信端末3の全体を制御するマイクロコンピュータである。
通話部31は、携帯通信端末3の通話機能を実現する。通話部31は、通話中のユーザが発した音声を電気信号に変換して基地局に送信すると共に、基地局から通話相手の音声を示す音声信号を受信してその音声を出力する。
ディスプレイ32は、例えば、液晶パネルを備えており各種の画像を表示する。また、ディスプレイ32は、タッチパネルを備えており、ユーザの操作を受け付ける操作受付部材としても機能する。ユーザが、タッチパネルとしてのディスプレイ32を操作した場合は、その操作内容を示す信号が制御部30に入力される。
モーションセンサ33は、自装置の動き(モーション)を検出する。モーションセンサ33は、例えば、3軸加速度及び3軸角速度を検出することが可能な6軸センサである。より具体的には、XYZ直交座標系を想定すると、モーションセンサ33は、XYZ軸それぞれに沿った移動(3軸加速度)、及び、XYZ軸それぞれを軸とした回転(3軸角速度)を検出することができる。物体がある速度で運動している場合にその物体に角速度が作用すると、見かけ上の力(コリオリの力)が発生する。また、物体に加速度が作用すると、力が発生する(ニュートンの法則)。モーションセンサ33はこれらの原理に基づき、3軸角速度及び3軸加速度を検出する。
データ通信部38は、所定の通信方式の無線通信により車載装置2との間で信号の送信及び受信を行う。データ通信部38は、携帯通信端末3の動きを示す端末信号を車載装置2に送信する。また、データ通信部38は、携帯通信端末3で表示すべき画像を車載装置2から受信する。
記憶部39は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部39は、制御部30で実行可能なアプリケーションのプログラム39aを記憶している。プログラム39aに従って制御部30のCPUが演算処理を行うことで、制御部30において各種の機能を有する処理部がソフトウェア的に実現される。
図中に示す、運動検出部30a、信号送信部30b及び表示制御部30cは、プログラム29aの実行によってソフトウェア的に実現される処理部の一部である。
運動検出部30aは、モーションセンサ33を制御して、モーションセンサ33から自装置の動き(モーション)を示すセンサ信号を取得する。このセンサ信号は、3軸加速度及び3軸角速度を示す信号である。信号送信部30bは、データ通信部38を制御して、運動検出部30aが取得したセンサ信号を端末信号として車載装置2に送信する。
また、表示制御部30cは、ディスプレイ32を制御して、データ通信部38が車載装置2から受信した画像をディスプレイ32に表示させる。
これら運動検出部30a、信号送信部30b及び表示制御部30cが実行する処理の詳細については後述する。
<1−3.連携動作の概要>
次に、通信システム10における、車載装置2と携帯通信端末3との連携動作の概要について説明する。
図3は、車載装置2が、携帯通信端末3と連携せずに単体で動作している様子を示す図である。図3に示すように、車載装置2は、車用地図M1をディスプレイ22において表示する。
車用地図M1は、現在位置(車両9の現時点の位置)を含む領域の地図である。車用地図M1は、その中心が現在位置に対応しており、車両9の位置を示す自車マークVMを中心に含んでいる。したがって、この車用地図M1を表示するディスプレイ22の画面の中心位置には、自車マークVMが配置される。
ユーザ(主に車両9のドライバ)は、このようなディスプレイ22に表示された車用地図M1を視認することで、現在位置の周辺の地図を確認できる。図3の例では、現在位置は「東京駅」の近傍となっており、「東京駅」を略中心とした車用地図M1が車載装置2のディスプレイ22に表示されている。
図4は、現在位置が図3と同一の場合において、車載装置2と携帯通信端末3とが連携して動作している様子を示す図である。この場合においても、車載装置2は、現在位置を含む領域の車用地図M1をディスプレイ22において表示する。
一方で、携帯通信端末3は、車用地図M1と縮尺が同一であるが、車用地図M1とは別の領域の地図(以下、「端末地図」という。)M2をディスプレイ32において表示する。端末地図M2は、車載装置2の位置に対する携帯通信端末3の相対的な位置に応じた領域の地図である。このため、ユーザが携帯通信端末3を把持して動かした場合は、その動きに応じて異なる領域の端末地図M2がディスプレイ32に表示される。
車載装置2のディスプレイ22の画面に対して携帯通信端末3を略平行に移動させると、携帯通信端末3はその移動に伴って端末地図M2をスクロールさせて表示する。このような端末地図M2のスクロールの量は、携帯通信端末3の実際の移動量とおよそ一致される。また、端末地図のスクロールの方向は、携帯通信端末3が移動する方向とおよそ一致される。その結果、携帯通信端末3は、その移動先の位置に応じた領域の端末地図M2を表示する。
例えば、状態ST1のように、携帯通信端末3を車載装置2のディスプレイ22の画面に重ねた場合は、携帯通信端末3は、車載装置2に表示された車用地図M1において携帯通信端末3が重なる領域の端末地図M2を表示する。
また、状態ST2のように、携帯通信端末3を車載装置2のディスプレイ22の画面の下側に移動させた場合は、携帯通信端末3は、車載装置2に表示された車用地図M1よりも下側(すなわち南側)の領域の端末地図M2を表示する。図4の例では、「東京駅」の南側にある「空港」付近の領域の端末地図M2が、携帯通信端末3において表示されている。
また、状態ST3のように、携帯通信端末3を車載装置2の画面の右下側に移動させた場合は、携帯通信端末3は、車載装置2に表示された車用地図M1よりも右下側(すなわち南東側)の領域の端末地図M2を表示する。図4の例では、「東京駅」の南東側にある「テーマパーク」付近の領域の端末地図M2が、携帯通信端末3において表示されている。
したがって、ユーザは携帯通信端末3を把持して動かすことで、車載装置2のディスプレイ22に表示された領域とは異なる所望の領域の地図を閲覧することができる。この際、車載装置2のディスプレイ22には車用地図M1が表示され、携帯通信端末3での端末地図M2の表示が車載装置2での車用地図M1の表示に影響を与えることはない。このため、ドライバは、車載装置2に表示された車用地図M1を視認することで、現在位置の近傍の領域を通常通り確認することができる。
携帯通信端末3の位置は、車載装置2のディスプレイ22の画面の中心位置を基準に規定される。すなわち、ディスプレイ22の画面の中心位置が基準位置SPとされ、携帯通信端末3の位置は基準位置SPに対する相対位置として求められる。また、携帯通信端末3の移動量や移動方向は、モーションセンサ33が検出した携帯通信端末3の動きに基いて導出される。
このような端末地図M2の表示を行う際には、車用地図M1よりも広域の広域地図が生成される。図5は、このような広域地図WMの一例を示している。広域地図WMの中心位置(以下、「地図中心」という。)CPは、車載装置2のディスプレイ22の画面の中心位置(すなわち、基準位置SP)に表示する位置となっている。したがって本実施の形態においては、地図中心CPは、車両9の現時点の位置である現在位置となる。車載装置2で表示される車用地図M1は、広域地図WM中の現在位置を中心に含む一部の領域R1を切り出すことで生成される。
一方、携帯通信端末3で表示される端末地図M2は、広域地図WM中の、携帯通信端末3の位置に応じた一部の領域R2を切り出すことで生成される。以下、広域地図WM中において端末地図M2として切り出す領域R2を「端末地図領域」という。
端末地図領域R2の地図中心CPに対する位置は、実際の携帯通信端末3の基準位置SPに対する位置と略一致される。すなわち、端末地図領域R2の地図中心CPに対する方向は、実際の携帯通信端末3の基準位置SPに対する方向に略一致される。また、地図中心CPから端末地図領域R2までの表示上の距離は、実際の基準位置SPから携帯通信端末3までの距離に略一致される。地図中心CPから端末地図領域R2までの表示上の距離を導出する際には、携帯通信端末3のディスプレイ32の画面の解像度及びサイズが考慮される。これにより、携帯通信端末3は、基準位置SPに対する相対位置に応じた領域の端末地図M2を表示することになる。
例えば、図4の状態ST1においては、基準位置SPに対して左側に携帯通信端末3が存在する。このため、状態ST1においては、図5の広域地図WM中の地図中心CPに対して左側の領域R21が、端末地図領域R2として切り出され端末地図M2となる。
また、図4の状態ST2においては、基準位置SPに対して下側に携帯通信端末3が存在する。このため、状態ST2においては、図5の広域地図WM中の地図中心CPに対して下側の領域R22が、端末地図領域R2として切り出され端末地図M2となる。
また、図4の状態ST3においては、基準位置SPに対して右下側に携帯通信端末3が存在する。このため、状態ST3においては、図5の広域地図WM中の地図中心CPに対して右下側の領域R23が、端末地図領域R2として切り出され端末地図M2となる。
<1−4.連携動作の流れ>
次に、通信システム10の連携動作の流れについて説明する。図6は、連携動作の基本的な処理の流れを示す図である。この動作の開始時点においては、車載装置2と連携するための専用のアプリケーションが、携帯通信端末3において実行されている。これにより、携帯通信端末3においては、運動検出部30a、信号送信部30b及び表示制御部30cが有効化されている。
まず、車載装置2と携帯通信端末3とが接続のネゴシエーションを実行し、通信可能な状態を確立する(ステップS1)。この処理によって、以降、車載装置2と携帯通信端末3とが相互に信号を送受信することが可能となる。
次に、携帯通信端末3の初期位置を設定する初期位置設定処理が実行される(ステップS2)。初期位置設定処理では、連携動作の開始時点での携帯通信端末3の位置が初期位置として設定される。
次に、車載装置2と携帯通信端末3とが連携して地図を表示する連携表示処理が実行される(ステップS3)。連携表示処理では、上述したように、携帯通信端末3が基準位置SPに対する相対位置に応じた領域の端末地図M2を表示することになる。
以下では、初期位置設定処理及び連携表示処理それぞれの詳細な流れを説明する。
<1−4−1.初期位置設定処理>
まず、携帯通信端末3の初期位置を設定する初期位置設定処理(図6のステップS2)の流れについて説明する。図7は、初期位置設定処理の流れを示す図である。図中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。
まず、携帯通信端末3の信号送信部30bが、初期位置を設定するための初期設定操作をユーザが行ったか否かを判定する(ステップS11)。ユーザは、タッチパネルとしてのディスプレイ32に表示されたコマンドボタンに触れることで、この初期設定操作を行うことができる。ユーザは、ディスプレイ22の画面の正面付近に携帯通信端末3を移動させた上で、このような初期設定操作を行う。
初期設定操作がなされた場合は(ステップS11にてYes)、信号送信部30bは、データ通信部38を制御して、初期設定操作がなされたことを示す設定信号を車載装置2に送信する(ステップS12)。
携帯通信端末3から送信された設定信号は、車載装置2のデータ通信部28が受信する(ステップS13)。車載装置2の初期位置設定部20cは、この設定信号の受信に応答して、カメラ25を制御して撮影を実行させる。カメラ25は、ディスプレイ22の画面の正面に存在する携帯通信端末3を撮影する(ステップS14)。これにより、初期位置設定部20cは、携帯通信端末3の像を含む撮影画像を取得する。
次に、初期位置設定部20cは、取得した撮影画像中の携帯通信端末3の像を認識する(ステップS15)。初期位置設定部20cは、例えば、パターンマッチングなどの周知の手法により、撮影画像中の携帯通信端末3の像を認識できる。
次に、初期位置設定部20cは、撮影画像中の携帯通信端末3の像の位置に基づいて、携帯通信端末3の初期位置を設定する(ステップS16)。初期位置設定部20cは、携帯通信端末3の像の位置の撮影画像の中心からのズレに基づいて、実際の携帯通信端末3の位置が、基準位置(ディスプレイ22の画面の中心位置)SPからどの方向にどの程度ズレているかを導出する。これにより、初期位置設定部20cは、基準位置SPを基準として携帯通信端末3の初期位置を設定する。
<1−4−2.連携表示処理>
次に、車載装置2と携帯通信端末3とが連携して地図を表示する連携表示処理(図6のステップS3)の流れについて説明する。図8は、連携表示処理の流れを示す図である。図中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。図8に示す処理は、所定の周期(例えば、1/30秒周期)で繰り返し実行される。
まず、車載装置2の車用地図制御部20aが、GPS部24を制御して、地図中の車両9の現時点の位置である現在位置を取得する(ステップS31)。
次に、車用地図制御部20aが、車用地図M1よりも広域の広域地図WMを生成する(ステップS32)。車用地図制御部20aは、記憶部29に記憶された地図データ29bを用いて、図5に示すように、現在位置を地図中心CPとする広域地図WMを生成する。
次に、車用地図制御部20aは、車用地図M1を生成してディスプレイ22に表示させる(ステップS33)。車用地図制御部20aは、広域地図WMの現在位置を中心とした領域R1を切り出すことで車用地図M1を生成する。車用地図制御部20aは、ディスプレイ22を制御して、生成した車用地図M1をディスプレイ22に表示させる。
これにより、現在位置を中心とした車用地図M1が車載装置2において表示される。目的地が設定されている場合は、ルート案内部20bが、ディスプレイ22への表示前に、目的地までのルートを車用地図M1に重畳する。このため、ユーザ(主にドライバ)は車載装置2に表示された車用地図M1を視認することで、現在位置の周辺の領域、及び、目的地までのルートを確認することができる。
このように車載装置2が車用地図M1を表示する一方で、携帯通信端末3では、モーションセンサ33が携帯通信端末3の動き(モーション)を検出する(ステップS41)。運動検出部30aは、モーションセンサ33を制御して、モーションセンサ33から携帯通信端末3の動きを示すセンサ信号を取得する。このセンサ信号は、3軸加速度及び3軸角速度を示している。
次に、携帯通信端末3の信号送信部30bが、データ通信部38を制御して、センサ信号を、携帯通信端末3の動きに応じた端末信号として車載装置2に送信する(ステップS42)。
携帯通信端末3から送信されたセンサ信号は、車載装置2のデータ通信部28が受信する(ステップS34)。車載装置2の端末位置導出部20dは、センサ信号が示す3軸加速度に基づいて、前回の連携表示処理(図8の一連の処理)からの携帯通信端末3の3軸それぞれに沿った移動量を導出する(ステップS35)。
さらに、端末位置導出部20dは、過去に繰り返された連携表示処理において導出された携帯通信端末3の移動量を積算することで、初期位置からの携帯通信端末3の3軸それぞれに沿った移動量を導出する。前述のように、初期位置は基準位置SPを基準として初期位置設定処理において設定されている。このため、端末位置導出部20dは、基準位置SPを基準とした初期位置と、初期位置からの携帯通信端末3の移動量とに基づいて、基準位置SPに対する携帯通信端末3の相対位置を導出する(ステップS36)。
次に、端末地図制御部20eが、基準位置SPに対する携帯通信端末3の相対位置に基いて、端末地図M2を生成する(ステップS37)。端末地図制御部20eは、端末地図領域R2の地図中心CPに対する相対位置が、実際の携帯通信端末3の基準位置SPに対する相対位置と一致するように、広域地図WM中の端末地図領域R2を設定する。そして、端末地図制御部20eは、設定した端末地図領域R2を広域地図WMから切り出して端末地図M2を生成する。
次に、端末地図制御部20eは、データ通信部28を制御して、生成した端末地図M2を携帯通信端末3に送信する(ステップS38)。これにより、端末地図制御部20eは、端末地図M2を携帯通信端末3に表示させる。
車載装置2から送信された端末地図M2は、携帯通信端末3のデータ通信部38が受信する(ステップS43)。携帯通信端末3の表示制御部30cは、この端末地図M2の受信に応答して、ディスプレイ32を制御して、車載装置2から受信した端末地図M2をディスプレイ32に表示させる(ステップS44)。これにより、携帯通信端末3は、基準位置SPに対する相対位置に応じた領域の端末地図M2を表示することになる。
以上のように、通信システム10では、携帯通信端末3が、携帯通信端末3の動きを検出し、携帯通信端末3の動きに応じたセンサ信号を車載装置2に送信する。車載装置2は、携帯通信端末3からセンサ信号を受信し、そのセンサ信号に基づいて携帯通信端末3の動きに応じた処理を実行する。
このように車載装置2が携帯通信端末3の動きに応じた処理を実行するため、車載装置2の主対象となるユーザ(ドライバ)以外のユーザであっても、ユーザは携帯通信端末3を動かすことで車載装置2に所望の処理を実行させることができる。
また、車載装置2のディスプレイ22は、広域地図WM中の現在位置を含む領域R1を切り出して生成された車用地図M1を表示する。これとともに、車載装置2の端末位置導出部20dは、携帯通信端末3の動きに基づいて、基準位置SPに対する携帯通信端末3の相対位置を導出する。そして、車載装置2の端末地図制御部20eは、広域地図WM中の、携帯通信端末3の相対位置に応じた端末地図領域R2を切り出して端末地図M2を生成する。端末地図制御部20eは、この端末地図M2を携帯通信端末3に送信して、携帯通信端末3のディスプレイ32に端末地図M2を表示させる。
したがって、車載装置2と携帯通信端末3とで同一の広域地図WM中の異なる領域を表示させることができる。ユーザは、携帯通信端末3を動かすことで、広域地図WM中の所望の領域の端末地図M2を携帯通信端末3のディスプレイ32で閲覧することができる。また、携帯通信端末3での端末地図M2の表示が、車載装置2での車用地図M1の表示に影響を与えることもない。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の通信システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
図9は、第2の実施の形態の連携表示処理(図6のステップS3)において、車載装置2と携帯通信端末3とが連携して動作している様子を示す図である。
第2実施の形態においても、連携表示処理においては、車載装置2が現在位置を含む領域の車用地図M1を表示し、携帯通信端末3が基準位置SPに対する相対位置に応じた領域の端末地図M2を表示する。ただし、車載装置2が表示する車用地図M1は、端末地図M2の領域の相対的な方向を示す矢印マークAR2を含んでいる。また逆に、携帯通信端末3が表示する端末地図M2は、車用地図M1の領域の相対的な方向を示す矢印マークAR2を含んでいる。
車用地図M1に含まれる矢印マークAR1は、広域地図WM(図5参照。)における、車用地図M1の領域R1を基準とした、端末地図M2の端末地図領域R2の方向を示している。このような矢印マークAR1は、車用地図制御部20aが、車用地図M1を生成する場合に車用地図M1の領域R1に対して重畳する。
ユーザが携帯通信端末3を把持して動かした場合、携帯通信端末3の位置に応じて矢印マークAR1が示す方向も変更される。車載装置2が、このような矢印マークAR1を表示することで、ユーザは、携帯通信端末3が表示する端末地図M2の領域の方向を容易に把握することができる。
一方、端末地図M2に含まれる矢印マークAR2は、広域地図WM(図5参照。)における、端末地図M2の端末地図領域R2を基準とした、車用地図M1の領域R1の方向を示している。このような矢印マークAR2は、端末地図制御部20eが、端末地図M2を生成する場合に端末地図M2の端末地図領域R2に対して重畳する。
ユーザが携帯通信端末3を把持して動かした場合、携帯通信端末3の位置に応じて矢印マークAR2が示す方向も変更される。携帯通信端末3が、このような矢印マークAR2を表示することで、車載装置2が表示する車用地図M1の領域の方向を容易に把握することができる。
なお、上記態様では、携帯通信端末3が表示する端末地図M2は、端末地図領域R2を基準とした車用地図M1の領域R1の方向を示す矢印マークAR2を含んでいたが、さらに、端末地図領域R2を基準とした目的地の方向を示す矢印マークを含んでいてもよい。また、矢印マークの長さは、当該矢印マークが示す対象(領域R1や目的地)までの距離に応じて変化するようにしてもよい。
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の通信システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態においては、携帯通信端末3の位置を規定するための基準となる基準位置SPは、車載装置2のディスプレイ22の画面の中心位置(車載装置2の位置に基づく位置)となっていた。これに対して、第3の実施の形態では、携帯通信端末3を扱うユーザが任意の位置を基準位置として設定できるようになっている。したがって、車両9の助手席や後部座席などの車載装置2から離れた位置であっても、基準位置に設定することができる。
図10は、第3の実施の形態の初期位置設定処理(図6のステップS2)の流れを示す図である。図中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。
まず、携帯通信端末3の信号送信部30bが、初期位置を設定するための初期設定操作をユーザが行ったか否かを判定する(ステップS11)。ユーザは、タッチパネルとしてのディスプレイ32に表示されたコマンドボタンに触れることで、この初期設定操作を行う。ユーザは、基準位置にすることを所望する任意の位置で、このような初期設定操作を行うことができる。
初期設定操作がなされた場合は(ステップS11にてYes)、信号送信部30bは、データ通信部38を制御して、初期設定操作がなされたことを示す設定信号を車載装置2に送信する(ステップS12)。
携帯通信端末3から送信された設定信号は、車載装置2のデータ通信部28が受信する(ステップS17)。車載装置2の初期位置設定部20cは、この設定信号の受信に応答して、その時点での携帯通信端末3の位置である初期位置を、基準位置に設定する(ステップS18)。これにより、ユーザが初期設定操作を行った時点の携帯通信端末3の位置が、基準位置として設定される。
この初期位置設定処理の後、連携表示処理(図6のステップS3)は、第1の実施の形態と同様に実行される。したがって、携帯通信端末3は、基準位置に対する相対位置に応じた領域の端末地図M2を表示する。
第3の実施の形態の基準位置は、ディスプレイ22の画面の中心位置ではなく、初期位置設定処理で設定された位置となる。このため、例えば、助手席の中央に基準位置を設定した場合は、携帯通信端末3を助手席の中央に近づけたときには、携帯通信端末3は地図中心CP(すなわち、現在位置)の近傍の領域の端末地図M2を表示する。また、携帯通信端末3を助手席の中央から離したときは、携帯通信端末3は地図中心CP(すなわち、現在位置)から離れた領域の端末地図M2を表示することになる。
このように第3の実施の形態においては、携帯通信端末3がユーザから初期設定操作を受け付けた位置に基準位置が設定されるため、ユーザは所望の位置を基準位置に設定することができる。
なお、上記態様では、携帯通信端末3がユーザの操作を受け付ける処理を行った位置を基準位置に設定しているが、携帯通信端末3が他の処理を実行した位置を基準位置に設定するようにしてもよい。例えば、携帯通信端末3が車載装置2と連携するための専用のアプリケーションを実行した位置、あるいは、携帯通信端末3が起動した位置などを、基準位置に設定してもよい。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の通信システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、基準位置SPに対する携帯通信端末3の相対位置に応じて、広域地図WM中のいずれの領域も端末地図M2となり得た。これに対して、第4の実施の形態では、目的地までのルートが設定されている場合は、広域地図WM中のルートを含む領域のみが端末地図M2とされる。
図11は、第4の実施の形態における広域地図WMの一例を示す図である。図に示すように、広域地図WM中には出発地DPから目的地GPまでのルートGRが含まれている。このルートGRは、広域地図WM中をおおよそ右上に向かうものとなっている。
広域地図WMの中心位置である地図中心CPは、車両9の現時点の位置である現在位置となっている。本実施の形態においても、車用地図M1は、広域地図WMの現在位置を中心とした領域R1を切り出すことで生成される。
また、本実施の形態においても、端末地図M2は、基準位置に対する携帯通信端末3の相対位置に応じた端末地図領域R2を切り出すことで生成される。ただし、端末地図領域R2は、ルートGRを含む領域に限定される。
したがって、例えば、基準位置に対して右側あるいは上側に携帯通信端末3を移動させた場合、地図中心CP(すなわち、現在位置)に対して右側及び上側(すなわち、目的地GP側)となるルートGR上の位置を含む領域R2a,R2b,R2cが、端末地図領域R2として設定される。一方、基準位置に対して左側あるいは下側に携帯通信端末3を移動させた場合、地図中心CP(すなわち、現在位置)に対して左側及び下側(すなわち、出発地DP側)となるルートGR上の位置を含む領域R2d,R2e,R2fが、端末地図領域R2として設定される。いずれの場合においても、基準位置から携帯通信端末3までの距離が大きくなるほど、地図中心CPから端末地図領域R2までの距離が大きくされる。
これにより、ユーザは携帯通信端末3を動かすことで、ルートGRに沿った所望の領域の地図を確認することができる。
なお、図11では、ルートGRが右上に向かっているが、ルートGRが異なる方向に向かう場合は、ルートGRが向かう方向と携帯通信端末3の移動方向とに応じた領域が選択される。
例えば、ルートGRが右下に向かっている場合を想定する。この場合は、基準位置に対して右側に携帯通信端末3を移動させた場合には、地図中心CPに対して目的地GP側となるルートGR上の位置を含む領域が端末地図領域R2として設定される。一方、基準位置に対して上側に携帯通信端末3を移動させた場合には地図中心CPに対して出発地DP側となるルートGR上の位置を含む領域が端末地図領域R2として設定されることになる。
このように第4の実施の形態においては、端末地図M2となる端末地図領域R2が地図中のルートGRを含む領域である。このため、ユーザは、携帯通信端末3を動かすことで、ルートGR上の様々な位置を、携帯通信端末3のディスプレイ32で閲覧することができる。また、ユーザは、携帯通信端末3をルートGRに沿って正確に動かす必要はなく、ルートGRにおおよそ沿って動かせば、携帯通信端末3に表示される端末地図M2の端末地図領域R2がルートGRに沿って変更される。このため、ユーザは、ルートの確認やルート付近にある施設の探索や確認等を容易に行うことができる。
<5.第5の実施の形態>
次に、第5の実施の形態について説明する。第5の実施の形態の通信システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第5の実施の形態の通信システム10は、ユーザが携帯通信端末3に対して特定の操作を行なっている期間は、携帯通信端末3の動きに応じた処理を実行しないホールド機能を備えている。
図12は、第5の実施の形態の連携表示処理(図6のステップS3)における車載装置2と携帯通信端末3との位置関係を示している。また、図13は、連携表示処理において用いられる広域地図WMの一例を示す図である。本実施の形態においても、車用地図M1は広域地図WMの地図中心CPを中心とした領域R1を切り出すことで生成され、端末地図M2は基準位置SPに対する携帯通信端末3の相対位置に応じた端末地図領域R2を切り出すことで生成される。基準位置SPは、車載装置2のディスプレイ22の画面の中心位置となっている。
図12の状態ST11のように携帯通信端末3が車載装置2の近傍に配置された場合は、図13に示す地図中心CPに比較的近い領域R2gが端末地図領域R2として切り出されて端末地図M2となる。その後、図12の状態ST12のようにユーザが携帯通信端末3を車載装置2から離した場合は、図13に示す地図中心CPから比較的遠方の領域R2hが端末地図領域R2として切り出されて端末地図M2となる。
この場合において、ユーザが、図13に示す地図中心CPからさらに遠方の領域R2iを閲覧したいという場面がある。このような場面において、図12の状態ST12の位置から、車載装置2に対してさらに離れる方向に携帯通信端末3を移動させることが物理的に難しい場合を想定する。
このような場合においては、ユーザは、携帯通信端末3に対して特定のホールド操作を行ないつつ、携帯通信端末3を移動させる。ユーザは、例えば、タッチパネルとしてのディスプレイ32に表示された所定のコマンドボタンに触れることで、このホールド操作を行うことができる。このようなホールド操作を行なっている場合は、携帯通信端末3の動きに応じて端末地図領域R2が変更されない。つまり、タッチパネルとしてのディスプレイ32がホールド操作を受け付けている期間は、携帯通信端末3に表示される端末地図M2の領域が維持されることになる。
したがって、ユーザが携帯通信端末3に対してホールド操作を行ないつつ携帯通信端末3を状態ST11の位置まで移動させた場合には、端末地図M2となる端末地図領域R2は、領域R2gには戻らず、領域R2hのまま維持される。その後、ユーザがホールド操作を解除した上で携帯通信端末3を状態ST12の位置まで再び移動させた場合には、図13に示す地図中心CPからさらに遠方の領域R2iが、端末地図領域R2として切り出されて端末地図M2とされることになる。
このように本実施の形態では、ユーザは、携帯通信端末3に対して、携帯通信端末3の動きに応じた処理を無効化するホールド操作を行うことが可能である。このため、ユーザは、基準位置SPから比較的離れた位置に携帯通信端末3を移動することが難しい場合でも、広域地図WM中の地図中心CPから比較的遠方の領域の端末地図M2を、携帯通信端末3のディスプレイ32で閲覧することができる。また、ホールド操作によって携帯通信端末3に表示される端末地図M2の端末地図領域R2が固定される。このため、他のユーザに携帯通信端末3に表示された端末地図M2を確認させるために携帯通信端末3を動かすような場合であっても、ホールド操作を行うことで端末地図領域R2を固定したたま端末地図M2を他のユーザに確認させることができる。
図14は、第5の実施の形態の連携表示処理(図6のステップS3)の流れを示す図である。
この図14に示す連携表示処理は、図8に示す第1の実施の形態の連携表示処理に対して、ステップS40及びステップS34aを追加したものとなっている。
まず、車載装置2は、現在位置を取得し(ステップS31)、現在位置を地図中心CPとする広域地図WMを生成する(ステップS32)。そして、車載装置2は、車用地図M1を生成してディスプレイ22に表示する(ステップS33)。
一方、携帯通信端末3の制御部20は、ディスプレイ32からの信号に基いて、ディスプレイ32がホールド操作を受け付けているか否かを判定する(ステップS40)。そして、ディスプレイ32がホールド操作を受け付けていない場合は(ステップS40にてNo)、以降、第1の実施の形態と同様の処理が実行される。
すなわち、携帯通信端末3が、携帯通信端末3の動きを検出し(ステップS41)、その動きを示すセンサ信号を車載装置2に送信する(ステップS42)。車載装置2は、センサ信号を受信すると、センサ信号に基いて携帯通信端末3の移動量を導出し(ステップS35)、さらに、基準位置SPに対する携帯通信端末3の相対位置を導出する(ステップS36)。
そして、車載装置2は、携帯通信端末3の相対位置に基いて端末地図M2を生成し、生成した端末地図M2を携帯通信端末3に送信する(ステップS38)。携帯通信端末3は、この端末地図M2を受信し(ステップS43)、受信した端末地図M2をディスプレイ32に表示する(ステップS44)。これにより、携帯通信端末3の動きに応じて、携帯通信端末3に表示される端末地図M2の領域が変更される。
これに対して、ディスプレイ32がホールド操作を受け付けている場合は(ステップS40にてYes)、携帯通信端末3は、ステップS41及びステップS42を実行しない。したがってこの場合は、携帯通信端末3は携帯通信端末3の動きを示すセンサ信号を車載装置2に送信せず、車載装置2はセンサ信号を受信しないことになる。
車載装置2は、センサ信号を受信しない場合は(ステップS34aにてNo)、ステップS35及びステップS36を実行しない。したがってこの場合は、車載装置2は、携帯通信端末3の動きに応じた新たな携帯通信端末3の相対位置を導出せず、処理上の携帯通信端末3の相対位置を前回の連携表示処理のまま維持する。
そして、車載装置2は、維持された携帯通信端末3の相対位置に基いて端末地図M2を生成し、生成した端末地図M2を携帯通信端末3に送信する(ステップS38)。携帯通信端末3は、この端末地図M2を受信し(ステップS43)、受信した端末地図M2をディスプレイ32に表示する(ステップS44)。これにより、携帯通信端末3の動きに関わらず、携帯通信端末3に表示される端末地図M2の領域が維持されることになる。
このように第5の実施の形態においては、携帯通信端末3のディスプレイ32がホールド操作を受け付けている期間は、車載装置2は、携帯通信端末3の動きに応じた処理を実行しない。このため、ユーザはホールド操作を行うことで、携帯通信端末の動きに応じた処理を無効化することができる。
なお、図14に示す連携表示処理の流れはあくまで一例であり、携帯通信端末3のディスプレイ32がホールド操作を受け付けている期間に携帯通信端末3の動きに応じた処理が実行されなければ、他の流れであってもよい。例えば、携帯通信端末3は、ホールド操作を受け付けている場合に、ステップS41及びステップS42の双方ではなく、いずれか一方を実行しないようにしてもよい。また、携帯通信端末3がホールド操作を受け付けている期間にセンサ信号とともに特定のホールド信号を車載装置2に送信し、車載装置2がこのホールド信号を受信している期間は、ステップS35及びステップS36を実行しないようにしてもよい。
<6.第6の実施の形態>
次に、第6の実施の形態について説明する。第6の実施の形態においても、通信システム10は、連携して動作可能な車載装置2と携帯通信端末3とを備えている。以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、車載装置2がナビゲーション機能を備えていた。これに対して、第6の実施の形態では、携帯通信端末3がナビゲーション機能を備える一方で、車載装置2はナビゲーションの機能を備えずに表示機能などの基本的な機能のみを備えている。携帯通信端末3は、ユーザ(主にドライバ)に提供すべき地図などの画像を車載装置2に送信する。車載装置2は、携帯通信端末3から画像を受信してディスプレイ22に表示する。これにより、車載装置2は、ユーザ(主にドライバ)に提供すべき各種の画像をユーザに提供する。
<6−1.システムの構成>
図15は、第6の実施の形態の通信システム10の構成を示す図である。図中の左側は車載装置2の構成、右側は携帯通信端末3の構成をそれぞれ示している。
車載装置2は、第1の実施の形態の図2に示す構成から、GPS部24及びカメラ25を省いた構成となっている。また、記憶部29は、プログラム29aを記憶しているが、地図データ29bを記憶していない。
さらに、制御部20によるプログラム29aの実行によってソフトウェア的に実現される処理部としては、第1の実施の形態の図2に示す処理部20a〜20eに代えて、表示制御部20fがある。表示制御部20fは、ディスプレイ22を制御して、データ通信部28が携帯通信端末3から受信した画像をディスプレイ22に表示させる。
一方、携帯通信端末3は、第1の実施の形態の図2に示す構成に加えて、GPS部34及びカメラ35をさらに備えている。
GPS部34は、複数のGPS衛星からの信号を受信して携帯通信端末3の現時点の位置(地球上における絶対位置)を取得する。携帯通信端末3は車両9内において用いられるため、GPS部34は実質的に車両9の現時点の位置を取得する。第6の実施の形態においては、GPS部34が取得する車両9の現時点の位置を「現在位置」という。GPS部34が取得する現在位置は、例えば緯度経度で表現され、地図中の位置を特定する情報としても利用できる。
カメラ35は、レンズと撮像素子とを備えており、被写体を撮影して撮影画像を電子的に取得する。カメラ35は、ディスプレイ32が配置される側とは反対側の主面に配置される。したがって、カメラ35は、ディスプレイ32を視認するユーザとは反対側に存在する被写体を撮影する。
また、記憶部39は、プログラム39aとともに、ナビゲーション機能などに用いる地図データ39bを記憶している。
さらに、制御部30によるプログラム39aの実行によってソフトウェア的に実現される処理部としては、第1の実施の形態と同じ運動検出部30aの他に、車用地図制御部30d、ルート案内部30e、初期位置設定部30f、端末位置導出部30g及び端末地図制御部30hを備えている。
これら車用地図制御部30d、ルート案内部30e、初期位置設定部30f、端末位置導出部30g及び端末地図制御部30hはそれぞれ、第1の実施の形態において車載装置2が備えていた車用地図制御部20a、ルート案内部20b、初期位置設定部20c、端末位置導出部20d及び端末地図制御部20eとほぼ同様の機能を実現する処理部である。したがって、第1の実施の形態で車載装置2が実行した処理とほぼ同様の処理を、第6の実施の形態では携帯通信端末3が実行するようになっている。以下、これらの処理について説明する。
<6−2.初期位置設定処理>
まず、携帯通信端末3の初期位置を設定する初期位置設定処理(図6のステップS2)の流れについて説明する。
図16は、第6の実施の形態の初期位置設定処理の流れを示す図である。図中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。
まず、携帯通信端末3の初期位置設定部30fが、初期位置の設定に用いる設定画像を、データ通信部38を制御して車載装置2に送信する(ステップS51)。このような設定画像は予め記憶部39などに記憶されている。
携帯通信端末3から送信された設定画像は、車載装置2のデータ通信部28が受信する(ステップS52)。車載装置2の表示制御部20fは、この設定画像の受信に応答して、ディスプレイ22を制御して、携帯通信端末3から受信した設定画像をディスプレイ22に表示させる(ステップS53)。
これにより、図17に示すように、車載装置2のディスプレイ22は設定画像Gを表示する。設定画像Gは、その中心位置に所定の模様の設定マークCMを含んでいる。したがって、この設定画像Gを表示するディスプレイ22の画面の中心位置には、設定マークCMの中心が配置される。設定マークCMの模様は、例えば、二色の正方形を交互に配した市松模様である。第6の実施の形態においても、ディスプレイ22の画面の中心位置が基準位置SPとされる。このため、基準位置SPは、設定マークCMの中心位置と一致する。
このように車載装置2に設定マークCMが表示される一方で、携帯通信端末3では、初期位置設定部30fの制御により、カメラ35が撮影待機状態となる。すなわち、携帯通信端末3では、カメラ35で取得された画像をディスプレイ32にリアルタイムに表示するライブ表示がなされる。
このような携帯通信端末3の撮影待機状態において、初期位置設定部30fは、カメラ35に撮影画像の取得を指示する撮影操作をユーザが行ったか否かを判定する(ステップS54)。この撮影操作は、上記実施の形態における初期設定操作に実質的に相当する。
ユーザは、タッチパネルとしてのディスプレイ32に表示されたコマンドボタンに触れることで、この撮影操作を行うことができる。ユーザは、カメラ35が車載装置2のディスプレイ22の画面に表示された設定マークCMを撮影できるように、その画面の正面付近に携帯通信端末3を移動させた上で、このような撮影操作を行う。
撮影操作がなされた場合は(ステップS54にてYes)、初期位置設定部30fは、カメラ35を制御して、車載装置2のディスプレイ22の画面の撮影を実行させる(ステップS55)。これにより、初期位置設定部30fは、設定マークCMの像を含む撮影画像を取得する。
次に、初期位置設定部30fは、取得した撮影画像中の設定マークCMの像を認識する(ステップS56)。初期位置設定部30fは、例えば、ハリスオペレータなどの周知の手法により、撮影画像中の設定マークCMの像を認識できる。
次に、初期位置設定部30fは、撮影画像中の設定マークCMの像の位置に基づいて、携帯通信端末3の初期位置を設定する(ステップS57)。初期位置設定部30fは、設定マークCMの像の位置の撮影画像の中心からのズレに基づいて、実際の携帯通信端末3の位置が、基準位置(ディスプレイ22の画面の中心位置)SPからどの方向にどの程度ズレているかを導出する。これにより、初期位置設定部30fは、基準位置SPを基準として携帯通信端末3の初期位置を設定する。
<6−3.連携表示処理>
次に、車載装置2と携帯通信端末3とが連携して地図を表示する連携表示処理(図6のステップS3)の流れについて説明する。
図18は、第6の実施の形態の連携表示処理の流れを示す図である。図中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。図18に示す処理は、所定の周期(例えば、1/30秒周期)で繰り返し実行される。
まず、携帯通信端末3の車用地図制御部30dが、GPS部34を制御して、地図中の車両9の現時点の位置である現在位置を取得する(ステップS61)。
次に、車用地図制御部30dが、車用地図M1よりも広域の広域地図WMを生成する(ステップS62)。車用地図制御部30dは、記憶部39に記憶された地図データ39bを用いて、図5に示すように、現在位置を地図中心CPとする広域地図WMを生成する。
次に、車用地図制御部30dは、車用地図M1を生成して車載装置2に送信する(ステップS63)。車用地図制御部30dは、広域地図WMの現在位置を中心とした領域R1を切り出すことで車用地図M1を生成する。車用地図制御部30dは、データ通信部38を制御して、生成した車用地図M1を車載装置2に送信する(ステップS63)。これにより、車用地図制御部30dは、車用地図M1を車載装置2に表示させる。
携帯通信端末3から送信された車用地図M1は、車載装置2のデータ通信部28が受信する(ステップS71)。車載装置2の表示制御部20fは、この車用地図M1の受信に応答して、ディスプレイ22を制御して、携帯通信端末3から受信した車用地図M1をディスプレイ22に表示させる(ステップS72)。
これにより、現在位置を中心とした車用地図M1が車載装置2において表示される。目的地が設定されている場合は、ルート案内部30eが、車載装置2への送信前に、目的地までのルートを車用地図M1に重畳する。このため、ユーザ(主にドライバ)は車載装置2に表示された車用地図M1を視認することで、現在位置の周辺の領域、及び、目的地までのルートを確認することができる。
このように車載装置2が車用地図M1を表示する一方で、携帯通信端末3では、モーションセンサ33が携帯通信端末3の動き(モーション)を検出する(ステップS64)。運動検出部30aは、モーションセンサ33を制御して、モーションセンサ33から携帯通信端末3の動きを示すセンサ信号を取得する。このセンサ信号は、3軸加速度及び3軸角速度を示している。
次に、携帯通信端末3の端末位置導出部30gは、センサ信号が示す3軸加速度に基づいて、前回の連携表示処理(図18の一連の処理)からの携帯通信端末3の3軸それぞれに沿った移動量を導出する(ステップS65)。
さらに、端末位置導出部30gは、過去に繰り返された連携表示処理において導出された携帯通信端末3の移動量を積算することで、初期位置からの携帯通信端末3の3軸それぞれに沿った移動量を導出する。前述のように、初期位置は基準位置SPを基準として初期位置設定処理において設定されている。このため、端末位置導出部30gは、基準位置SPを基準とした初期位置と、初期位置からの携帯通信端末3の移動量とに基づいて、基準位置SPに対する携帯通信端末3の相対位置を導出する(ステップS66)。
次に、端末地図制御部30hが、基準位置SPに対する携帯通信端末3の相対位置に基いて、端末地図M2を生成する(ステップS67)。端末地図制御部30hは、端末地図領域R2の地図中心CPに対する相対位置が、実際の携帯通信端末3の基準位置SPに対する相対位置と一致するように、広域地図WM中の端末地図領域R2を設定する。そして、端末地図制御部30hは、設定した端末地図領域R2を広域地図WMから切り出して端末地図M2を生成する。
次に、端末地図制御部30hは、ディスプレイ32を制御して、生成した端末地図M2をディスプレイ32に表示させる(ステップS68)。これにより、携帯通信端末3は、基準位置SPに対する相対位置に応じた領域の端末地図M2を表示することになる。
このように第6の実施の形態の通信システム10では、連携表示処理に必要となる主な処理を携帯通信端末3が実行するようになっている。携帯通信端末3は、表示対象となる広域地図WM中の領域R1を切り出して車用地図M1を生成し、車用地図M1を外部の車載装置2に送信して表示させる。また、携帯通信端末3は、携帯通信端末3の動きを検出し、その動きに基づいて基準位置SPに対する携帯通信端末3の相対位置を導出する。そして、携帯通信端末3は、広域地図WM中の携帯通信端末3の相対位置に応じた端末地図領域R2を切り出して端末地図M2を生成し、生成した端末地図M2を表示する。
このように主な処理を携帯通信端末3が実行する場合であっても、第1の実施の形態と同様に、車載装置2と携帯通信端末3とで同一の広域地図WM中の異なる領域を表示させることができる。ユーザは、携帯通信端末3を動かすことで、広域地図WM中の所望の領域の端末地図M2を携帯通信端末3のディスプレイ32で閲覧することができる。また、携帯通信端末3での端末地図M2の表示が、車載装置2での車用地図M1の表示に影響を与えることもない。
なお、上記態様では、初期位置設定処理において設定マークCMを含む設定画像Gを用いていたが、一般的な地図など他の画像を設定画像として用いてもよい。地図を設定画像として用いる場合は、当該地図の中心位置にある地名などを周知の文字認識方式を用いて認識すればよい。
また、上記態様では、基準位置を車載装置2のディスプレイ22の画面の中心位置としていたが、第3の実施の形態と同様に、携帯通信端末3を扱うユーザが任意の位置を基準位置として設定できるようになっていてもよい。この場合は、初期位置設定部30fが、ユーザが初期設定操作を行った時点の携帯通信端末3の位置である初期位置を、そのまま基準位置として設定すればよい。
<7.第7の実施の形態>
次に、第7の実施の形態について説明する。第7の実施の形態においても、通信システム10は、連携して動作可能な車載装置2と携帯通信端末3とを備えている。以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態においては、ユーザは、携帯通信端末3を動かすことにより、携帯通信端末3のディスプレイ32に表示する端末地図M2の領域を変更できた。これに対して、第7の実施の形態においては、ユーザは、携帯通信端末3を動かすことで、車載装置2に対して入力操作を行うことが可能となっている。第7の実施の形態においても、車載装置2は、ナビゲーション機能を備えたナビゲーション装置となっている。
<7−1.システムの構成>
図19は、第7の実施の形態の通信システム10の構成を示す図である。図中の左側は車載装置2の構成、右側は携帯通信端末3の構成をそれぞれ示している。
車載装置2は、第1の実施の形態の図2に示す構成から、カメラ25を省いた構成となっている。また、制御部20によるプログラム29aの実行によってソフトウェア的に実現される処理部としては、車用地図制御部20a、ルート案内部20b、及び、操作受付部20gを備えている。
車用地図制御部20aは、車載装置2のディスプレイ22に表示するための車用地図を生成し、ディスプレイ22に表示させる。ただし、本実施の形態の車用地図制御部20aは、広域地図WMは作成しなくてよい。また、ルート案内部20bは、目的地までのルートを導出し、導出したルートを車用地図に重畳する。また、操作受付部20gは、データ通信部28が携帯通信端末3から携帯通信端末3の動きに応じた操作信号を受信した場合に、この操作信号を受け付けて操作信号に応じて所定の処理を実行する。
一方、携帯通信端末3は、第1の実施の形態の図2に示す構成と略同様であるが、制御部20によるプログラム29aの実行によってソフトウェア的に実現される処理部としては、運動検出部30i、及び、信号送信部30bを備えている。
第1の実施の形態の運動検出部30aは、モーションセンサ33から携帯通信端末3の動きを示すセンサ信号を取得するものであった。これに対して、第7の実施の形態の運動検出部30iは、モーションセンサ33から携帯通信端末3の動きを示すセンサ信号を取得するとともに、そのセンサ信号に基いて、方向移動操作、決定操作、及び、キャンセル操作などのユーザ操作を認識し、そのユーザ操作を示す操作信号を生成する。信号送信部30bは、データ通信部38を制御して、運動検出部30iが生成した操作信号を端末信号として車載装置2に送信する。
<7−2.連携動作の概要>
次に、第7の実施の形態の通信システム10における、車載装置2と携帯通信端末3との連携動作の概要について説明する。
図20は、車載装置2と携帯通信端末3とが連携して動作している様子の一例を示す図である。図20においては、車載装置2は、車用地図M1をディスプレイ22に表示している。
このように車載装置2が車用地図M1を表示している状態においては、ユーザは、携帯通信端末3を車載装置2のディスプレイ22の画面に対して略並行に動かすことで、車載装置2に表示された車用地図M1をスクロールさせることができる。
例えば、矢印A11に示すように、ユーザが携帯通信端末3を右方向に動かした場合は、携帯通信端末3の動きは右側への方向移動操作として認識される。このためこの場合は、矢印A12に示すように、車載装置2は車用地図M1を右方向にスクロールさせて表示する。同様に、ユーザが携帯通信端末3を左方向に動かした場合は左方向に、ユーザが携帯通信端末3を上方向に動かした場合は上方向に、ユーザが携帯通信端末3を下方向に動かした場合は下方向にそれぞれ、車載装置2は車用地図M1をスクロールさせて表示する。
図21は、車載装置2と携帯通信端末3とが連携して動作している様子の他の一例を示す図である。図21においては、車載装置2は、複数のコマンドボタンを含む設定画面をディスプレイ22に表示している。図21の例では、この設定画面は、目的地を設定するための目的地設定画面となっている。
図21に示す目的地設定画面は、目的地を絞り込むための施設種別の候補リストとなる複数の施設ボタンB、上位の設定画面に戻るための戻るボタンB0、及び、施設種別の他の候補リストを表示させるためのページ変更ボタンB1,B2を含んでいる。通常、これらのコマンドボタンB,B0,B1,B2は、ユーザが直接触れることで操作される。
このように車載装置2がコマンドボタンを含む設定画面を表示している状態においては、ユーザは、携帯通信端末3を動かすことで、車載装置2に対してコマンドボタンに関する操作を行うことができる。
例えば、矢印A11に示すように、ユーザが携帯通信端末3を右方向に動かした場合は、携帯通信端末3の動きは右側への方向移動操作として認識される。このためこの場合は、その動きに応じて矢印A13に示すように、車載装置2は、コマンドボタンBを仮選択するためのカーソルCを右方向に移動する。同様に、ユーザが携帯通信端末3を左方向に動かした場合は左方向に、ユーザが携帯通信端末3を上方向に動かした場合は上方向に、ユーザが携帯通信端末3を下方向に動かした場合は下方向にそれぞれ、車載装置2はカーソルCを移動する。
また、例えば、ユーザが携帯通信端末3をディスプレイ22の画面に対して近づける方向(携帯通信端末3の主面に直交する方向)に移動させた場合は、携帯通信端末3の動きは決定操作として認識される。このためこの場合は、車載装置2は、カーソルCによって仮選択されたコマンドボタンBの選択を確定する。また、ユーザが携帯通信端末3を左右に細かく振った場合はその動きはキャンセル操作として認識され、車載装置2は、戻るボタンB0の選択が確定された場合と同様の処理を行う。
また、ユーザが携帯通信端末3を左方向あるいは右方向に移動させた上で、携帯通信端末3の主面の上下軸に沿って回転させた場合は、携帯通信端末3の動きはフリック操作として認識される。左方向のフリック操作の場合は車載装置2はページ変更ボタンB1の選択が確定された場合と同様の処理を行い、右方向のフリック操作の場合は車載装置2はページ変更ボタンB2の選択が確定された場合と同様の処理を行う。
<7−3.連携動作の流れ>
次に、第7の実施の形態の通信システム10の連携動作の流れについて説明する。図22は、第7の実施の形態の連携動作の処理の流れを示す図である。この動作の開始時点においては、車載装置2と連携するための専用のアプリケーションが、携帯通信端末3において実行されている。これにより、携帯通信端末3においては、運動検出部30i、及び、信号送信部30bが有効化されている。また、車載装置2と携帯通信端末3との間で通信可能な状態が確立されている。
図22中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。図22に示す処理は、所定の周期(例えば、1/30秒周期)で繰り返し実行される。
まず、携帯通信端末3のモーションセンサ33が携帯通信端末3の動き(モーション)を検出する(ステップS81)。運動検出部30iは、モーションセンサ33を制御して、モーションセンサ33から携帯通信端末3の動きを示すセンサ信号を取得する。このセンサ信号は、3軸加速度及び3軸角速度を示している。
運動検出部30iは、さらに、センサ信号に基いて、携帯通信端末3の動きが、方向移動操作、決定操作、キャンセル操作及びフリック操作などのいずれのユーザ操作に該当するかを認識する(ステップS82)。そして、運動検出部30iは、認識したユーザ操作を示す操作信号を生成する。
次に、携帯通信端末3の信号送信部30bが、データ通信部38を制御して、操作信号を、携帯通信端末3の動きに応じた端末信号として車載装置2に送信する(ステップS83)。
携帯通信端末3から送信された操作信号は、車載装置2のデータ通信部28が受信する(ステップS84)。車載装置2の操作受付部20gは、操作信号が示すユーザ操作に応じた処理を実行する(ステップS85)。すなわち、操作受付部20gは、ディスプレイ22等を制御して、車用地図M1のスクロールや、カーソルCの移動などの処理を実行する。
このように第7の実施の形態においては、車載装置2が携帯通信端末3の動きに応じた処理を実行するため、車載装置2の主対象となるユーザ(ドライバ)以外のユーザ(車載装置2から離れた位置のユーザ)であっても、ユーザは携帯通信端末3を動かすことで車載装置2に対して各種の入力操作を行うことができる。また、このような通信システム10の携帯通信端末3として、ユーザが日常的に利用している汎用の携帯通信端末を用いることができるため、比較的低コストにこのような機能を実現することができる。
なお、ユーザが、ある位置から携帯通信端末3をユーザ操作として動かした後に、元の位置に戻す携帯通信端末3の動きが別のユーザ操作として誤って認識される可能性がある。このため、運動検出部30iは、一つのユーザ操作を認識した後は、所定時間(例えば、0.5秒間)、次のユーザ操作を認識しないようにしてもよい。
また、ユーザが携帯通信端末3を動かす際に、縦方向が長手方向となる姿勢の場合と、横方向が長手方向となる姿勢の場合とで、運動検出部30iが、異なるユーザ操作を認識するようにしてもよい。例えば、図20に示す場合において、縦方向が長手方向となる姿勢で携帯通信端末3を動かすと車載装置2は車用地図M1をスクロールさせるが、横方向が長手方向となる姿勢で携帯通信端末3を動かすと車載装置2は車用地図M1の縮尺を変更することなどが考えられる。
また、上記態様では、携帯通信端末3がセンサ信号に基いてユーザ操作を認識しているが、携帯通信端末3から車載装置2にセンサ信号を送信して車載装置2がセンサ信号に基づいてユーザ操作を認識するようにしてもよい。
<8.第8の実施の形態>
次に、第8の実施の形態について説明する。第8の実施の形態においても、通信システム10は、連携して動作可能な車載装置2と携帯通信端末3とを備えている。以下、第7の実施の形態との相違点を中心に説明する。
第7の実施の形態においては、ユーザは、携帯通信端末3を把持して動かすことにより、車載装置2に対して入力操作を行うことが可能となっていた。これに対して、第8の実施の形態においては、ユーザは、携帯通信端末3が備えるカメラの撮影範囲で手などを動かすことにより、車載装置2に対して入力操作を行うことが可能となっている。
図23は、第8の実施の形態の通信システム10の構成を示す図である。図中の左側は車載装置2の構成、右側は携帯通信端末3の構成をそれぞれ示している。車載装置2は、第7の実施の形態の図19に示す構成と同様である。
一方、携帯通信端末3は、第7の実施の形態の図19に示す構成から、モーションセンサ33が省かれ、代わりに、クレードルセンサ36及びカメラ37を備えている。
クレードルセンサ36は、車両9の所定位置に配置された保持部材となるクレードルに携帯通信端末3が載置されたか否かを検出するセンサである。例えば、クレードルが充電機能を有している場合は、クレードルセンサ36は、充電端子の電圧に基いてクレードルに携帯通信端末3が載置されたか否かを検出する。このクレードルは、車両9の助手席あるいは後部座席の近傍など、携帯通信端末3を主に扱うユーザが着座する位置に配置される。
カメラ37は、レンズと撮像素子とを備えており、被写体を撮影して撮影画像を電子的に取得する。カメラ37は、ディスプレイ32が配置される側と同一側の主面に配置される。したがって、カメラ37は、ディスプレイ32を視認するユーザの側に存在する被写体を撮影する。
また、携帯通信端末3は、制御部20によるプログラム29aの実行によってソフトウェア的に実現される処理部として、運動検出部30j、及び、信号送信部30bを備えている。
第7の実施の形態の運動検出部30iは、モーションセンサ33からの信号に基いて操作信号を取得するものであった。これに対して、第8の実施の形態の運動検出部30jは、カメラ37で時間的に連続して取得される画像に基いて、ユーザの手の動きを検出する。そして、運動検出部30jは、その手の動きに基いて、方向移動操作、決定操作、及び、キャンセル操作などのユーザ操作を認識し、そのユーザ操作を示す操作信号を生成する。信号送信部30bは、データ通信部38を制御して、運動検出部30jが生成した操作信号を端末信号として車載装置2に送信する。
図24は、第8の実施の形態の連携動作の処理の流れを示す図である。この動作の開始時点においては、車載装置2と連携するための専用のアプリケーションが、携帯通信端末3において実行されている。これにより、携帯通信端末3においては、運動検出部30j、及び、信号送信部30bが有効化されている。また、車載装置2と携帯通信端末3との間で通信可能な状態が確立されている。
図24中の左側は車載装置2の処理、図中の右側は携帯通信端末3の処理を示している。図24に示す処理は、所定の周期(例えば、1/30秒周期)で繰り返し実行される。図24に示す処理は、携帯通信端末3がクレードルセンサ36によってクレードルに載置されていることが確認されており、かつ、所定の開始指示がユーザによりなされた後に実行される。このような開始指示は、例えば、音声認識技術を利用してユーザが所定のキーワードを発言することなどでなされてもよい。
まず、携帯通信端末3のカメラ37がユーザの手を撮影する(ステップS91)。運動検出部30iは、カメラ37を制御して、ユーザの手の像を含む撮影画像を時間的に連続して取得する。
運動検出部30jは、時間的に連続した複数の撮影画像それぞれに含まれるユーザの手の像を色や形状に基づいて認識し、それらの像の動きからユーザの手の動きを検出する。そして、運動検出部30jは、検出したユーザの動きが、方向移動操作、決定操作、キャンセル操作及びフリック操作などのいずれのユーザ操作に該当するかを認識する(ステップS92)。そして、運動検出部30iは、認識したユーザ操作を示す操作信号を生成する。
次に、携帯通信端末3の信号送信部30bが、データ通信部38を制御して、操作信号を、携帯通信端末3の動きに応じた端末信号として車載装置2に送信する(ステップS93)。
携帯通信端末3から送信された操作信号は、車載装置2のデータ通信部28が受信する(ステップS94)。車載装置2の操作受付部20gは、操作信号が示すユーザ操作に応じた処理を実行する(ステップS95)。
このように、第8の実施の形態の通信システム10では、ユーザは、携帯通信端末3が備えるカメラ37の撮影範囲で手などを動かすことによって、車載装置2に所望の処理を実行させることができる。携帯通信端末3が載置されるクレードルは、車両9の任意の位置に配置することができるため、車載装置2の主対象となるユーザ(ドライバ)以外のユーザ(車載装置2から離れた位置のユーザ)であっても、ユーザは手などを動かすことで車載装置2に各種の入力操作を行うことができる。
<9.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、携帯通信端末3と連携して動作する電子装置は車載装置2であったが、家庭用のテレビジョン装置など他の電子装置であってもよい。
また、上記実施の形態では、モーションセンサ33が携帯通信端末3の動きを検出したいたが、オプティカルフロー方式などの他の手法によって携帯通信端末3の動きを検出してもよい。例えば、オプティカルフロー方式では、携帯通信端末3が備えるカメラで得られた複数の撮影画像(フレーム)のそれぞれから特徴点を抽出し、複数の撮影画像間での特徴点の動きを示すオプティカルフローの向きに基づいて携帯通信端末3の動きを検出することができる。
また、上記第1ないし第6の実施の形態では、車載装置2のディスプレイ22の画面の中心位置に表示される地図上の位置である地図中心CPは、車両9の現時点の位置である現在位置となっていた。これに対して、ユーザが車載装置2を操作することで、地図中心CPを現在位置とは異なる位置に変更できるようになっていてもよい。このように地図中心CPを現在位置とは異なる位置に変更した場合は、端末地図M2となる端末地図領域R2を設定する際の基準とする位置を、現在位置ではなく変更後の地図中心CPとしてもよい。また、端末地図領域R2を設定する際の基準とする位置を、地図中心CPと現在位置とのいずれにするかをユーザが設定できるようになっていてもよい。
また、上記第1ないし第6の実施の形態では、表示対象となるコンテンツは地図であったが、画像、ウェブページ及び電子番組ガイド(EPG)など一部の領域のみが画面上に表示され、他の領域はスクロールして表示されるようなコンテンツであれば、どのようなものであってもよい。例えば、電子番組ガイドが表示対象のコンテンツとなる場合は、一般に、電子番組ガイド中の現時点が含まれる時間帯の領域(放送中の番組の領域)が主に画面上に表示され、電子番組ガイド中の他の時間帯の領域についてはスクロールして表示されるようになっている。したがって、この場合は、電子番組ガイド中の現時点が含まれる時間帯の領域を車載装置2に表示させつつ、ユーザは携帯通信端末3を動かすことで、電子番組ガイド中の所望の他の時間帯の領域を携帯通信端末3の画面に表示させることができる。
また、上記第1ないし第6の実施の形態において、携帯通信端末3に対するユーザの操作を、当該携帯通信端末3で表示しているコンテンツの領域に応じた内容の操作として通信システムが受け付けるようにしてもよい。これにより、ユーザの操作性を向上させることができる。例えば、ナビゲーション機能を有する通信システムにおいては、携帯通信端末3に端末地図M2を表示させている場合に、位置を指定するユーザの操作がなされたときは、通信システムは、ユーザが指定した端末地図M2上の地点(施設)を登録地点(登録施設)として登録するようにしてもよい。また、例えば、デジタルTV受信機能を有する通信システムにおいては、携帯通信端末3に電子番組ガイドを表示させている場合に、番組を選択するユーザの操作がなされたときは、通信システムは、ユーザが選択した番組を表示させる、又は、予約する(受信予約若しくは録画予約)動作を行うようにしてもよい。このような場合、携帯通信端末3に表示されたコンテンツの領域とタッチパネルへの操作における操作位置とからユーザが対象とする地点や番組を特定すればよい。
また、上記第1ないし第6の実施の形態では、携帯通信端末3の長手方向が縦方向か横方向かの姿勢については考慮されていなかったが、携帯通信端末3の姿勢を考慮して、端末地図M2となる端末地図領域R2を設定するようにしてもよい。
また、上記第1ないし第6の実施の形態では、携帯通信端末3に表示される端末地図M2の縮尺は、車載装置2に表示される車用地図M1と同一となっていた。これに対して、端末地図M2の縮尺を、車用地図M1と異なる縮尺にユーザが変更できるようになっていてもよい。
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能を有する処理部が実現されると説明したが、これら処理部のうちの一部は電気的なハードウェア回路により実現されてもよい。
次に、上述の実施形態における通信システムにおける、操作性等を向上させる付加機能について説明する。
尚、説明を分かりやすくするため、以下の各付加機能について地図表示を例に上げて説明する。また、以下の各付加機能について携帯通信端末3の表示画像は携帯通信端末3で生成処理する例で説明するが、車載装置2で生成処理すること、あるいは携帯通信端末3または車載装置2と通信接続された情報センターで生成処理することも可能で、その場合には、必要なデータが各装置間で通信されることになる。
[携帯通信端末位置表示機能]
図25は、携帯機位置表示機能を示す機能概念図である。
車載装置2の画面100には地図が表示され、また携帯通信端末3の画面105には、車載装置2の画面100に表示された地図の領域を拡大した仮想拡大地図における携帯通信端末3の位置に応じた地図が表示される。そして、車載装置2の画面100には図25(a)に示すように、車載装置2の位置を示す車載装置マーク101、携帯通信端末3の位置を示す携帯通信端末マーク102、また目的地を示す目的地マーク103が表示される。
尚、これら車載装置マーク101、携帯通信端末マーク102、目的地マーク103の表示位置および車載装置マーク101と携帯通信端末マーク102のサイズは、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)、目的地103の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係にあり、その位置関係、距離感等が容易に把握できるようになっている。そして、車載装置マーク101、携帯通信端末マーク102、目的地マーク103は、これらマークが車載装置2の画面100に納まるように各間隔と表示サイズが調整される。また、車載装置2の位置を示す車載装置マーク101の表示する位置を車載装置2の画面100の所定位置、好ましくは中心と決めておく場合は、車載装置マーク101の表示を省略しても、位置関係、距離感等を容易に把握することが可能である。
携帯通信端末3の画面105には、図25(b)、(c)に示すように、車載装置2の位置を示す車載装置マーク106、携帯通信端末3の位置を示す携帯通信端末マーク107、また目的地を示す目的地マーク108が表示される。尚、これら車載装置マーク106、携帯通信端末マーク107、目的地マーク108の表示位置および車載装置マーク106と携帯通信端末マーク107のサイズは、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)、目的地103の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係にあり、その位置関係、距離感等が容易に把握できるようになっている。そして、車載装置マーク106、携帯通信端末マーク107、目的地マーク108は、これらマークが携帯通信端末3の画面105に納まるように各間隔と表示サイズが調整される。
尚、図25(b)に示した表示例は携帯通信端末マーク107を携帯通信端末3の画面105中央に配置して例で、そして図25(c)に示した表示例は車載装置マーク106を携帯通信端末3の画面105中央に配置した例である。これら表示方法は、使用場面、ユーザの好みにより適切な表示方法が変わるので、ユーザ選択操作や使用場面に応じて、切り替わるようするのが好ましい。
また、携帯通信端末3の位置を示す携帯通信端末マーク107を表示する位置を車載装置2の画面100の所定位置、好ましくは中心と決めておく場合(図25(b))、あるいは車載装置2の位置を示す車載装置マーク106を表示する位置を車載装置2の画面105の所定位置、好ましくは中心と決めておく場合(図25(c))は、携帯通信端末マーク107あるいは車載装置マーク106の表示を省略しても、位置関係、距離感等を容易に把握することが可能である。
次に、この携帯機位置表示機能を実現するために、車載装置2および携帯通信端末3のマイクロコンピュータが行う処理について説明する。図26(a)は車載装置2側の処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
車載装置2のマイクロコンピュータ(以降、車載マイコンと称する)は、ステップT1で車載装置2の画面サイズの情報を携帯通信端末3に送信し、ステップT2に移る。車載マイコンは、ステップT2で携帯通信端末3から送信された携帯通信端末3の画面サイズの情報を受信し、ステップT3に移る。車載マイコンはステップT3で、携帯通信端末3の位置を検出し、ステップT4に移る。車載マイコンはステップT4で、ナビゲーション機能における目的地が設定されているか判断し、目的地設定されていればステップT6に移り、目的地設定されていなければステップT5に移る。
車載マイコンはステップT5で、車載装置マーク101、携帯通信端末マーク102、の表示位置および車載装置マーク101と携帯通信端末マーク102のサイズが、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係になるように、また車載装置マーク101、携帯通信端末マーク102は、これらマークが車載装置2の画面101に納まるように、車載装置マーク101、携帯通信端末マーク102の表示画像を生成し、ステップT7に移る。
車載マイコンはステップT6で、車載装置マーク101、携帯通信端末マーク102、目的地マーク103の表示位置および車載装置マーク101と携帯通信端末マーク102のサイズが、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)、目的地の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係になるように、また車載装置マーク101、携帯通信端末マーク102、目的地マーク103は、これらマークが車載装置2の画面101に納まるように、車載装置マーク101、携帯通信端末マーク102、目的地マーク103の表示画像を生成し、ステップT7に移る。車載マイコンはステップT7で、ステップT5またはステップT6で生成した画像を地図表示に畳重するようにオンスクリーン表示し、処理を終える。
図26(b)は携帯通信端末3側の処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯通信端末3のマイクロコンピュータ(以降、携帯マイコンと称する)は、ステップT11で携帯通信端末3の画面サイズの情報を車載装置2に送信し、ステップT12に移る。携帯マイコンは、ステップT12で車載装置2から送信された車載装置2の画面サイズの情報を受信しステップT13に移る。携帯マイコンはステップT13で、携帯通信端末3の位置を検出し、ステップT14に移る。携帯マイコンはステップT14で、ナビゲーション機能における目的地が設定されているか判断し、目的地設定されていればステップT16に移り、目的地設定されていなければステップT15に移る。
携帯マイコンはステップT15で、車載装置マーク106、携帯通信端末マーク107、の表示位置および車載装置マーク106と携帯通信端末マーク107のサイズが、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係になるように、また車載装置マーク106、携帯通信端末マーク107は、これらマークが車載装置2の画面101に納まるように、車載装置マーク101、携帯通信端末マーク102の表示画像を生成し、ステップT17に移る。
携帯マイコンはステップT16で、車載装置マーク106、携帯通信端末マーク107、目的地マーク108の表示位置および車載装置マーク106と携帯通信端末マーク107のサイズが、表示地図に対する車載装置2(画面101)、携帯通信端末3(画面105)、目的地の位置および車載装置2の画面100、携帯通信端末3の画面105と相似関係になるように、また車載装置マーク106、携帯通信端末マーク107、目的地マーク108は、これらマークが車載装置2の画面101に納まるように、車載装置マーク106、携帯通信端末マーク107、目的地マーク108の表示画像を生成し、ステップT17に移る。携帯マイコンはステップT17で、ステップT15またはステップT16で生成した画像を地図表示に畳重するようにオンスクリーン表示し、処理を終える。
[携帯通信端末移動/地図移動調整機能]
図27は、地図移動速度調整機能を示す機能概念図である。
携帯通信端末3の画面105には、携帯通信端末3の基準移動距離を示す基準距離バーと、携帯通信端末3をこの基準移動距離だけ移動させた場合に表示地図が移動する距離を示す移動距離バー111が表示される。そして、この移動距離バー111を携帯通信端末3の画面105のタッチパネル操作(例えば、ピンチアウト/ピンチイン操作)で伸縮することにより、携帯通信端末3の移動距離と表示地図の移動距離がそれに対応した関係になる。この調整された携帯通信端末3の移動距離と表示地図の移動距離の関係を示すデータがメモリに記憶され、表示地図の切り出し位置の算出処理に用いられる。
尚、本例では、携帯通信端末3の移動距離を固定して、これに対する表示地図が移動する距離を調整するようにしたが、逆に表示地図が移動する距離を固定して、これに対する携帯通信端末3の移動距離を調整するようにしても良い。
また、本機能では携帯通信端末3の移動距離に対する表示地図の移動距離を縮尺に応じて変更するか否かをユーザが選択できるようにしている。例えば、携帯通信端末3を1cm移動させると地図が1km分、表示では1cm移動する状況で地図の縮尺を2倍に拡大(詳細地図表示)した場合に、携帯通信端末3を1cm移動させると、地図が1km分、表示では2cm移動するように制御するか、あるいは地図が0.5km分、表示では1cm移動するように制御するかを選択できるようにしている。
図28(a)は携帯通信端末3の地図表示処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯マイコンは、ステップT21で携帯通信端末3の位置を検出し、ステップT22に移る。携帯マイコンは、ステップT22で携帯通信端末3に表示されている地図の縮尺変更があったどうか判断し、縮尺変更があればステップT23に移り、縮尺変更がなければステップT26に移る。携帯マイコンは、ステップT23で携帯通信端末3の移動に対する地図の移動速度を縮尺に応じて変更することを許可するか否かを選択するための画面を表示して、ステップT24に移る。携帯マイコンは、ステップT24で携帯通信端末3の移動に対する地図の移動速度を縮尺に応じて変更することが許可されたか否かを判断し、許可されていればステップT25に移り、許可されていなければステップT26に移る。
携帯マイコンは、ステップT25で地図画像の切り出し条件(位置決め条件)が縮尺変更に対応して変わるように、メモリに記憶された切り出し位置決めのための制御値を更新し、ステップT26に移る。携帯マイコンは、ステップT26でメモリに記憶された切り出し位置決めのための制御値を含む切り出し条件に応じて地図画像を切り出し、ステップT27に移る。携帯マイコンは、ステップT27で切り出した地図画像を携帯通信端末3に表示し処理を終える。
図28(b)は携帯通信端末3の地図移動速度調整処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯マイコンは、ステップT31で地図移動速度調整開始操作(地図移動速度調整開始スイッチの操作)があったかどうか判断し、操作があればステップT32に移り、操作がなければ処理を終える。携帯マイコンは、ステップT32で地図移動速度調整用画像を表示し、ステップT33に移る。携帯マイコンは、ステップT33で地図移動速度調整操作の有無を判断し、操作があればステップT35に移り、なければステップT34に移る。携帯マイコンは、ステップT34で操作の無い時間が所定時間を超過したかどうか判断し、超過していればステップT38に移り、超過していなければステップT33に移る。
携帯マイコンは、ステップT35で操作内容を確認し、調整終了操作(終了スイッチの操作や他機能スイッチの操作等)であればステップT38に移り、また移動速度増加操作であればステップT36に移り、移動速度減少操作であればステップT37に移る。携帯マイコンは、ステップT36で地図切り出し処理(切り出し位置決定処理)に用いる地図移動速度係数を増加させて、ステップT32に戻る。また携帯マイコンは、ステップT37で地図切り出し処理(切り出し位置決定処理)に用いる地図移動速度係数を減少させて、ステップT32に戻る。尚、地図移動速度係数の増減に応じて、地図移動速度調整用画像における移動距離バー111の長さが可変することになる(ステップT32)。そして携帯マイコンは、ステップT38で地図移動速度調整用画像を表示し、処理を終える。
[携帯通信端末画面固定機能]
図29は、地図移動速度調整機能を示す機能概念図である。
携帯通信端末3の画面105に仮想拡大地図における携帯通信端末3の位置に応じた地図が表示された状態では、図29(a)に示すように画面を固定するための画面固定スイッチ115が表示されている。ユーザがこの画面固定スイッチ115を操作している間は携帯通信端末3が移動しても携帯通信端末3に表示された地図は固定された状態が維持され、その後画面固定スイッチ115の操作が解除されればその後の携帯通信端末3の移動に応じて表示地図が移動する。
尚、画面固定スイッチ115の操作が解除されれば画面固定スイッチ115の操作中の携帯通信端末3の移動に対応する移動をした表示地図を基準に表示地図を移動させることも可能で、ユーザによるモード設定に応じて画面固定スイッチ115の操作解除後の地図移動動作を決定するようにすれば良い。また、画面固定スイッチ115の操作毎に、地図移動/停止を切り替えるようにしても良い。
また、画面固定スイッチ115操作以外に、図29(b)に示すように携帯通信端末3の地図縮尺変更操作中に地図移動を停止する方法(地図縮尺変更操作中の地図移動による見易さ低下の防止)も有効な方法である。さらに、携帯通信端末3の表示画面105を水平にした場合に地図移動を停止する方法(他の人が地図の表記内容を確認している場合等における地図移動による視認性低下の防止)も有効な方法であり、この方法の場合に携帯通信端末3の表示画面105が水平状態での移動距離が所定距離を超えた場合に地図移動の停止を解除するようにすれば、他の人が広範囲の地図を確認する場合に便利なものになる。
図30は携帯通信端末3の地図停止処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯マイコンは、ステップT41で地図停止操作(地図停止操作スイッチの操作)が行われたか判断し、停止操作が行われていればステップT42に移り、行われていなければステップT44に移る。携帯マイコンは、ステップT42で携帯通信端末3の移動に伴う地図移動の停止処理を行い、ステップT42に移る。携帯マイコンは、ステップT43で地図停止操作が解除されたか判断し、停止操作が解除されていればステップT44に移り、解除されていなければステップT43の処理を繰り返す。携帯マイコンは、ステップT44で携帯通信端末3の移動に伴う地図移動の停止処理を解除し、処理を終える。
携帯マイコンは、ステップT45で携帯通信端末3の画面が水平状態か判断し、水平状態であればステップT46に移り、水平状態でなければステップT50に移る。尚、この判断は、携帯通信端末3に設置された加速度センサによる重力加速度検出方向出力等により判断できる。携帯マイコンは、ステップT46で携帯通信端末3の移動に伴う地図移動の停止処理を行い、ステップT47に移る。携帯マイコンは、ステップT47で携帯通信端末3の移動距離(水平状態後)が所定距離以上になったか判断し、所定距離以上であればステップT49に移り、所定距離未満であればステップT48に移る。携帯マイコンは、ステップT48で携帯通信端末3の画面が水平状態か判断し、水平状態であればステップT47に移り、水平状態でなければステップT49に移る。携帯マイコンは、ステップT49で携帯通信端末3の移動に伴う地図移動の停止処理を解除し、処理を終える。
携帯マイコンは、ステップT50で携帯通信端末3の表示地図の縮尺変更操作(縮尺変更操作スイッチの操作)が行われたか判断し、縮尺変更操作が行われていればステップT41に移り、行われていなければ処理を終える。携帯マイコンは、ステップT51で携帯通信端末3の移動に伴う地図移動の停止処理を行い、ステップT52に移る。携帯マイコンは、ステップT52で縮尺変更操作が解除されたか判断し、縮尺変更操作が解除されていればステップT53に移り、解除されていなければステップT52の処理を繰り返す。携帯マイコンは、ステップT53で携帯通信端末3の移動に伴う地図移動の停止処理を解除し、処理を終える。
[車載装置/携帯通信端末縮尺連動機能]
図31は、車載装置/携帯通信端末縮尺連動機能を示す機能概念図である。
携帯通信端末3の画面105に仮想拡大地図における携帯通信端末3の位置に応じた地図が表示された状態で、図30(a)に示すように車載装置2で表示地図の縮尺変更操作を行った場合、携帯通信端末3の画面105には車載装置2の表示地図の縮尺と連動するか(同縮尺の表示地図とするか)否かを決定するための操作スイッチ120が表示され、ユーザが縮尺連動を許可する操作を行えば携帯通信端末3の表示地図の縮尺が車載装置2で表示地図の縮尺と同縮尺となる。
また、携帯通信端末3の画面105に仮想拡大地図における携帯通信端末3の位置に応じた地図が表示された状態で、図30(b)に示すように携帯通信端末3で表示地図の縮尺変更操作を行った場合、車載装置2の画面100には携帯通信端末3の表示地図の縮尺と連動するか(同縮尺の表示地図とするか)否かを決定するための操作スイッチ121が表示され、ユーザが縮尺連動を許可する操作を行えば車載装置2の表示地図の縮尺が携帯通信端末3で表示地図の縮尺と同縮尺となる。
図32(a)は車載装置2側の処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
車載マイコンは、ステップT61で車載装置2側での縮尺変更動作(縮尺変更操作スイッチ等の操作等)があったかどうか判断し、縮尺変更動作があればステップT63に移り、縮尺変更動作がなければステップT62に移る。車載マイコンは、ステップT62で車載装置2側での縮尺変更動作内容データを携帯通信端末3に送信し、ステップT63に移る。
車載マイコンは、ステップT63で携帯通信端末3からの縮尺変更動作内容データに基づき携帯通信端末3での縮尺変更動作があったかどうか判断し、縮尺変更動作があればステップT64に移り、縮尺変更動作が無ければ処理を終える。車載マイコンは、ステップT64で車載装置2の表示画面100に縮尺の連動変更可否を選択するための連動変更可否操作スイッチ121を表示し、ステップT64に移る。ステップT64では、ユーザにより縮尺の連動変更可が許可されたかを連動変更可否操作スイッチ121の操作状態により判断し、許可されればステップT66に移り、許可されなければ処理を終える。車載マイコンは、ステップT66で車載装置2の表示地図の縮尺を携帯通信端末3の表示地図の縮尺変更に対応させて変更し、処理を終える。
図32(b)は携帯端末装置3側の処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯マイコンは、ステップT71で携帯通信端末3側での縮尺変更動作(縮尺変更操作スイッチ等の操作等)があったかどうか判断し、縮尺変更動作があればステップT73に移り、縮尺変更動作がなければステップT72に移る。携帯マイコンは、ステップT72で携帯通信端末3側での縮尺変更動作内容データを車載装置2に送信し、ステップT73に移る。
携帯マイコンは、ステップT73で車載装置2からの縮尺変更動作内容データに基づき車載装置2での縮尺変更動作があったかどうか判断し、縮尺変更動作があればステップT74に移り、縮尺変更動作が無ければ処理を終える。携帯マイコンは、ステップT74で携帯通信端末3の表示画面105に縮尺の連動変更可否を選択するための連動変更可否操作スイッチ1210表示し、ステップT74に移る。ステップT74では、ユーザにより縮尺の連動変更可が許可されたかを連動変更可否操作スイッチ120の操作状態により判断し、許可されればステップT76に移り、許可されなければ処理を終える。携帯マイコンは、ステップT76で携帯通信端末3の表示地図の縮尺を車載装置2の表示地図の縮尺変更に対応させて変更し、処理を終える。
[携帯通信端末傾斜対応画面表示機能]
図33は、携帯通信端末傾斜対応画面表示機能を示す機能概念図である。
携帯通信端末3の画面105に仮想拡大地図における携帯通信端末3の位置に応じた地図が表示された状態で携帯通信端末3を傾けると、その画面105平面に沿った傾斜角に応じて表示地図が回転し、車載装置2の表示地図と同じ向きの地図が表示される。図33は傾きを変えていった場合の画面推移の例で、(a)は傾斜角0度、(b)は傾斜角5度、(c)は傾斜角10度、(d)は傾斜角10度、(e)は傾斜角5度、(f)は傾斜角0度、の表示地図で、(c)と(d)の間で傾斜方向が反転している例である。尚、傾斜角は分かりやすいように実際の角度より強調して表示している。
携帯通信端末3を画面105平面に沿って回転させる(傾ける)と表示地図も携帯通信端末3の回転に伴って回転する。そして、本例では傾斜角5度の状態で表示地図も携帯通信端末3の回転に伴って同じく回転する(図33(b))。更に携帯通信端末3を回転させ傾斜角10度に達すると、地図が反対方向に傾斜角分(10度)回転し車載装置2の表示地図と同じ向きの表示地図となる(図33(c))。つまり、傾斜角10度の遊びを設けることにより、傾斜角の微小変動に伴う表示地図の微小回転を抑えて、地図の見易さを確保している。
そして、携帯通信端末3を画面105平面に沿って元の方向へ回転させる(傾ける)と表示地図も携帯通信端末3の回転に伴って回転する。そして、本例では傾斜角5度の状態で表示地図も携帯通信端末3の回転に伴って同じく回転する(図33(e))。更に携帯通信端末3を回転させ傾斜角0度に達すると、地図が反対方向に傾斜角分(−10度)回転し車載装置2の表示地図と同じ向きの表示地図となる(図33(f))。つまり、反転方向についても傾斜角10度の遊びを設けることにより、傾斜角の微小変動に伴う表示地図の微小回転を抑えて、表示地図の見易さを確保している。また、正方向回転と逆方向回転とで表示地図の角度変更タイミング(傾斜角)にヒステリシスを設けることにより、角度変更タイミング(傾斜角)付近におけるハンチング(境界角度訃音を前後する傾斜角の繰り返し変動に伴う表示地図の角度変更の頻発)を抑えて、表示地図の見易さを確保している。
尚、本実施の形態においては、ユーザが携帯通信端末3の傾きの応じた表示地図の角度変更を許可するモードを選択している場合にのみ、携帯通信端末3の傾きの応じた表示地図の角度変更を行う。また、携帯通信端末3が移動している場合には、それに伴う表示地図の移動を見易くするため、携帯通信端末3の傾きの応じた表示地図の角度変更は停止し、移動が完了後所定時間経過後に携帯通信端末3移動中における累積傾角変動量に応じて表示地図を回転させる。
また、車載装置2の表示地図は、フロントアップ表示モード(車両進行方向を上として地図表示を行う方法)の場合、車両自動車の移動に伴い表示地図の向きが変化する。この場合も携帯通信端末3の表示地図を車載装置2の表示地図に合わせて回転させるが、本実施の形態では携帯通信端末3の傾斜角変動の場合と同様、傾斜(回転)角に対する遊びを10度を設け、また正回転、逆回転に関するヒステリシスを設けている。
図34(a)は車載装置2側の携帯通信端末傾斜対応画面表示機能処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
車載マイコンは、ステップT81で地図データ(広域仮想地図)の更新が必要かどうかを、車両に移動状況等から判断して(前回の地図データ更新から車両の移動量が大きくなり隣接する地図データ更新の必要性が高くなった場合)、更新が必要であればステップT82に移り、更新が必要でなければステップT83に移る。ステップT83では、適切な範囲の広域仮想地図データを携帯通信端末3に送信して処理を終える。尚、この際には車載装置2の地図表示処理に用いるための広域地図データ(高速処理のため磁気記録媒体等からバッファメモリに記憶)の更新も行う。
車載マイコンは、ステップT83で車載装置2の地図表示(向き)モード(フロントアップ表示モード、ノースアップモード(北方向を上として地図表示を行う方法))を携帯通信端末3に送信し、ステップT84に移る。車載マイコンは、ステップT84で表示地図の向きが基準(前回表示地図方向データを送信(ステップT85)してから)から所定角度(10度)以上変化したか判断し、所定角度(10度)以上変化していればステップT85に移り、変化していなければ処理を終える。車載マイコンは、ステップT85で表示地図の方向データを携帯通信端末3に送信し、処理を終える。
図34(b)は携帯通信端末3側の携帯通信端末傾斜対応画面表示機能処理を示すフローチャートで、車載装置2と携帯通信端末3との連携動作中は繰り返し実行される。
携帯マイコンは、ステップT91で車載装置2から送信された新たに更新された広域仮想地図データを受信したかどうか判断し、受信していればステップT92に移り、受信していなければステップT93に移る。携帯マイコンは、ステップT92で受信した更新された広域仮想地図データで地図データを更新し(地図処理用メモリに記憶する)、更新された地図データによる表示地図が表示されるようにし、ステップT93に移る。
携帯マイコンは、ステップT93で携帯通信端末3の表示地図の向きを変更する必要があるかどうか判断し、変更が必要であればステップT94に移り、変更の必要がなければステップT95に移る。尚、表示地図の向きを変更する必要がある条件は、次の各条件のいずれかが成立する場合である。
条件1:携帯通信端末3の傾きが変わった場合、ユーザが携帯通信端末3の表示地図の向き変更動作を許可する設定にしており、かつ前回の携帯通信端末3の表示地図の向き変更から所定角度以上地図を回転する状況にある。尚、正回転と逆回転の混在の場合、ヒステリシス条件も成立する必要がある。また、携帯通信端末3が移動中および停止してから所定時間経過前は、表示地図の向きを変更する条件の成立を保留する(必要無し条件とする)。
条件2:車載装置2の表示地図の方向が変わった場合(車載装置2はノースアップモード)、ユーザが携帯通信端末3の表示地図の向き変更動作を許可する設定にしており、かつ前回の携帯通信端末3の表示地図の向き変更から所定角度以上地図を回転する状況(前回の携帯通信端末3の表示地図の向き変更から所定角度以上、車載装置2の表示地図の向きが変化した状況)にある。尚、正回転と逆回転の混在の場合、ヒステリシス条件も成立する必要がある。また、携帯通信端末3が移動中および停止してから所定時間経過前は、表示地図の向きを変更する条件の成立を保留する(必要無し条件とする)。
携帯マイコンは、ステップT94で地図の向きを条件に応じた角度回転して(地図処理用メモリに記憶された広域仮想地図を回転)、ステップT95に移る。携帯マイコンは、ステップT95で携帯通信端末3の位置を検出してステップT96に移る。携帯マイコンは、ステップT96で、携帯通信端末3の位置に応じた領域の地図を地図処理用メモリに記憶された広域仮想地図から切り取り、ステップT97に移る。携帯マイコンは、ステップT97で切り取った地図を表示地図として携帯通信端末3の画面105に表示し、処理を終える。
[携帯通信端末画面サイズ調整機能]
図35は、携帯通信端末画面サイズ調整機能を示す機能概念図である。
車載装置2および携帯通信端末3はその機種によって画面サイズが異なる。このため表示地図のサイズを調整したいと言った要望が発生する。携帯通信端末画面サイズ調整機能はこのための機能で、サイズ調整操作時には図35に示すように、車載装置2の画面100および携帯通信端末3の画面105には、調整用映像130,131が表示される。これら調整用映像130,131は、車載装置2の画面100および携帯通信端末3の画面105に表示された表示地図の縮尺に応じた大きさで形状が同じ図形(本例では円)で、例えば車載装置2の画面100および携帯通信端末3の画面105に表示された表示地図が同じ縮尺で同じ表示サイズであれば、形状、大きさが同一の図形(円)となる。
そして、携帯通信端末3の画面105のタッチパネル操作によりサイズ調整操作を行えば、携帯通信端末3の画面105に表示されている調整用映像131の大きさが表示地図と共に伸縮し、表示地図のサイズ調整が行える。ここで、車載装置2と携帯通信端末3の表示地図の縮尺が同じであれば、携帯通信端末3の画面105に表示されている調整用映像131の大きさを、車載装置2の画面100に表示されている調整用映像130と同じ大きさに調整すれば、携帯通信端末3の画面105に表示されている表示地図と車載装置2の画面100に表示されている表示地図とは、縮尺およびサイズは全く同じものとなり、非常に連続性の高い地図表示となる。
また、車載装置2と携帯通信端末3が新たに接続された場合には、過去に接続経歴があれば過去の調整値を表示サイズの初期設定値として設定し、過去に接続経歴がなければ機種に応じた調整値を表示サイズの初期設定値として設定する。尚、機種に応じた調整値は車載装置2または携帯通信端末3のメモリ等に記憶しておくか、センター等に記憶されたデータを通信利用により入手する方法が考えられる。
図36(a)は、携帯通信端末画面サイズ調整機能における、新規接続成立時の表示サイズ初期値設定処理を示すフローチャートで、車載装置2と携帯通信端末3との新規接続成立時に実行される。
携帯マイコンは、ステップT100で車載装置2と携帯通信端末3との接続(このペアでの接続)が過去に存在したか判断し、過去に存在すればステップT102に移り、存在しなければステップT101に移る。携帯マイコンは、ステップT101で車載装置2の機種と携帯通信端末3の機種に基づきデータベースを検索して該当する機種間に適した調整値を検索し携帯通信端末3の表示サイズの初期設定値として設定し、処理を終える。携帯マイコンは、ステップT102で過去接続時における調整値をメモリから読み出し携帯通信端末3の表示サイズの初期設定値として設定し、処理を終える。尚、過去接続時における調整値は車載装置2、携帯通信端末3の識別情報に関連付けて記憶しておく。
図36(b)は、携帯通信端末画面サイズ調整機能における、画面サイズ調整処理を示すフローチャートで、車載装置2と携帯通信端末3とが連携動作中に繰り返し実行される。
携帯マイコンは、ステップT110で画面サイズの調整開始操作があったかどうか判断し、調整開始操作があればステップT111に移り、なければ処理を終える。携帯マイコンは、ステップT111で調整用の画像(例えば円)を携帯通信端末3の画面105に表示し、ステップT112に移る。携帯マイコンは、ステップT112で車載装置2に調整用画像(携帯通信端末3の調整用画像と同一形状)を表示する指示信号を車載装置2に送信し、ステップT113に移る。この処理により車載装置2の画面100には調整用画像が表示される。
携帯マイコンは、ステップT113で拡大操作/縮小操作があったか判断し、拡大操作であればステップT114に移動し、縮小操作であればステップT115に移る。携帯マイコンは、ステップT114で表示サイズ調整値を1ステップ拡大する値とし、ステップT116に移る。携帯マイコンは、ステップT115で表示サイズ調整値を1ステップ縮小する値とし、ステップT116に移る。携帯マイコンは、ステップT116で調整完了したかどうか判断し、調整完了であればステップT117に移り、調整完了でなければステップT113に戻る。尚、調整完了の判断は調整完了スイッチ操作の検出等で行うが、タイムアウト処理を行い所定時間以上拡大操作/縮小操作がなければ、調整完了として処理しても良い。
携帯マイコンは、ステップT117で調整用の画像を携帯通信端末3の画面105から消去し、ステップT118に移る。携帯マイコンは、ステップT118で車載装置2に調整用画像を消去する指示信号を車載装置2に送信し、処理を終える。この処理により車載装置2の画面100から調整用画像が消去される。
[戻し操作機能]
図37は、戻し操作機能を示す機能概念図である。
広域仮想地図が広い領域の場合、携帯通信端末3を手の届く範囲で大きく移動させても領域の端に達しない場合があり、その場合には一旦携帯通信端末3を引き戻して、そこを基準に再度移動させる動作が必要となる。その課題を解決する戻し操作の動作を示すのが図37で、位置Aから位置Bに携帯通信端末3を移動させるとその移動に伴い携帯通信端末3の表示地図も移動する。この移動の際には(移動停止後所定時間経過するまで)、携帯通信端末3の画面105に戻し操作スイッチ140が表示される。そして、この操作スイッチ140を操作している間は、表示地図に移動は停止され(携帯通信端末3の位置データは固定されたままとなる)、携帯通信端末3を位置Cに移動しても表示地図は移動しない。そして、この操作スイッチ140の操作が解除された後に表示地図に移動は再開される(携帯通信端末3の位置データは移動に伴い変化する)。
尚、戻し操作としては、戻し操作スイッチ140以外にも、例えば携帯通信端末3をその画面105に垂直方向前面側に移動させることにより戻し操作開始とし、画面105に垂直方向背面側に移動させることにより戻し操作解除とすると言った方法も可能である。この方法は、パーソナルコンピュータにおけるマウス操作に類似する動きがあり、直感的に受け入れ易い(分かり易い)方法と言う利点がある。
図38は、戻し操作機能を実現する処理を示すフローチャートで、車載装置2と携帯通信端末3とが連携動作中に繰り返し実行される。
携帯マイコンは、ステップT120で戻し操作がなされているか判断し、戻し操作中であればステップT121に移り、戻し操作中で無ければステップT122に移る。携帯マイコンは、ステップT121で携帯通信端末3の移動に伴う携帯通信端末3の位置データ(表示画像制御用データ)の更新を禁止し、処理を終える。この処理により、これ以降の携帯通信端末3の位置データは携帯通信端末3の移動に伴い更新されないことになり、携帯通信端末3の移動があっても携帯通信端末3の画面105に表示される表示地図は停止されたままとなる。る。携帯マイコンは、ステップT121で携帯通信端末3の移動に伴う携帯通信端末3の位置データ(表示画像制御用データ)の更新を許可し、処理を終える。この処理により、これ以降の携帯通信端末3の位置データは携帯通信端末3の移動に伴い更新されることになり、携帯通信端末3の移動に伴い携帯通信端末3の画面105に表示される表示地図も移動することになる。
[携帯通信端末/車載装置接触時動作機能]
特殊な状態として車載装置2と携帯通信端末3が接触状態にある場合があるが、この場合、携帯通信端末3の表示地図は車載装置2の表示地図に隣接し、さらに縮尺、サイズ(後述の携帯通信端末画面サイズ調整機能による調整後のサイズ)を同じとした連続性のある地図(各々の表示地図の端部で同じ位置になる(若干の重なりを設けても可))とする。つまり、両装置の接触時は両装置の画面100,105を一体化したような表示とする。
尚、車載装置2と携帯通信端末3は、両装置の表面に接触センサを設置し、そのセンサによる同時の接触検出を両装置間の通信で確認して両装置の接触を検出する方法や、車載装置2付近のカメラ画像の解析により両装置の接触を検出する方法が考えられる。
図39は、携帯通信端末/車載装置接触時動作機能を実現する処理を示すフローチャートで、車載装置2と携帯通信端末3とが連携動作中に繰り返し実行される。
携帯マイコンは、ステップT131で車載装置2と携帯通信端末3が接触状態にあるか判断し、接触状態であればステップT132に移り、接触状態でなければ処理終える。携帯マイコンは、ステップT132で携帯通信端末3の位置データを車載装置2に隣接する位置にリセットし、ステップT133に移る。尚、この位置データは、車載装置2と携帯通信端末3の接触位置により調整されたリセット値となる。つまり、接触位置に応じたリセット値がメモリに記憶されており、接触位置に対応するリセット値が読み出されることになる。携帯マイコンは、ステップT133で携帯通信端末3の表示地図の縮尺とサイズを車載装置2と同一となるように設定して、処理を終える。
以上の処理により、携帯通信端末3が車載装置2に接触した状態での携帯通信端末3の画面105に表示される地図は、車載装置2の画面100に表示されている地図と同一縮尺、同一サイズで、隣接した地図となり両画面100、105が一体化したような地図が表示される。
10 通信システム
2 車載装置
22 ディスプレイ
3 携帯通信端末
32 ディスプレイ
33 モーションセンサ
39a プログラム
9 車両
M1 車用地図
M2 端末地図
WM 広域地図

Claims (6)

  1. 携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおいて、
    前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す位置関係画像を表示する携帯機位置表示手段を備えることを特徴とする通信システム。
  2. 請求項1に記載の通信システムにおいて、
    前記携帯機位置表示手段は、前記電子装置と前記携帯通信端末との位置関係と、前記携帯通信端末の画面サイズとを相似関係にある画像で表示することを特徴とする携帯通信端末。
  3. 請求項1および2のいずれかに記載の電子装置において、
    前記仮想拡大画像は地図画像であって、
    前記電子装置の表示画像と前記携帯通信端末の表示画像と経路案内における目的地との位置関係を示すことを特徴とする電子装置。
  4. 携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおける携帯通信端末において、
    前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す携帯機位置表示手段を備えることを特徴とする携帯通信端末。
  5. 携帯通信端末と、該携帯通信端末と通信可能な電子装置とからなる電子システムであって、前記電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する電子システムにおける電子装置において、
    前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を示す携帯機位置表示手段を備えることを特徴とする電子装置。
  6. 携帯通信端末に含まれるコンピュータによって実行可能なプログラムであって、
    前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
    (a)電子装置の表示領域を拡大した仮想拡大画像における前記携帯通信端末の位置に応じた画像を前記携帯通信端末の画面に表示する端末位置対応画像工程と、
    (b)前記電子装置の表示画像と前記携帯通信端末の表示画像との位置関係を検出する位置関係検出工程と、
    (c)前記検出した位置関係を示す位置示唆画像を生成する画像生成工程と、
    (d)前記生成した位置示唆画像を表示する位置示唆画像表示工程と、
    を実行させることを特徴とするプログラム。
JP2014027935A 2014-02-17 2014-02-17 通信システム、携帯通信端末、電子装置、及びプログラム Active JP6297353B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014027935A JP6297353B2 (ja) 2014-02-17 2014-02-17 通信システム、携帯通信端末、電子装置、及びプログラム
US14/622,279 US20150233721A1 (en) 2014-02-17 2015-02-13 Communication system
US15/189,878 US20160300324A1 (en) 2014-02-17 2016-06-22 Communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014027935A JP6297353B2 (ja) 2014-02-17 2014-02-17 通信システム、携帯通信端末、電子装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015152497A true JP2015152497A (ja) 2015-08-24
JP6297353B2 JP6297353B2 (ja) 2018-03-20

Family

ID=53894900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014027935A Active JP6297353B2 (ja) 2014-02-17 2014-02-17 通信システム、携帯通信端末、電子装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP6297353B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018058388A (ja) * 2016-09-30 2018-04-12 トヨタ自動車株式会社 車両用操作装置
US10297225B2 (en) 2015-02-13 2019-05-21 Fujitsu Ten Limited Information processing system and information processing method causing a portable communications terminal to cooperate with an electronic device
JP2019095367A (ja) * 2017-11-27 2019-06-20 アルパイン株式会社 経路案内システム、携帯端末および経路案内方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318210A (ja) * 2005-05-12 2006-11-24 Matsushita Electric Ind Co Ltd 携帯端末装置とその表示方法
US20090213032A1 (en) * 2008-02-21 2009-08-27 Newport William T Computer System Having Shared Display Devices
JP2012220342A (ja) * 2011-04-08 2012-11-12 Alpine Electronics Inc ナビゲーション装置
JP2014026413A (ja) * 2012-07-26 2014-02-06 Fujitsu Ten Ltd 電子装置、通信システム、携帯通信端末、通信方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318210A (ja) * 2005-05-12 2006-11-24 Matsushita Electric Ind Co Ltd 携帯端末装置とその表示方法
US20090213032A1 (en) * 2008-02-21 2009-08-27 Newport William T Computer System Having Shared Display Devices
JP2012220342A (ja) * 2011-04-08 2012-11-12 Alpine Electronics Inc ナビゲーション装置
JP2014026413A (ja) * 2012-07-26 2014-02-06 Fujitsu Ten Ltd 電子装置、通信システム、携帯通信端末、通信方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297225B2 (en) 2015-02-13 2019-05-21 Fujitsu Ten Limited Information processing system and information processing method causing a portable communications terminal to cooperate with an electronic device
JP2018058388A (ja) * 2016-09-30 2018-04-12 トヨタ自動車株式会社 車両用操作装置
JP2019095367A (ja) * 2017-11-27 2019-06-20 アルパイン株式会社 経路案内システム、携帯端末および経路案内方法
JP7002818B2 (ja) 2017-11-27 2022-01-20 アルパイン株式会社 経路案内システム、携帯端末および経路案内方法

Also Published As

Publication number Publication date
JP6297353B2 (ja) 2018-03-20

Similar Documents

Publication Publication Date Title
EP3090235B1 (en) Input/output functions related to a portable device in an automotive environment
JP5172048B2 (ja) ナビゲーション装置及び携帯情報端末
EP2241857B1 (en) Method and apparatus for displaying image of mobile communication terminal
US20170083106A1 (en) System and method for gesture-based point of interest search
US20150070275A1 (en) Systems and methods for navigating a scene using deterministic movement of an electronic device
JP6057587B2 (ja) 電子装置、通信システム、携帯通信端末、通信方法及びプログラム
WO2014057845A1 (ja) 情報処理装置、処理方法、プログラム、及び媒体
JP4801232B1 (ja) 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP6540485B2 (ja) 経路変更装置及び経路変更システム
JP5409874B2 (ja) ナビゲーション装置及び携帯情報端末
JP6297353B2 (ja) 通信システム、携帯通信端末、電子装置、及びプログラム
EP3236340B1 (en) Information processing apparatus and control method of information processing apparatus
US20160300324A1 (en) Communication system
WO2014151054A2 (en) Systems and methods for vehicle user interface
KR101677615B1 (ko) 이동 단말기의 관심 지점 등록 방법 및 그 장치
JP6014420B2 (ja) 操作制御装置、操作制御方法、および、操作制御装置用プログラム
TW201017103A (en) Navigation apparatus having improved display
KR101856255B1 (ko) 내비게이션 디스플레이 장치
JP2006258669A (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP2012108096A (ja) 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP5711077B2 (ja) ナビゲーション装置及びナビゲーション方法
JP2013257214A (ja) 表示装置、表示方法、表示プログラムおよび記録媒体
JP2012108097A (ja) 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP2010122909A (ja) ナビゲーション装置
JP2021071295A (ja) 通信端末及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180221

R150 Certificate of patent or registration of utility model

Ref document number: 6297353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250