JP2016035772A - 情報表示処理装置 - Google Patents

Abstract

【課題】外部端末における情報を当該外部端末とは別の表示装置に適切な表示形態で表示するよう処理する情報表示処理装置を提供する。
【解決手段】車載装置等の情報表示処理装置１２０は、外部端末１００から出力された映像信号を取得する画像入力部１２１と、画像入力部が取得した映像信号が示す画像のうち強調表示すべき画像部分を検出する画像検出部１２８と、画像検出部が検出した画像部分を強調処理する画像処理部１２２と、画像処理部により処理された画像を自装置に接続される表示装置１２３に表示させる処理を行う画像表示処理部１２７と、ユーザＩＦ１２４で取得した入力を外部端末の操作信号に変換する操作変換部１２５とを備える。
【選択図】図１

Description

本発明は、接続された外部端末における情報を当該外部端末とは別の表示装置に表示するよう処理する情報表示処理装置に関する。

特許文献１には、自動車に搭載される車載情報表示装置に携帯電話や携帯情報端末などの外部端末を接続し、外部端末からの視覚的情報を車載情報表示装置に表示する技術が説明されている。特許文献１の技術によれば、外部端末は、当該外部端末のディスプレイに表示される画像の一部又は全部を生成し、車載情報表示装置に転送して表示させる。なお、外部端末のディスプレイに表示される画像が車載情報表示装置にとって望ましくない場合、外部端末は、車載情報表示装置での表示に適切な画像を生成して車載情報表示装置に提供する。

日本国特表２０１０−５１４６０４号公報

車載情報表示装置に情報を表示する際は、運転者にとって見やすく分かりやすい表示をすることが望ましい。しかし、図１３に示すように、外部端末におけるアプリケーションを選択するためのメニュー画面などは、当該画面をそのまま車載情報表示装置に表示しても運転者にとって見やすい画面ではない。したがって、運転者によって見やすく分かりやすいメニュー画面を車載情報表示装置が表示するためには、外部端末は、外部端末におけるメニュー画面を構成する情報を処理してメニュー画面を再構成し、車載情報表示装置に提供する必要があった。但し、このようなメニュー画面を再構成する処理を行うと外部端末の負荷が増すため、外部端末にとっては好ましくない。

本発明の目的は、外部端末における情報を当該外部端末とは別の表示装置に適切な表示形態で表示するよう処理する情報表示処理装置を提供することである。

本発明は、外部端末から出力された映像信号を取得する画像入力部と、前記画像入力部が取得した映像信号が示す画像のうち強調表示すべき画像部分を検出する画像検出部と、前記画像検出部が検出した前記画像部分を強調処理する画像処理部と、前記画像処理部により処理された画像を自装置に接続される表示装置に表示させる処理を行う画像表示処理部と、前記表示装置で強調表示すべき画像部分を管理する外部端末情報管理部と、ユーザによる操作を受け付けるユーザインターフェイスに接続され、前記ユーザインターフェイスから入力された操作情報を変換する操作変換部と、を備え、前記画像検出部は、前記外部端末情報管理部が管理する前記強調表示すべき画像部分を参照して、該当する画像部分を検出し、前記画像検出部は、前記強調表示すべき画像を検出した位置座標及び当該画像のサイズを前記外部端末情報管理部に登録し、前記画像処理部は、前記強調表示すべき画像を強調表示した後の画像の位置座標及び当該画像のサイズを前記外部端末情報管理部に登録し、前記操作変換部は、前記外部端末情報管理部が管理する、前記強調表示すべき画像部分を検出した位置座標及び当該画像のサイズ、並びに、前記強調表示すべき画像を強調表示した画像部分の位置座標及び当該画像のサイズに基づき、前記強調表示すべき画像を強調表示した後の画像部分に対する前記操作情報を、前記強調表示すべき画像部分を強調表示する前の操作情報に変換することを特徴とする情報表示処理装置を提供する。

本発明に係る情報表示処理装置によれば、外部端末における情報を当該外部端末とは別の表示装置に所望の表示形態で表示するよう処理することができる。その結果、外部端末に特別なしくみを用意することなく、表示装置に使用者が見やすく分かりやすい表示を行える。

本発明の実施の形態における情報表示処理装置及びその周辺の構成を示すブロック図 外部端末情報管理部１２９に登録されたアイコンの枠を太く強調した例を示す図 （ａ），（ｂ）は、メニュー画像全体の色を薄めたうえで、外部端末情報管理部１２９に登録されたアイコンを拡大表示した例を示す図 本発明の実施の形態における外部端末情報管理部１２９の管理内容の一例を示す図 本発明の実施の形態における画像検出部１２８が行う処理を示すフローチャート （ａ）は外部端末情報管理部１２９で管理されているアイコンの一例を示す図であり、（ｂ）は（ａ）に示すアイコンを含むメニュー画面の画像の一例を示す図 （ａ），（ｂ）は、全体の輪郭がはっきりしないアイコンとそのサイズを示す図 本発明の実施の形態における画像処理部１２２が行う処理を示すフローチャート 本発明の実施の形態における操作変換部１２５が行う処理を示すフローチャート アイコンの画像が強調された表示装置１２３が表示するメニュー画像９１０における、アイコン９２０の領域に含まれる座標（Ｘ，Ｙ）９３０の位置に対する操作を示す図 図１０における操作情報が変換されたことによる、外部端末１００のメニュー画面上における操作を示す図 本発明の実施の形態における画像検出部１２８、画像処理部１２２及び操作変換部１２５の動作タイミングの一例を示すシーケンスフロー図 外部端末の表示画面に表示されるメニュー画面の一例を示す図 特定アプリケーションの起動を促す強調メニューを表示した例を示す図 本発明の実施の形態における情報表示処理装置に強調メニューが表示された場合の操作変換部１２５が行う処理を説明するための図 本発明の実施の形態における画像検出部１２８、画像処理部１２２及び操作変換部１２５の動作タイミングのもう一つの例を示すシーケンスフロー図

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施の形態における情報表示処理装置及びその周辺の構成を示すブロック図である。図１に示すように、外部端末１００は、映像信号を外部に出力する映像信号出力部１１１と、外部端末１００に対する操作信号が、外部端末１００の接続相手である情報表示処理装置１２０から入力される操作信号入力部１１２とを備える。

外部端末１００は、携帯電話やスマートフォン、携帯情報端末、音楽や映像などのメディアプレーヤ、携帯ナビゲーション装置、ノート型のパーソナルコンピュータなどである。外部端末１００の映像信号出力部１１１から出力される映像信号は、例えば図１３に示したメニュー画面６００を表示装置１２３に表示するための信号である。

図１３に示したメニュー画面６００には、１４個のアイコン６１０と、よく使われるツールのアイコン６２０が５個表示されている。なお、各アイコンは、文字、図形又はそれらの組み合わせから構成される画像部分である。

情報表示処理装置１２０は、上記説明した外部端末１００と通信可能に接続され、表示装置１２３及びユーザインターフェイス（ユーザＩＦ）１２４とも接続されている。表示装置１２３は、液晶ディスプレイなどであり、情報表示処理装置１２０から送られた映像信号に応じた映像を表示する。

ユーザインターフェイス（ユーザＩＦ）１２４は、タッチパネルやマウス、トラックボール、ステアリングホイール上のスイッチなどのポインティングデバイスであり、ユーザによる情報表示処理装置１２０の操作を受け付ける。情報表示処理装置１２０が自動車に搭載される場合、情報表示処理装置１２０は、カーナビゲーションシステムやオーディオシステムなどの機能を持ったシステムを内部に有するか当該システムが接続されていてもよい。

図１に示すように、情報表示処理装置１２０は、画像入力部１２１と、画像処理部１２２と、画像表示処理部１２７と、操作変換部１２５と、操作出力部１２６と、画像検出部１２８と、外部端末情報管理部１２９とを備える。なお、画像処理部１２２、操作変換部１２５、画像検出部１２８、及び外部端末情報管理部１２９は、例えばＣＰＵ、ＲＯＭ及びＲＡＭによって実現される。

ＣＰＵは、ＲＯＭに格納されたコンピュータプログラムを、ＲＡＭを作業領域として使いながら実行する。また、画像処理部１２２、操作変換部１２５、画像検出部１２８、及び外部端末情報管理部１２９は、同一のＣＰＵ上で動作してもよい。

画像入力部１２１は、ＨＤＭＩ（登録商標）等の有線接続又は無線接続された外部端末１００からの映像信号を取得する。なお、映像信号は、動画像の信号だけでなく、ＪＰＧファイルなどの静止画による映像信号であってもよい。

画像処理部１２２は、画像入力部１２１が取得した映像信号をＲＡＭに展開し、ＲＡＭの情報を映像信号として画像表示処理部１２７に出力する。具体的には、画像処理部１２２は、表示装置１２３に適切なサイズやレイアウトで映像（映像信号が示す映像あるいは画像）が表示されるように映像信号を加工する。

例えば、外部端末１００のディスプレイ（図示せず）に図１３で示したメニュー画面が表示されている場合であっても、画像処理部１２２は、外部端末情報管理部１２９で管理されている特定アプリケーションの情報を用いて、特定アプリケーションのアイコンを表示装置１２３で強調表示するよう処理する（強調処理）。画像処理部１２２の詳細な動作については、図８に示すフローチャートを用いて後述する。

画像処理部１２２によるアイコンの強調表示のための処理方法としては、該当するアイコンを拡大表示する、強調枠をつける、異なる色やデザインの強調アイコンを表示する、他のアイコンを表示しない又は他のアイコンの色を薄くするなどといった抑制する方法などが、それぞれの組み合わせも含めて考えられる。図２は、外部端末情報管理部１２９に登録されたアイコンの枠を太く強調した例を示す図である。

図３（ａ），（ｂ）は、メニュー画像全体の色を薄めたうえで、外部端末情報管理部１２９に登録されたアイコンを拡大表示した例を示す図である。特に、図３（ｂ）に示す例では、１画面に４件までアイコンの拡大表示が可能であり、５件以上のアイコンが検出されている。図３（ｂ）では、４件のアイコンを拡大表示するとともに、アイコンが表示される別のページが存在することを、矢印８４０及び８５０で表している。

また、別の強調表示のための処理方法として、強調メニューを表示しても良い。強調メニューを表示する例について、図１４を用いて説明する。
図１４は特定アプリケーションの起動を促す強調メニュー１４０１の例を示す図である。強調メニュー１４０１は、図１４に示すように、特定アプリケーションの起動を促す、あるいは、情報表示処理装置１２０または外部端末１００における次処理をユーザに選択させるなどのためのメニューである。

強調メニュー表示を利用することで、画像入力部１２１が取得した映像信号中に、特定アプリケーションが１つしかなかった場合や、高い優先度が定められた特定アプリケーションが含まれる場合に有効である。この場合、ユーザは、「Ｙｅｓ」ボタン１４０２を操作することにより該当する特定アプリケーションを起動することができる。あるいは、「Ｎｏ」ボタン１４０３を操作した場合は、強調メニュー１４０１を消去して他の特定アプリケーションのアイコンを図３に例示される表示内容のように強調表示してもよい。

画像表示処理部１２７は、画像処理部１２２によってアイコンの強調表示のための処理が行われたメニュー画像を表示装置１２３に表示させる処理を行う。なお、表示装置１２３には外部端末１００の画面と同等の映像が表示できることが望ましい。

操作変換部１２５は、ユーザインターフェイス１２４に対して行われた操作の情報を取得してＲＡＭに展開する。具体的には、操作変換部１２５は、ユーザインターフェイス１２４に対して行われた操作が強調表示されたアイコンに対する操作か否かを、外部端末情報管理部１２９で管理されている情報に基づいて判断する。強調表示されたアイコンに対する操作であれば、操作変換部１２５は、当該操作情報を強調前のアイコンに対する操作情報に変換してＲＡＭに展開する。

例えば、ユーザインターフェイス１２４がタッチパネルなどのポインティングデバイスの場合、操作変換部１２５は、指定された操作位置の座標情報を取得する。取得した座標情報は、画像処理部１２２によってサイズ変換・配置されたアイコンの画像に対する情報である。このため操作変換部１２５は、座標情報を映像信号が示すメニュー画面に対する操作情報に変換する。操作変換部１２５の詳細な動作については、図９のフローチャートを用いて後述する。

操作出力部１２６は、操作変換部１２５からＲＡＭに展開された操作対象や操作内容などの情報を操作信号として、ＵＳＢのＨＩＤ（Human Interface Device）クラス等を用いた有線通信か、又はBluetooth（登録商標）のＨＩＤプロファイル等を用いた無線通信によって外部端末１００に出力する。

画像検出部１２８は、画像入力部１２１が取得した映像信号が特定アプリケーションの起動指示画面（メニュー画面）であるか否かを確認し、当該画面中に含まれ得る特定アプリケーションのアイコンを検出する。特定アプリケーションとしては、自動車内で利用される機能として、カーナビゲーションソフトウェアや、音楽再生ソフトウェアなどが考えられる。

なお、画像検出部１２８が検出すべき特定アプリケーションの情報は、あらかじめ外部端末情報管理部１２９に登録されている。一方で、画像検出部１２８は、メニュー画面から検出した特定アプリケーションの情報を外部端末情報管理部１２９に登録する。画像検出部１２８の詳細な動作については、図５に示すフローチャートを用いて後述する。

外部端末情報管理部１２９は、画像検出部１２８が検出すべき特定アプリケーションの情報を記憶する。また、外部端末情報管理部１２９は、操作変換部１２５で検出された特定アプリケーションへの操作を記録する。このため、ユーザインターフェイス１２４に対して特定アプリケーションが操作されたことが、情報表示処理装置１２０上で管理される。

以下、外部端末情報管理部１２９の管理内容の一例について、図４を用いて詳細に説明する。図４に示すように、外部端末情報管理部１２９で管理される内容は、「種別」、「項目」及び「フォーマット」である。

種別は「アプリ」、「アイコン」、「入力画像」、「表示画像」に分類される。また、項目は、例えば種別が「アプリ」の場合は、管理項目として「アプリ名」、「アプリ種別」、「実行中（か否か）」が管理される。

それぞれのデータ形式は、「フォーマット」の列に示されているように、「ｓｔｒｉｎｇ」（文字列）、「○ｏｒ×」（有り無し、是非など）、「ｄａｔａ」（バイナリデータ）、「数値」が指定されている。なお、図４中の「（ｗ，ｈ）」の記載は、「ｗ」と「ｈ」の２つの数値の組を表す。

以下、種別が「アプリ」の行（２０１）で管理される内容について示す。当該内容は、外部端末情報管理部１２９にあらかじめ設定される。
・アプリ名（アプリケーションの名称を示す文字列）
・アプリ種別（ナビゲーション（ナビ）、オーディオプレーヤ（オーディオ）、ビデオプレーヤ（ビデオ）などアプリケーションの種別を示す文字列）
・実行中（アプリケーションが実行中か否かを示す。初期値としては停止中の旨（例えば×）が設定される。）

以下、種別が「アイコン」の行（２０２）で管理される内容について示す。当該内容は、外部端末情報管理部１２９にあらかじめ設定される。
・画像データ（アイコンのバイナリデータまたはその保存場所）
・サイズ（アイコンの縦（ｈ）及び横（ｗ）の各画素数）

画像検出部１２８により、外部端末情報管理部１２９の管理内容の一部（アプリケーションの情報であって、種別が「入力画像」の行（２０３））が更新される。以下、種別が「入力画像」の行（２０３）で管理される内容について示す。
・サイズ（映像信号が示すメニュー画面に表示されているアイコンの縦（ｈｉ）及び横（ｗｉ）の各画素数）
・位置（映像信号が示すメニュー画面に表示されているアイコンの縦（ｙｉ）及び横（ｘｉ）の各位置）
・有無（映像信号が示すメニュー画面に該当アイコンが表示されているか否かを示す。）

外部端末情報管理部１２９は、上記のほか、映像信号から抽出した該当アイコンの画像データを管理してもよい。

画像処理部１２２により、表示装置１２３に表示される表示画像に関するそれぞれのアプリケーションの情報が更新される。以下、種別が「表示画像」の行（２０４）で管理される内容について示す。
・サイズ（表示画像に表示されているアイコンの縦（ｈｄ）及び横（ｗｄ）の各画素数）・位置（表示画像に表示されているアイコンの縦（ｙｄ）及び横（ｘｄ）の各位置）
・有無（表示画像に該当アイコンが表示されているか否かを示す。）

上記のほか、画像処理部１２２により処理されて表示装置１２３に表示される該当アイコンの画像データを管理してもよい。

図４に示す列２０５〜２０７は設定値の例である。ナビゲーションソフトウェア（２０５）とオーディオプレーヤー（２０６）が含まれるメニュー画面が外部端末１００から入力されたため（２０３の行）、アイコンを拡大して表示画像に表示していることを表している（２０４の行）。ビデオプレーヤー（２０７）は入力画像に含まれていない（２０３の行）。

以下、画像検出部１２８が行う処理について、図５のフローチャートを用いて詳細に説明する。図５に示すように、画像検出部１２８は、まず、画像入力部１２１が取得したメニュー画面に相当する映像信号を画像に変換する（ステップＳ３０１）。次に、画像検出部１２８は、外部端末情報管理部１２９に登録された特定アプリケーションの各アイコンを当該変換されたメニュー画面の画像から検出する（ステップＳ３０３）。

なお、画像検出部１２８は、例えば、カラーまたはグレースケール化した特定アプリケーションのアイコンの画像とメニュー画面の画像との差分を画像全体を走査しながら計算し、差分が一定値よりも小さい場所を、アイコンが検出できた箇所として検出する。

ただし、変換されたメニュー画面に相当する画像から特定アプリケーションの各アイコンを検出する際の具体的な検出方法については走査しながら計算する上記方法に限定されない。すなわち変換された画像においてアイコンの画像の存在範囲（位置とサイズ）が検出される方法を採用すればよい。

ステップＳ３０３によって、外部端末情報管理部１２９に登録された特定アプリケーションのアイコンのうち、メニュー画面の画像に含まれるアイコンが検出される。また、メニュー画像上の各アイコンの存在範囲（位置とサイズ）が明確になる。画像検出部１２８は、ステップＳ３０３で検出したアイコンの位置とサイズを検出情報として、外部端末情報管理部１２９に格納する（ステップＳ３０５）。当該ステップＳ３０５では、図４に示した入力画像の行（２０３）の各項目が更新される。

なお、図４に示した入力画像の行（２０３）の各項目を更新する際、列（２０５）〜列（２０７）のそれぞれを一度に（並列に）更新処理してもよいし、一つの列ずつ順次更新処理を行うようにしても良い。

図６（ａ）は、外部端末情報管理部１２９で管理されているアイコンの一例を示す図である。また、図６（ｂ）は、図６（ａ）に示すアイコンを含むメニュー画面の画像の一例を示す図である。図６（ａ）に示すアイコン７１０のサイズは、縦がｈピクセル、横がｗピクセルである。

アイコン７１０のように全体の輪郭が明確な場合、図６（ｂ）に示すメニュー画面の画像７００上のアイコン７１０の位置座標を（ｘｉ，ｙｉ）と表すことができる。なお、外部端末情報管理部１２９で管理されているアイコンのサイズと、メニュー画面の画像７００上のアイコンのサイズは、サイズが異なっていてもアイコンを検出できる方法を用いているのであれば、異なっていてもよい。また、位置座標の決め方は、画像検出部１２８が決めておいてもよいし、アイコンごとに外部端末情報管理部１２９で管理されてもよい。

図７（ａ），（ｂ）は、全体の輪郭がはっきりしないアイコンとそのサイズを示す図である。図７（ａ）に示す図形のみのアイコン７２０の場合、輪郭がはっきりしないため、メニュー画面の画像７００上で検出した図形の中心が縦ｈピクセル、横ｗピクセルの領域の中心となるようにアイコン７２０の位置座標（ｘｉ，ｙｉ）を定めればよい。また、図７（ｂ）に示す文字のみのアイコン７３０の場合も、同様に輪郭がはっきりしないため、メニュー画面の画像７００上で検出した文字の下辺がアイコンの下辺、文字の左右中心がアイコンの左右中心になるようにアイコン７３０の位置座標（ｘｉ，ｙｉ）を定めればよい。

以下、画像処理部１２２が行う処理について、図８のフローチャートを用いて詳細に説明する。画像処理部１２２は、外部端末情報管理部１２９が管理するアプリケーションのアイコンのうち、映像信号が示すメニュー画面の画像に含まれているアイコンの画像加工及びアイコンの再配置を行い、映像信号が示すメニュー画面とは異なるメニュー画像を画像表示処理部１２７に出力する。

まず、図８に示すように、画像処理部１２２は、まず、画像入力部１２１が取得した映像信号が示す画面サイズを取得して、メニュー画像を加工する（ステップＳ４０１）。この映像信号の上にアイコンの画像を重ねて表示するため、画像処理部１２２は、必要に応じて例えば明るさを落とすなどして映像信号を加工し、アイコンの視認性を落とさないようにする。

次に、画像処理部１２２は、外部端末情報管理部１２９に格納された入力画像に含まれるアイコンの情報を取得する（ステップＳ４０２）。具体的には、画像処理部１２２は、図４に示した入力画像の行（２０３）にある「有無」の項目が○（アイコンが入力画像に含まれている）になっているアイコンに対応した、符号２０２に示されるアイコンの画像データ及びサイズの情報（２０２）を取得する。なお、画像処理部１２２は、映像信号が示す入力画像から抽出した該当アイコンの画像データが外部端末情報管理部１２９で管理されていれば、当該画像データを取得してもよい。

次に、画像処理部１２２は、ステップＳ４０２で取得したアイコンのサイズを変換して、ステップ４０１で加工したメニュー画像上に当該サイズ変換したアイコンの画像を配置する（ステップＳ４０３）。画像処理部１２２は、映像信号が示す画面サイズをステップ４０１で取得しているので、あらかじめアイコンの画像の最大表示数及び表示サイズを決めておくことにより、メニュー画像上のアイコンの配置を決めることができる。

次に、画像処理部１２２は、サイズ変換したアイコンの画像のサイズ及びメニュー画像上の位置を外部端末情報管理部１２９に格納する（ステップＳ４０４）。具体的には、画像処理部１２２は、図４に示した表示画像の行（２０４）にサイズ変換したアイコンのサイズ及び位置を格納するとともに、「有無」の項目を○（アイコンが強調表示されている）とする。なお、サイズ変換したアイコンをメニュー画像上に配置可能な数には限りがあるため、画像処理部１２２は、ステップＳ４０１〜Ｓ４０４を繰り返し行って、メニュー画像に配置されたアイコンの数が最大値に到達すれば処理を終了する。ただし、最大値に到達した場合には、以下の方法１，２を行ってもよい。

方法１．外部端末情報管理部１２９にはアプリケーションの優先度が設定され、画像処理部１２２は、当該アプリケーションの優先度順にアイコンの情報を取得する。その結果、優先度の高いアプリケーションのアイコンが表示されないことがない。

なお、アプリケーションの優先度は、外部端末情報管理部１２９でアプリケーションごとに直接定義されてもよいし、「アプリ」の行（２０１）の項目の「アプリ名」や「アプリ種別」と優先度との対応付けが別途定義されてもよい。例えば「アプリ種別」が「ナビゲーション」であるアプリケーションの優先度を高くしておけば、当該アプリケーションのアイコンが優先的に表示される。

方法２．メニュー画像を複数のページ画面で生成し、画像処理部１２２は、上記説明したアイコンの画像の最大表示数を超えるアプリケーションのアイコンを第２ページ以降のページ画面で表示するよう処理する。

このように、映像信号が示すメニュー画面に含まれ、かつ、外部端末情報管理部１２９に登録されたアイコンを、画像処理部１２２が加工し再配置するため、表示装置１２３には閲覧者が見やすく分かりやすいメニュー画像が表示される。なお、表示するアイコンが多い場合は、優先度に応じてアイコンを選別するか、複数ページに渡って表示することができる。

上記説明において、ステップＳ４０２で、画像処理部１２２は、入力画像に含まれるアイコンの情報を外部端末情報管理部１２９から取得するが、画像処理部１２２は、アプリケーションの優先度等に基づき、外部端末情報管理部１２９に登録された全てのアイコンの情報を１つずつ順に取得してもよい。なお、アイコンの情報を取得する順番は優先度に限らず予め定めることができる。

これにより、外部端末情報管理部１２９に登録されたアイコンの情報が映像信号のメニュー画面に含まれる場合、外部端末情報管理部１２９に登録された全てのアプリケーションのアイコンを複数ページに渡って表示することができる。

以下、操作変換部１２５が行う処理について、図９のフローチャートを用いて詳細に説明する。操作変換部１２５は、ユーザインターフェイス１２４に対して行われた操作の情報を取得する（ステップＳ５０１）。

次に、操作変換部１２５は、操作情報が対象とするアイコンを外部端末情報管理部１２９から検索する（ステップＳ５０２）。図４に示した「表示画像」の行（２０４の）で示された位置とサイズの範囲に操作情報が示す位置が含まれていれば、操作変換部１２５は操作対象のアイコンを判定する。すなわち、操作変換部１２５は、外部端末情報管理部１２９に登録されたアイコンが操作されたか否かを判別する（ステップＳ５０３）。

ステップＳ５０３において、アイコンが操作されていないと判別されれば、操作変換部１２５は何も行わずに処理を終了する。なお、このとき、操作変換部１２５は、操作を取り消す情報を出力したり、操作を変換せずにそのまま映像信号に対する操作情報として出力してもよい。

一方、ステップＳ５０３において、アイコンが操作されたと判別されれば、操作変換部１２５は、表示装置１２３に表示されたアイコンに対する操作情報が示す位置の相対位置を算出する（ステップＳ５０４）。次に、操作変換部１２５は、算出した相対位置を映像信号が示す元のメニュー画面上の位置に変換する（ステップＳ５０５）。操作変換部１２５は、ステップＳ５０５で変換した位置を示す情報を操作出力部１２６に送る（ステップＳ５０６）。

操作変換部１２５は、ステップＳ５０６を行ったとき、操作対象のアイコンに該当するアプリケーションが実行中であることを、外部端末情報管理部１２９に登録する。具体的には、操作変換部１２５は、図４に示した行（２０１）の「実行中」の項目に対して、該当するアプリケーションが実行中であること（○）を登録する。

図１４に示される強調メニュー１４０１が表示された場合の操作変換部１２５が行う処理について、図１５を用いて説明する。図１４に示される強調メニュー１４０１が表示された場合は、外部端末情報管理部１２９に登録したアイコン（図１４に示される例では強調メニュー１４０１が「Ｎａｖｉ」なので、この場合、該当するアイコンはＮａｖｉのアイコン）と「Ｙｅｓ」ボタン１４０２とを対応付け、例えば「Ｙｅｓ」ボタン１４０２に対する操作情報が示す相対位置を対応するアイコン１５０２の中央位置と変換するなどの処理を行うことで対応できる。

すなわち、ステップＳ５０３で「Ｙｅｓ」ボタン１４０２または「Ｎｏ」ボタン１４０３が操作されたか否かを判別した際、「Ｙｅｓ」ボタン１４０２上の任意の点１５０１が操作された場合に、ステップＳ５０４で、対応するアイコン１５０２の中央の点１５０３が操作されたと認識させ、ステップＳ５０５で映像信号が示すもとのメニュー画面１５０４上の該当アイコンの中央の点１５０５が操作されたと変換処理を行えばよい。

操作変換部１２５による操作情報の変換について、図１０及び図１１を用いて詳細に説明する。図１０は、アイコンの画像が強調された表示装置１２３が表示するメニュー画像９１０における、アイコン９２０の領域に含まれる座標（Ｘ，Ｙ）９３０の位置に対する操作を示す。また、図１１は、図１０における操作情報が変換されたことによる、外部端末１００のメニュー画面上における操作を示す。

図１０に示されたアイコン９２０は、メニュー画像９１０中の位置（ｘｄ，ｙｄ）にサイズ（ｗｄ，ｈｄ）で表示されている。図１１に示すように、外部端末１００のメニュー画面９４０では、アイコン９２０のアプリケーションに対応するアイコン９５０が位置（ｘｉ，ｙｉ）にサイズ（ｗｉ，ｈｉ）で表示されている。このため、操作変換部１２５は、座標（Ｘ，Ｙ）９３０に対応するメニュー画面９４０上の座標（ｘ，ｙ）９６０を求める。

まず、座標（Ｘ，Ｙ）９３０がアイコン９２０に対する操作であるかは、座標（Ｘ，Ｙ）の各Ｘ値及びＹ値が以下の条件を満たすか否かによって判定できる。
ｘｄ≦Ｘ≦ｘｄ＋ｗｄ
ｙｄ≦Ｙ≦ｙｄ＋ｈｄ
操作変換部１２５は、当該判定を、外部端末情報管理部１２９で管理されている表示画像（２０４）の全てのアイコンに対して行う。操作変換部１２５は、操作対象のアイコン（アプリケーション）を確定すると、外部端末情報管理部１２９で図４に示した行（２０１）における「実行中」の項目に対して、該当するアプリケーションが操作を受けて実行中であること（○）を登録する。

次に、操作変換部１２５は、座標（Ｘ，Ｙ）９３０に対応するメニュー画面９４０上の座標（ｘ，ｙ）９６０を算出する。まず、座標（Ｘ，Ｙ）９３０のアイコン９２０上の位置（ｘ１，ｙ１）は、以下の式より求められる。
ｘ１＝Ｘ−ｘｄ
ｙ１＝Ｙ−ｙｄ
したがって、座標（ｘ，ｙ）９６０のｘ値及びｙ値は、以下の式によって表される。
ｘ＝ｘｉ＋ｗｉ×（Ｘ−ｘｄ）／ｗｄ
ｙ＝ｙｉ＋ｈｉ×（Ｙ−ｙｄ）／ｈｄ
操作変換部１２５は、上記式より求められた座標（ｘ，ｙ）９６０の情報を操作出力部１２６に送る。

上記説明した本実施形態の情報表示処理装置１２０が備える画像検出部１２８、画像処理部１２２及び操作変換部１２５の各動作タイミングの一例を、図１２を用いて説明する。画像検出部１２８、画像処理部１２２及び操作変換部１２５は、それぞれ随時処理を行ってもよいが、図１２に示す例の初期状態は、
・画像検出部１２８：処理を行わない
・画像処理部１２２：処理を行わずに映像信号が示す画像をそのまま出力（ステップＳ１１２１）
・操作変換部１２５：操作待ち（ステップＳ１１０１）
とする。

操作変換部１２５が任意の操作の情報を取得したときを処理開始のきっかけとする。操作変換部１２５が任意の操作の情報を取得すると、操作変換部１２５は、画像検出部１２８に画像検出１１１１を行うよう指示を送る（ステップＳ１１３１）。操作変換部１２５が画像検出部１２８から画像検出の結果を受け（ステップＳ１１３２）、ステップＳ１１１１での画像検出の結果、操作変換部１２５において特定アプリケーションが検出された場合（ステップＳ１１０２）、映像信号が示す画像がメニュー画像である可能性が高い。このため、操作変換部１２５は、画像処理部１２２に画像変換１１２２を行うよう指示を送る（ステップＳ１１３３）。

画像処理部１２２は指示を受けて画像変換を行い（ステップＳ１１２２）、変換した画像を表示装置１２３に表示する。さらに、操作変換部１２５は、操作を待つ（ステップＳ１１０３）。入力される操作は画像処理部１２２がステップＳ１１２２で変換した画像に対する操作のため、操作変換部１２５も入力された操作に対して操作情報の変換を行う（ステップＳ１１０４）。

操作情報の変換が終了した後（ステップＳ１１０４）、操作変換部１２５は、画像処理部１２２に画像変換（ステップＳ１１２２）を終了するよう指示を送る（ステップＳ１１３４）。画像処理部１２２は、引き続き映像信号が示す画像をそのまま出力する（ステップＳ１１２１）。

ステップＳ１１１１での画像検出の結果、操作変換部１２５において特定アプリケーションが検出されなければ（ステップＳ１１０２）、映像信号が示す画像がメニュー画像である可能性は低い。

このため、画像処理部１２２は、処理を行わずに引き続き映像信号が示す画像をそのまま出力し（ステップＳ１１２１）、操作変換部１２５は、操作情報の変換を行わずにそのまま出力する（ステップＳ１１０５）。操作変換部１２５は、操作情報の変換終了の指示があれば（ステップＳ１１０６）、ステップＳ１１０１に戻って再び操作待ちとなる。

ステップＳ１１０６における操作情報の変換終了の指示は、例として以下の動作１〜３により判断できる。
１．特定の物理的なボタンを押すことで変換終了（ステップＳ１１０６）とする。
２．最初または最後の入力操作をそのまま出力してから（ステップＳ１１０５）、一定の時間が経った時点で変換終了（ステップＳ１１０６）とする。
３．タッチパネル上で指を横に大きく移動させる（フリック）等といった特定の操作で変換終了（ステップＳ１１０６）とする。

情報表示処理装置１２０は、図１２に示した処理手順により、以下の動作Ａ〜Ｄを行う。
Ａ．利用者からの操作入力があれば、画像検出部１２８が作動し、特定アプリケーションが検出されればアイコンを強調表示する。
Ｂ．アイコンが強調表示されれば操作変換部１２５は操作を変換し、利用者は強調表示された画面に対して操作できる。
Ｃ．強調表示されるアイコンがなければ操作変換部１２５は操作を変換せずに出力し、利用者は変換されないもとの入力画像に対して操作できる。
Ｄ．変換終了の指示があれば、動作Ａに戻る。

本実施形態の情報表示処理装置１２０が備える画像検出部１２８、画像処理部１２２及び操作変換部１２５の各動作タイミングのもう一つの例を、図１６を用いて説明する。図１６に示す例の初期状態は、図１２に示す例の初期状態と同じである。

図１２に示す例では、ステップＳ１１０２において特定アプリケーションが検出された場合、操作変換部１２５が、画像処理部１２２に画像変換１１２２を行うよう指示を送る（ステップＳ１１３３）が、図１６に示す例では、操作変換部１２５が、特定アプリケーションが所望のアプリケーションと自動的に判断する。そのため、操作変換部１２５は、画像処理部１２２に画像変換１１２２を行うよう指示を送らずに、特定アプリケーションを選択する仮想的な操作情報を生成し（ステップＳ１６０３）、この操作情報を変換する（ステップＳ１１０４）。

情報表示処理装置１２０は、図１６に示した処理手順により、以下の動作Ａ〜Ｃを行う。
Ａ．利用者からの操作入力があれば、画像検出部１２８が作動し、特定アプリケーションを検出する。
Ｂ．検出した特定アプリケーションに対する操作を操作変換部１２５が自動生成して変換する。
Ｃ．利用者は特定アプリケーションを自身が操作することなく、自動的に操作結果を得ることができる。

以上説明したように、本発明に係る実施形態によれば、外部端末における情報を当該外部端末とは別の表示装置に所望の表示形態で表示するよう処理することができる。

たとえば、所望の表示形態のひとつとして強調表示があり、本実施形態の情報表示処理装置１２０によれば、画像入力部１２１が外部端末１００から取得した映像信号から、画像検出部１２８が強調表示すべき特定アプリケーションのアイコンを検出し、当該検出したアイコンの画像を画像処理部１２２が強調表示のための処理を行った上で前記映像信号と合成するため、外部端末１００に特別なしくみを用意しなくてもユーザが見やすく分かりやすい画像を表示装置１２３に表示することができる。

ここで、特別なしくみとは、外部端末１００に接続される表示装置の要求（見易さ優先の表示としたいか、メニューアイコンの判別しやすさ優先の表示としたいかなど）に合わせて外部端末１００自体が表示形態に併せた画像処理を行うしくみを指し、外部端末１００に特別なしくみを用意する必要がないため、ユーザは外部端末として汎用のものを利用することができる。

また、表示装置１２３に強調表示されたアイコンに対する操作情報を、操作変換部１２５が、画像入力部１２１が受信した強調処理前の映像信号に対する操作情報に変換して、外部端末１００に返す。このため、強調表示されたアイコンに対して利用者がタッチパネルなどで操作を行うことで外部端末１００を操作することが可能となる。

また、外部端末情報管理部１２９は、強調表示すべきアイコンを管理する。さらに、画像検出部１２８は、外部端末情報管理部１２９を参照して、強調表示すべきアイコンを検出する。したがって、強調表示させたいアイコンを必要に応じて随時外部端末情報管理部１２９に登録しておけば、所望のアイコンを表示装置１２３に強調表示することができる。

さらに、画像検出部１２８が強調表示すべきアイコンを検出した位置座標及びサイズ、及び画像処理部１２２が強調表示すべきアイコンを強調表示したアイコンの位置座標及びサイズを、外部端末情報管理部１２９が管理する。このため、表示装置１２３が表示したメニュー画像に対する利用者の操作情報を、強調表示する前の外部端末１００からの映像信号に対する操作情報に変換して外部端末１００の操作を行うことができる。

また、本発明に係る実施形態によれば、外部端末１００における情報を当該外部端末１００とは別の表示装置１２３に、利用者が直接操作することなく所望の表示形態で表示することができる。

たとえば、所望の表示形態を特定アプリケーションの実行画面とすれば、本実施形態の情報表示処理装置１２０によれば、画像入力部１２１が外部端末１００から取得した映像信号から、画像検出部１２８が強調表示すべき特定アプリケーションのアイコンを検出し、当該検出したアイコンに対する操作情報を操作変換部１２５が自動生成し、画像入力部１２１が受信した強調処理前の映像信号に対する操作情報に変換して、外部端末１００に返す。このため、アイコンを表示して利用者が操作することなく、自動的にアイコンに対する操作結果として所望の特定アプリケーションの起動画面を表示装置１２３に表示することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2011年11月8日出願の日本特許出願（特願2011-244827）に基づくものであり、その内容はここに参照として取り込まれる。

本発明に係る情報表示処理装置は、携帯電話やスマートフォンなどの外部端末を接続し、映像信号を加工して映像を表示する情報表示処理装置等として有用である。例えば、自動車に搭載した車載情報表示処理装置として有用である。

１００ 外部端末
１１１ 映像信号出力部
１１２ 操作信号入力部
１２０ 情報表示処理装置
１２１ 画像入力部
１２２ 画像処理部
１２３ 表示装置
１２４ ユーザインターフェイス（ユーザＩＦ）
１２５ 操作変換部
１２６ 操作出力部
１２７ 画像表示処理部
１２８ 画像検出部
１２９ 外部端末情報管理部

Claims (1)

1. 外部端末から出力された映像信号を取得する画像入力部と、
   前記画像入力部が取得した映像信号が示す画像のうち強調表示すべき画像部分を検出する画像検出部と、
   前記画像検出部が検出した前記画像部分を強調処理する画像処理部と、
   前記画像処理部により処理された画像を自装置に接続される表示装置に表示させる処理を行う画像表示処理部と、
   前記表示装置で強調表示すべき画像部分を管理する外部端末情報管理部と、
   ユーザによる操作を受け付けるユーザインターフェイスに接続され、前記ユーザインターフェイスから入力された操作情報を変換する操作変換部と、を備え、
   前記画像検出部は、前記外部端末情報管理部が管理する前記強調表示すべき画像部分を参照して、該当する画像部分を検出し、
   前記画像検出部は、前記強調表示すべき画像を検出した位置座標及び当該画像のサイズを前記外部端末情報管理部に登録し、
   前記画像処理部は、前記強調表示すべき画像を強調表示した後の画像の位置座標及び当該画像のサイズを前記外部端末情報管理部に登録し、
   前記操作変換部は、前記外部端末情報管理部が管理する、前記強調表示すべき画像部分を検出した位置座標及び当該画像のサイズ、並びに、前記強調表示すべき画像を強調表示した画像部分の位置座標及び当該画像のサイズに基づき、前記強調表示すべき画像を強調表示した後の画像部分に対する前記操作情報を、前記強調表示すべき画像部分を強調表示する前の操作情報に変換することを特徴とする情報表示処理装置。

Images