JP2016031376A - 画像表示システム、画像表示方法、及び表示装置 - Google Patents

画像表示システム、画像表示方法、及び表示装置 Download PDF

Info

Publication number
JP2016031376A
JP2016031376A JP2014151994A JP2014151994A JP2016031376A JP 2016031376 A JP2016031376 A JP 2016031376A JP 2014151994 A JP2014151994 A JP 2014151994A JP 2014151994 A JP2014151994 A JP 2014151994A JP 2016031376 A JP2016031376 A JP 2016031376A
Authority
JP
Japan
Prior art keywords
display
image
information
screen adjustment
adjustment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014151994A
Other languages
English (en)
Other versions
JP6557457B2 (ja
Inventor
克也 麻田
Katsuya Asada
克也 麻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014151994A priority Critical patent/JP6557457B2/ja
Priority to EP15824126.5A priority patent/EP3174045A4/en
Priority to US15/328,581 priority patent/US10224008B2/en
Priority to PCT/JP2015/068555 priority patent/WO2016013349A1/ja
Publication of JP2016031376A publication Critical patent/JP2016031376A/ja
Application granted granted Critical
Publication of JP6557457B2 publication Critical patent/JP6557457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232Special driving of display border areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】映像を快適に視聴可能な画像表示システムの提供。【解決手段】画像表示システムは、表示装置と情報端末とを備え、表示装置は、情報端末が出力する映像信号に基づいて、サイズ調整領域が付加された第1の表示画像を生成する表示制御手段と、表示制御手段により生成された第1の表示画像を情報端末へ出力する画像送信手段と、を有し、情報端末は、表示装置へ映像信号を出力する映像出力手段と、画像送信手段により送信された第1の表示画像に基づいて、表示制御手段が表示装置に表示される表示画面の生成に用いる画面調整情報を取得する画面調整情報取得手段と、画面調整情報取得手段により取得された画面調整情報を表示装置へ送信する情報送信手段と、を有し、表示制御手段は、情報送信手段により送信された画面調整情報に基づいて第2の表示画像を生成する。【選択図】図2

Description

本発明は、画像表示システム、画像表示方法、及び画像表示システムに用いられる表示装置に関する。
従来、映像信号に基づいて映像を表示部に表示する際、映像信号のアスペクト比が表示部のアスペクト比と異なる場合には、映像の上下や左右に黒帯領域を付して画面サイズが調整される。特許文献1には、入力映像信号の輝度レベルに基づき黒帯領域を検出し、その黒帯領域を除いた映像を伸長することで、黒帯無く映像を表示部に表示させる映像変換装置が記載されている。
特開2006−229781号公報
特許文献1に記載の手法では、表示すべき映像中の暗い部分等を黒帯として誤検出するおそれがある。その結果、除去される黒帯領域がフレームごとに変わり、再生中に映像の伸縮を繰り返し、ユーザに不快感を与えるおそれがある。
本発明の一態様による画像表示システムは、表示装置と情報端末とを備え、表示装置は、情報端末が出力する映像信号に基づいて、サイズ調整領域が付加された第1の表示画像を生成する表示制御手段と、表示制御手段により生成された第1の表示画像を情報端末へ出力する画像送信手段と、を有し、情報端末は、表示装置へ映像信号を出力する映像出力手段と、画像送信手段により送信された第1の表示画像に基づいて、表示制御手段が表示装置に表示される表示画面の生成に用いる画面調整情報を取得する画面調整情報取得手段と、画面調整情報取得手段により取得された画面調整情報を表示装置へ送信する情報送信手段と、を有し、表示制御手段は、情報送信手段により送信された画面調整情報に基づいて第2の表示画像を生成する。
本発明の別の一態様による画像表示方法は、情報端末が映像信号を表示装置へ出力し、映像信号を入力された表示装置がサイズ調整領域を含む第1の表示画像を映像信号に基づいて生成し、第1の表示画像を情報端末へ出力し、情報端末が第1の表示画像に基づいて、表示装置による表示画面の生成に用いられる画面調整情報を取得し、画面調整情報を表示装置へ送信し、表示装置が画面調整情報に基づき第2の表示画像を生成する。
本発明の別の一態様による表示装置は、情報端末から出力される映像信号に基づいて第1の表示画像を生成する表示制御手段と、表示制御手段により生成された第1の表示画像を情報端末へ送信する画像送信手段と、を備え、表示制御手段は、画像送信手段により送信された第1の表示画像に基づいて情報端末が取得した画面調整情報を情報端末から受信した後は、第2の表示画像を生成する。
本発明の別の一態様による表示装置は、情報端末から出力される映像信号に基づいて第1の表示画像を生成する表示制御手段と、第1の表示画像に基づいて、表示制御手段が表示画面の生成に用いる画面調整情報を生成する画面調整情報生成手段と、を備え、表示制御手段は、画面調整情報生成手段により生成された画面調整情報に基づいて第2の表示画像を生成する。
本発明によれば、ユーザが快適に映像を視聴することができる。
本発明の第1の実施形態に係る画像表示システムの構成を示す図である。 本発明の第1の実施形態に係る表示装置と、情報端末の構成を示すブロック図である。 情報端末の表示部および表示装置の表示部に表示された画面の一例を示す図である。 情報端末におけるソフトウェアの概略構成を示す図である。 サイズ調整領域(黒帯領域)に関する説明に用いる図である。 第1の実施の形態における画面調整情報のデータフォーマットの一例を示す図である。 第1の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。 図7のステップS204の処理に関するフローチャートである。 第2の実施の形態における画面調整情報のデータフォーマットの一例を示す図である。 第2の実施の形態における画面調整情報取得機能に関するフローチャートである。 図10のステップS402の処理に関するフローチャートである。 第3の実施の形態に係る画像表示システムの構成を示す図である。 第3の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。
―第1の実施の形態―
図1は、本発明の一実施形態に係る画像表示システムの構成を示す図である。図1に示す画像表示システム100は、車載装置1と携帯端末2とサーバ5とを備える。車載装置1と携帯端末2は、近距離無線通信と、映像・音声ケーブル3を介した有線通信で互いに接続される。車載装置1と携帯端末2の間で行われる近距離無線通信には、たとえばBluetooth(登録商標)などを用いることができる。映像・音声ケーブル3を介した有線通信には、たとえばHDMI(High-Definition Multimedia Interface)(登録商標)などを用いることができる。
車載装置1は、車両内、たとえば車両のインストルメントパネル内などに設置されている。車載装置1には、表示部11と、操作キー(操作スイッチ)12a、12b、12c、12dおよび12eとが設けられている。表示部11は、各種の画像(静止画像、動画像、映像)を表示可能な表示モニタであり、たとえば液晶ディスプレイによって構成される。操作キー12a〜12eは、ユーザの入力操作を検出するための操作スイッチ類であり、車載装置1が実行中の処理に応じて様々な機能が割り当てられる。ユーザは、操作キー12a〜12eのうち任意の操作キーを操作することで、所望の機能を車載装置1に実行させることができる。なお、図1では操作キー12a〜12dを押圧可能なボタン式のスイッチとし、操作キー12eを左右に回転可能なダイヤル式のスイッチとした例を示しているが、各操作キーの配置、構造、数などはこの例に限定されない。また、表示部11をタッチパネル式の表示モニタとし、操作キーの一部または全部を省略してもよい。
携帯端末2は、ユーザが持ち運び可能な携帯型の情報端末であり、たとえば携帯電話、スマートフォン、タブレットPCなどである。携帯端末2には、表示部21が設けられている。表示部21は、各種の画像(静止画像、動画像、映像)を表示可能なタッチパネル式の表示モニタであり、たとえばタッチ位置を検出するタッチセンサと液晶ディスプレイとを組み合わせて構成される。ユーザは、表示部21に表示される画像の内容に応じて、表示部21上で任意の位置を指等でタッチすることで、所望の機能を携帯端末2に実行させることができる。なお、ここでは表示部21をタッチパネル式の表示モニタとした例を説明したが、タッチパネル式ではない通常の表示モニタとしてもよい。その場合、携帯端末2が実行する処理の内容に応じた各種の操作スイッチを携帯端末2に設けることが好ましい。あるいは、表示部21をタッチパネル式の表示モニタとし、さらに所定の操作に対応する操作スイッチを携帯端末2に設けてもよい。
携帯端末2は、携帯電話網やインターネットなどにより構築された公衆通信回線網4との間で無線通信を行うことにより、公衆通信回線網4を介してサーバ5に接続することができる。サーバ5は、詳細を後述する画面調整情報に関するデータベース51が記憶されており、このデータベース51の管理を行う管理装置である。
図2は、車載装置1および携帯端末2の構成を示すブロック図である。図2に示すように車載装置1は、制御部10、表示部11、操作部12、音声出力部13、メモリ部14、近距離無線通信インタフェース部15および映像・音声信号入力部16を有する。一方、携帯端末2は、制御部20、表示部21、操作部22、音声出力部23、メモリ部24、近距離無線通信インタフェース部25、映像・音声信号出力部26、無線通信部27およびGPS(Global Positioning System)受信部28を有する。
車載装置1において、制御部10は、マイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部14に記録されている制御プログラムを実行することにより各種機能を実現する。たとえば、制御部10は、映像データに基づいて表示画像を生成し、その表示画像を表示部11に表示させる表示制御機能を実現する。
表示部11は、図1を用いて前述したように、液晶ディスプレイ等によって構成される表示モニタである。操作部12は、ユーザの入力操作を検出するためのスイッチであり、たとえば図1に示した操作キー12a〜12eによって実現される。なお、前述のように表示部11をタッチパネル式の表示モニタとすることで、表示部11と操作部12を一体化された構成としてもよい。操作部12に対して行われたユーザの入力操作内容は制御部10へ出力され、制御部10が行う処理に反映される。
音声出力部13は、アンプ、スピーカ等を有しており、制御部10の制御によって各種の音声を出力することができる。たとえば、携帯端末2または不図示の記録媒体から読み出された音楽データを再生した音楽や、車両を目的地まで誘導するための誘導音声などが音声出力部13から出力される。
メモリ部14は、不揮発性のデータ格納装置であり、たとえばHDD(ハードディスクドライブ)やフラッシュメモリ等によって実現される。メモリ部14には、たとえば制御部10において用いられる前述の制御プログラム、車載装置1の識別情報など、各種のデータが記憶されている。車載装置1の識別情報は、車載装置1の機種を識別するための情報であり、たとえば車載装置1の型番に関する情報を含む。メモリ部14におけるデータの読み出しおよび書き込みは、制御部10の制御により必要に応じて行われる。
近距離無線通信インタフェース部15は、制御部10の制御により、携帯端末2との間で近距離無線通信を行う際に必要なインタフェース処理を行う。たとえば、制御部10から出力された情報を所定の無線信号形式に変換して携帯端末2へ送信したり、携帯端末2から所定の無線信号形式で出力された情報を受信して制御部10へ出力したりする。近距離無線通信インタフェース部15によるインタフェース処理は、Bluetooth等の所定の通信規格に従って行われる。この近距離無線通信インタフェース部15が行う処理により、車載装置1と携帯端末2との間で所定の近距離無線通信インタフェースが確立され、この近距離無線通信インタフェースを介した情報の入出力が行われる。
映像・音声信号入力部16は、映像・音声ケーブル3を介して携帯端末2から入力される映像信号と音声信号を画面表示用の映像データと音声出力用の音声データにそれぞれ変換し、制御部10へ出力する。制御部10は、表示制御機能により、映像・音声信号入力部16が出力した映像データに基づいて表示部11に全画面表示させる表示画像を生成し、その表示画像を表示部11に表示させる。また、制御部10は、映像・音声信号入力部16により出力された音声データに基づいて、音声出力部13から音声を出力させる。この映像・音声信号入力部16が行う処理により、有線通信インタフェースである映像・音声ケーブル3を介して、携帯端末2からの映像信号および音声信号が車載装置1において入力される。
一方、携帯端末2において、制御部20は、車載装置1の制御部10と同様にマイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部24に記録されている制御プログラムに基づいて各種の処理を実行する。
表示部21は、前述したようなタッチパネル式の表示モニタである。操作部22は、ユーザの入力操作を検出するための部分である。なお、図2では表示部21と操作部22を別々の構成として示しているが、実際には、操作部22はタッチパネル式の表示部21と一体化された構造を有している。あるいは、前述のように操作スイッチを携帯端末2に設けた場合は、その操作スイッチが操作部22に対応する。操作部22に対して行われたユーザの入力操作内容は制御部20へ出力され、制御部20が行う処理に反映される。
音声出力部23は、アンプ、スピーカ等を有しており、制御部20の制御によって各種の音声を出力することができる。たとえば、携帯端末2を用いて通話を行ったときには、通話相手の音声が音声出力部23から出力される。
メモリ部24は、車載装置1のメモリ部14と同様の不揮発性のデータ格納装置であり、制御部20の処理において利用するための各種のデータが記憶されている。このメモリ部24には、ユーザが予め入手した様々なアプリケーションプログラム(以下、単にアプリケーションと称する)が記憶されている。ユーザは、メモリ部24に記憶された各種アプリケーションの中からいずれかを選択して制御部20に実行させることにより、様々な機能を携帯端末2において実現することができる。また、メモリ部24には、携帯端末2の型番など、携帯端末2の機種を識別するための識別情報や、詳細を後述する校正用画像なども記憶されている。
近距離無線通信インタフェース部25は、車載装置1の近距離無線通信インタフェース部15と同様に、所定の通信規格に基づいたインタフェース処理を行う。すなわち、近距離無線通信インタフェース部15と近距離無線通信インタフェース部25とが互いに無線通信で情報を授受することにより、車載装置1と携帯端末2の間で近距離無線通信インタフェースが確立され、この近距離無線通信インタフェースを介した相互の情報通信が実現される。
映像・音声信号出力部26は、制御部20により生成された画像と音声を、たとえばHDMI等の所定の通信規格に応じた映像信号と音声信号にそれぞれ変換し、映像・音声ケーブル3を介して車載装置1へ出力する。この映像信号と音声信号が車載装置1において映像・音声信号入力部16に入力されると、携帯端末2において表示部21に表示されるのと同一の画面が車載装置1の表示部11にも表示される。また、携帯端末2において音声出力部23から出力されるのと同一の音声が車載装置1の音声出力部13からも出力される。こうした機能はビデオミラーリングと呼ばれている。
無線通信部27は、携帯端末2を図1の公衆通信回線網4に接続するための無線通信を行う。携帯端末2は、無線通信部27が行う無線通信により、公衆通信回線網4を介して、他の携帯端末との間で通話を行ったり、サーバ5から前述の画面調整情報などの情報を必要に応じてダウンロードしたりすることができる。
GPS受信部28は、GPS衛星から送信されるGPS信号を受信して制御部20へ出力する。GPS信号には、携帯端末2の現在位置と現在時刻を求めるための情報として、そのGPS信号を送信したGPS衛星の位置と送信時刻に関する情報が含まれている。したがって、所定数以上のGPS衛星からGPS信号を受信することにより、これらの情報に基づいて現在位置と現在時刻を制御部20において算出することができる。
本画像表示システムに備わる車載装置1と携帯端末2は、車載装置1と携帯端末2とが互いに接続された状態において、以下で説明する連携機能を有している。この連携機能を用いることにより、携帯端末2の表示部21で表示中の画面、たとえばメニュー画面を車載装置1の表示部11にも表示すること、携帯端末2において実行中のアプリケーションに応じた画像出力や音声出力を車載装置1で行うこと、車載装置1に対して行われたユーザの操作内容を携帯端末2において実行されているアプリケーションの動作に反映させることなどが可能となる。
たとえば、携帯端末2においてナビゲーション用のアプリケーションを実行することにより、車両を目的地まで誘導するためのナビゲーション処理を行うことができる。このナビゲーション処理では、携帯端末2において現在位置付近の地図を描画した地図画面を作成し、その地図画面を表す画像情報を、前述の映像信号により、映像・音声信号出力部26から映像・音声ケーブル3を介して映像・音声信号入力部16へ出力する。これにより、携帯端末2から車載装置1へ地図画面を送信し、車載装置1の表示部11において現在位置付近の地図画面を表示できるようにする。また、車載装置1の操作部12または携帯端末2の操作部22を操作してユーザが目的地を設定すると、車両の現在位置を出発地として、その出発地から設定された目的地までの推奨経路を携帯端末2において探索する。そして、推奨経路上の誘導地点に車両が近づくと、その誘導地点における車両の進行方向に応じた誘導音声を携帯端末2から車載装置1へ送信する。これにより、車載装置1の音声出力部13から誘導音声を出力できるようにする。なお、このとき携帯端末2から車載装置1に対して、誘導音声出力の開始と終了のタイミングに応じてそれぞれ所定の信号を出力してもよい。このようにすれば、車載装置1においてラジオ放送や再生中のCD等による音声が出力されている場合であっても、その音声のボリュームを誘導音声の出力中には低下させ、ユーザが誘導音声を聞き取りやすくすることができる。以上説明したように、表示部11に地図画像を表示したり、音声出力部13から誘導音声を出力したりすることで、車載装置1は、ユーザが迷わずに車両を目的地まで運転できるようにするための報知をユーザに対して行う。
なお、携帯端末2がナビゲーション用のアプリケーションを実行するために必要な地図データ等の各種データは、携帯端末2のメモリ部24において予め記憶されたものを使用してもよい。あるいは、メモリ部24には必要最小限のデータのみを記憶しておき、携帯端末2がナビゲーション用のアプリケーションを実行したときには、無線通信部27を用いて所定のサーバに接続し、必要なデータをその都度取得するようにしてもよい。
携帯端末2では、上記のようなナビゲーション用のアプリケーションを含む複数のアプリケーションのうち、ユーザに選択されたアプリケーションを実行する。ユーザは、携帯端末2の表示部21に表示されるメニュー画面において、操作部22を操作して所望のアプリケーションを選択することにより、携帯端末2に実行させるアプリケーションの選択を行うことができる。このメニュー画面には、たとえば、連携機能を利用可能な各アプリケーションのアイコンが並べて表示されている。ユーザがメニュー画面上でいずれかのアイコンをタッチパネル操作等により選択すると、そのアイコンに対応するアプリケーションが携帯端末2において実行される。
さらに携帯端末2は、映像・音声信号出力部26からの映像信号によりメニュー画面を車載装置1へ送信する。車載装置1は、携帯端末2から送信された映像信号に基づいて、表示部11にメニュー画面を表示する。このメニュー画面において、ユーザがタッチパネルの一部である操作部12のタッチ操作により所望のアプリケーションを選択すると、そのタッチ操作に応じた操作情報が近距離無線通信インタフェース部15により車載装置1から携帯端末2へ送信される。
図3(a)は、携帯端末2の表示部21に表示されたメニュー画面の一例を示す。このメニュー画面には、携帯端末2において実行可能なアプリケーションA、B、C、D、E、およびFの6個のアイコン81〜86が並べて表示されている。
図3(b)は、連携機能により車載装置1へ送信され、車載装置1の表示部11に表示されたメニュー画面の一例を示す。図3(b)に示すメニュー画面においても、アイコン81〜86が並べて表示されている。ユーザは、操作キー12a〜12eなどを用いて、表示部11に表示されたアイコン81〜86のいずれかを選択することができる。表示部11に表示されたアイコン81〜86の中からいずれかが選択されると、その操作内容に関する情報が携帯端末2に出力され、選択されたアプリケーションが携帯端末2において実行される。
車載装置1から送信された操作情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、制御部20へ出力される。こうして受信された操作情報に基づいて、制御部20は、車載装置1においてどのアプリケーションがユーザに選択されたかを認識し、当該アプリケーションを実行する。これによりユーザは、携帯端末2の表示部21に表示されるメニュー画面を用いた場合と同様に、所望のアプリケーションを車載装置1において選択し、携帯端末2に実行させることができる。
なお、制御部20は、各アプリケーションをフォアグランドまたはバックグランドで実行することができる。フォアグランドで実行した場合、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とされる。一方、バックグランドで実行した場合、そのアプリケーションに応じた処理が制御部20により実行されるが、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とはされない。ただし、音声についてはバックグランド実行中のアプリケーションから出力してもよい。
車載装置1と携帯端末2とを互いに接続して前述のような連携機能を実現するために、携帯端末2には、アプリケーションマネージャと呼ばれるアプリケーションが予めインストールされてメモリ部24に記憶されている。すなわち、メモリ部24には、アプリケーションマネージャを含む複数のアプリケーションが記憶されている。車載装置1に携帯端末2が接続されると、このアプリケーションマネージャがメモリ部24から読み出され、制御部20において実行される。
図4は、携帯端末2におけるソフトウェアの概略構成を示す図である。図4において、アプリケーションマネージャ201は、サブアプリケーションMaと、サブアプリケーションMsとを有している。
サブアプリケーションMaは、アプリケーションマネージャ201以外のアプリケーションを起動するためのランチャ機能を有している。制御部20は、サブアプリケーションMaをフォアグランドで実行することにより、これらの機能を利用することができる。たとえば、ランチャ機能を用いて、他のアプリケーションを呼び出し、サブアプリケーションMaに代えてそのアプリケーションを制御部20にフォアグランドで実行させることができる。
サブアプリケーションMsは、携帯端末2を車載装置1に接続するための通信機能と、サーバ5のデータベース51から画面調整情報を取得するための画面調整情報取得機能とを有している。制御部20は、サブアプリケーションMsをバックグランドで実行することにより、これらの機能を利用することができる。たとえば、通信機能を用いて、携帯端末2と車載装置1との間で連携時に必要な各種の通信情報をやり取りすることができる。また、画面調整情報取得機能を用いて、車載装置1と携帯端末2との組み合わせに対応した画面調整情報をサーバ5から取得することができる。
以上説明したように、アプリケーションマネージャ201は、制御部20においてフォアグランドで実行されるサブアプリケーションMaと、制御部20においてバックグランドで実行されるサブアプリケーションMsとに分けて構成されている。このようにすることで、アプリケーションマネージャ201の機能分担を最適化し、フォアグランドとバックグランドでそれぞれ実行するのに適した機能分担とすることができる。
アプリケーションマネージャ201は、サブアプリケーションMaのランチャ機能により、アプリケーション202に含まれるアプリケーションのいずれかを呼び出す。呼び出されたアプリケーションは、サブアプリケーションMaに代えて制御部20によりフォアグランドで実行される。なお、図4に対する以下の説明では、アプリケーションAが実行されているものとして説明する。
OS(オペレーティングシステム)203は、携帯端末2の全体的な動作を管理するためのソフトウェアである。携帯端末2を車載装置1に接続した場合、OS203は、制御部20においてバックグランドで実行されるサブアプリケーションMsと、SPP(Serial Port Profile)プロファイル204およびHID(Human Interface Device Profile)プロファイル205との間で入出力される情報の仲介を行う。SPPプロファイル204およびHIDプロファイル205は、車載装置1と携帯端末2の間で行われる近距離無線通信において利用されるドライバであり、Bluetoothで用いられる規格の一部として標準化されている。
SPPプロファイル204は、サブアプリケーションMsの通信機能により携帯端末2と車載装置1の間で入出力される通信情報の送受信処理を行う。携帯端末2から車載装置1へ送信される通信情報には、画面調整情報取得機能により取得された画面調整情報などが含まれる。車載装置1から携帯端末2へ送信される通信情報には、車載装置1の識別情報などが含まれる。一方、HIDプロファイル205は、車載装置1におけるユーザの操作内容に応じて車載装置1から出力される操作情報を受信するための処理を行う。SPPプロファイル204およびHIDプロファイル205により受信された各情報の内容は、OS203を介してサブアプリケーションMsに出力され、サブアプリケーションMsの通信機能により実行中のアプリケーションへと受け渡される。なお、これらの各情報の送受信は、車載装置1の近距離無線通信インタフェース部15と携帯端末2の近距離無線通信インタフェース部25との間で無線通信により行われる。
制御部20においてサブアプリケーションMaをフォアグランドで実行中の場合、サブアプリケーションMaは、前述のランチャ機能により、ユーザに実行するアプリケーションを選択させるためのメニュー画面の画像を生成する。また、制御部20においてアプリケーションAをフォアグランドで実行中の場合、アプリケーションAは、所定の画像や音声を生成する。これらの画像や音声は、音声・画像メモリ206に一時的に記憶された後、HDMIドライバ207へ出力される。
HDMIドライバ207は、HDMIで定められた方式に従って、サブアプリケーションMaやアプリケーションAにより生成された画像や音声を映像信号や音声信号に変換する処理を行う。HDMIドライバ207は、画像を映像信号に変換する際、その映像信号の画面サイズを所定値、たとえば720×576ピクセルに変更する。なお、映像信号の画面サイズは、携帯端末2の機種ごとに様々な値が設定されている。サブアプリケーションMaやアプリケーションAにより生成された画像のアスペクト比が所定の画面サイズのアスペクト比と異なる場合、サブアプリケーションMaやアプリケーションAにより生成された画像の縦横を同倍率で変倍しても所定の画面サイズにならない。HDMIドライバ207は、変倍した画像の上下または左右に帯状の領域を付加して画面サイズを調整する。たとえば、図5(a)に示す1280×720ピクセル(アスペクト比16:9)の画像を720×576ピクセル(アスペクト比10:8)に変倍する場合、HDMIドライバ207は、図5(b)に示すように、16:9のアスペクト比を保ったまま720×405ピクセルに縮小し、その画像の上下に幅が約86ピクセルの帯状の領域を付加する。なお、図5(b)では、帯状の領域は、図示上の制限によりハッチングが掛けられているが、典型的には黒色で塗りつぶされている。以降、帯状の領域のことを黒帯領域と呼ぶ。なお、第1の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズは、映像信号の基になる画像を生成したアプリケーションによらず、同じ携帯端末2であれば一定であるものとしている。
HDMIドライバ207の変換処理により生成された映像信号や音声信号は、映像・音声信号出力部26により、映像・音声ケーブル3を介して車載装置1へ出力される。車載装置1は、黒帯領域が付加された映像信号を受信すると、表示制御機能により、映像信号から黒帯領域を除去し、除去後の画像を表示部11のアスペクト比に変倍して表示画像を生成する。図3(b)は、その表示画像を表示部11に表示した一例を示している。なお、ここで黒帯領域の除去とは、黒帯領域の幅を厳密にゼロにする処理だけでなく、黒帯領域の幅を狭めて実質的にゼロに近づける処理を含む。
前述の画面調整情報は、表示制御機能による表示画面の生成に用いられ、特に映像信号から黒帯領域を除去する際に用いられる。図6は、画面調整情報のデータフォーマットの一例を示す。画面調整情報は、車載装置1の識別情報と、携帯端末2の識別情報と、黒帯領域の幅に関する情報とを有する。画面調整情報は、図1に示したデータベース51に複数登録されており、それぞれ車載装置1と携帯端末2の組み合わせに対応する黒帯領域の幅を表す。黒帯領域の幅は、映像信号の上端側、下端側、左端側、右端側で除去する黒帯の幅をそれぞれ有する。
図7は、第1の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。図7に示す動作は、車載装置1と携帯端末2が起動した状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。
車載装置1の制御部10は、図7の動作を開始するとステップS101に進み、携帯端末2の接続を検知したか否かを判定する。制御部10は、携帯端末2の接続を検知するまでステップS101の判定を繰り返し、携帯端末2の接続を検知するとステップS102に進み、近距離無線通信インタフェース部15を介して携帯端末2へ要求信号を送信し、映像信号の送信を要求する。その後、制御部10は、ステップS103に進み、映像信号を受信したか否かを判定する。制御部10は、映像信号を受信するまでステップS103の判定を繰り返す。
携帯端末2の制御部20は、図7の動作を開始するとステップS201に進み、要求信号を受信したか否かを判定する。制御部20は、ステップS102で送信された要求信号を受信するまでステップS201の処理を繰り返す。制御部20は、ステップS201において近距離無線通信インタフェース部25を介して要求信号を受信するとステップS202に進み、全面白色の校正用画像に関する映像信号を映像・音声信号出力部26を介して車載装置1へ送信する。この映像信号には、HDMIドライバ207により、白色の校正用画像の上下または左右に黒帯領域が付加される。なお、校正用画像は、携帯端末2のメモリ部24に記憶されている。
車載装置1の制御部10は、映像・音声信号入力部16を介して校正用画像に関する映像信号を受信すると、ステップS103の判定を肯定判定し、ステップS104に進む。ステップS104において、制御部10は、表示制御機能によりその映像信号に対して黒帯領域の除去を行わずに表示画像を生成し、生成された表示画像を取得する。このとき表示制御機能により生成された表示画像のことを標本画像と呼ぶ。制御部10は、ステップS105において、その標本画像と、メモリ部14に記憶されている車載装置1の識別情報とを近距離無線通信インタフェース部15を介して携帯端末2へ送信する。その後、制御部10は、ステップS106に進み、画面調整情報を受信したか否かを判定する。制御部10は、画面調整情報を受信するまでステップS106の判定を繰り返す。
携帯端末2の制御部20は、ステップS202の動作完了後、ステップS203に進み、標本画像および車載装置1の識別情報を受信したか否かを判定する。制御部20は、標本画像および車載装置1の識別情報を受信するまでステップS203の処理を繰り返す。車載装置1の制御部10がステップS105において標本画像および車載装置1の識別情報を送信すると、制御部20は、近距離無線通信インタフェース部25を介してそれらの情報を受信し、ステップS203の判定を肯定判定し、ステップS204に進む。
ステップS204では、携帯端末2の制御部20は、ステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報とに基づいて、サーバ5から画面調整情報を取得する。ステップS204の処理については、図8を用いて後述する。ステップS205では、携帯端末2の制御部20は、ステップS204で取得した画面調整情報を近距離無線通信インタフェース部25を介して車載装置1へ送信し、初期動作を終了する。
車載装置1の制御部10は、近距離無線通信インタフェース部15を介して画面調整情報を受信すると、ステップS106の判定を肯定判定し、ステップS107に進み、受信した画面調整情報を表示制御機能に適用し、初期動作を終了する。ステップS107以降、制御部10は、表示制御機能において、携帯端末2から受信した映像信号に対して画面調整情報に基づいて黒帯領域を除去し、除去後の画像を変倍して、表示画像を生成する。
図8は、ステップS204の処理に関するフローチャートである。図8に示す処理は、携帯端末2の制御部20とサーバ5とが協働して実行される。サーバ5は、予め立ち上がっており、図8の処理が開始した時点でステップS301の処理を実行している。ステップS301では、サーバ5は、標本画像に関する情報と、車載装置1および携帯端末2の識別情報とを携帯端末2から受信したか否かを判定する。サーバ5は、それらの情報を受信するまでステップS301の処理を繰り返す。ステップS241では、携帯端末2の制御部20は、図7のステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報とをサーバ5へ送信する。サーバ5は、ステップS241で送信された情報を受信すると、ステップS301を肯定判定してステップS302に進む。
サーバ5は、ステップS302において、ステップS301で受信した車載装置1の識別情報と携帯端末2の識別情報とに対応する画面調整情報がデータベース51に登録されているか否かを判定する。サーバ5は、ステップS301で受信した車載装置1の識別情報と携帯端末2の識別情報の組み合わせに対応する画面調整情報をデータベース51の中から検索する。サーバ5は、車載装置1の識別情報と携帯端末2の識別情報とに対応する画面調整情報がデータベース51に登録されている場合、ステップS307において検索により画面調整情報を取得し、ステップS306に進み、その画面調整情報を携帯端末2へ送信する。サーバ5は、画面調整情報がデータベース51に登録されておらず、検索により画面調整情報を取得できなかった場合は、ステップS303に進む。
ステップS303では、サーバ5は、標本画像から黒帯領域を検出する。黒帯領域の検出は、たとえば、標本画像のすべての画素について輝度信号が所定値以上か否かを判別し、輝度信号が所定値未満の領域を黒帯領域として検出することにすればよい。また、標本画像に対してエッジ検出処理を行って黒帯領域とそれ以外の画像領域との境界を検出することにしてもよい。校正用画像が全面白色であるため、校正用画像と黒帯領域とが紛れることがなく、精度よく黒帯領域を検出することができる。
ステップS304では、サーバ5は、ステップS303で標本画像の上端側に検出された黒帯領域の幅、下端側に検出された黒帯領域の幅、左端側に検出された黒帯領域の幅、右端側に検出された黒帯領域の幅をそれぞれ画素数単位で算出し、画面調整情報を生成する。
ステップS305では、サーバ5は、ステップS304で生成された画面調整情報を車載装置1の識別情報および携帯端末2の識別情報に対応付けて画面調整情報としてデータベース51に登録する。以降、車載装置1と携帯端末2の同一の組み合わせについては、画面調整情報を新たに生成する必要がなく、データベース51に登録済みの画面調整情報を使用することができる。
ステップS306では、サーバ5は、ステップS304で生成された画面調整情報を車載装置1へ送信し、ステップS301に戻る。
ステップS242では、携帯端末2の制御部20は、ステップS306で送信された画面調整情報を受信する。したがって、制御部20は、画面調整情報の取得動作を完了する。制御部20は、図8の動作を終了する。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第1の実施の形態に係る画像表示システムは、表示部11を有する車載装置1と携帯端末2とを備える。車載装置1は、表示制御機能を実現する制御部10を有する。制御部10は、表示制御機能により、携帯端末2が出力する映像信号に基づいて、サイズ調整領域、すなわち黒帯領域が付加された標本画像を生成し(ステップS104)、近距離無線通信インタフェース部15を介してその標本画像を携帯端末2へ出力する(ステップS105)。携帯端末2は、画面調整情報取得機能を実現する制御部20を有する。制御部20は、HDMIドライバ207を介して車載装置1へ校正用画像に関する映像信号を出力し(ステップS202)、画面調整情報取得機能により標本画像に基づいて画面調整情報を取得し(ステップS204)、その画面調整情報を近距離無線通信インタフェース部25を介して車載装置1へ送信する(ステップS205)。車載装置1の制御部10は、表示制御機能により、携帯端末2により送信された画面調整情報に基づいて黒帯領域が所定量狭められた表示画像を生成する。したがって、ユーザが映像を快適に視聴することができる。
(2)車載装置1の制御部10は、表示制御機能により、画面調整情報を携帯端末2から受信する前は標本画像を生成し、画面調整情報を携帯端末2から受信した後は画面調整情報に応じて標本画像よりも黒帯領域が狭められた、たとえば黒帯領域が除去された表示画像を生成する。画面調整情報を取得した後は標本画像が生成されないため、画面調整情報がフレームごとに変わるということがなく、再生中に映像が伸縮することがないため、ユーザが映像を快適に視聴することができる。
特に車両に搭載される表示装置では、再生中に映像が伸縮すると、運転者の注意をそらし、脇見運転を引き起こすおそれがある。本発明によると、再生中に映像が伸縮することがないため、運転者の注意をそらすことがなく、脇見運転を抑制することができる。
(3)携帯端末2の制御部20は、画面調整情報取得機能により、画面調整情報が取得される前は、黒帯領域とは反対の全面白色の画像に関する映像信号を校正用画像の映像信号として送信する(ステップS202)。したがって、標本画像から精度よく黒帯領域を検出することができる。
(4)画面調整情報は、黒帯領域の幅に関する情報を含む。したがって、車載装置1が黒帯領域を除去する際に映像信号から取り出す領域を容易に判断することができるとともに、変倍する倍率を容易に算出することができる。
(5)画像表示システム100は、データベース51を有するサーバ5を有する。データベース51には、車載装置1と携帯端末2との組み合わせに対応付けて画面調整情報が記憶されている。図8のステップS241において送信された車載装置1と携帯端末2との組み合わせに対応する画面調整情報がデータベース51に記憶されている場合は、サーバ5は、その画面調整情報をデータベース51から取得する(図8のステップS307)。車載装置1と携帯端末2との組み合わせに対応する画面調整情報がデータベース51に記憶されていない場合は、サーバ5は、標本画像から黒帯領域を検出し(ステップS303)、その検出結果に基づいて画面調整情報を生成し(ステップS304)、データベース51に登録する(ステップS305)。したがって、車載装置1と携帯端末2との組み合わせに対応する画面調整情報をデータベース51に蓄積していくことにより、同一の演算を繰り返すことを防ぎ、画面表示システム全体の処理効率を向上させることができる。
(6)図8に示すように、サーバ5を用いて、標本画像から黒帯領域を検出し、画面調整情報を生成することにした。したがって、車載装置1と携帯端末2に係る処理負荷を低減することができる。
―第2の実施の形態―
第2の実施の形態に係る画像表示システムについて説明する。第2の実施の形態に係る画像表示システムは、図1に示した第1の実施の形態に係る画像表示システム100と同一構成、すなわち車載装置1と携帯端末2とサーバ5とを備える。第2の実施の形態における車載装置1および携帯端末2の構成は、図2に示した第1の実施の形態の車載装置1および携帯端末2の構成と同一である。第1の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズは、映像信号の基になる画像を生成したアプリケーションによらず一定であるものとした。本発明の第2の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズがアプリケーションごとに設定される場合を想定し、携帯端末2がアプリケーションごとに異なる画面調整情報を取得するようにする。
第2の実施の形態における画面調整情報取得機能は、フォアグランドでどのアプリケーションが実行されているかを監視する機能を有し、フォアグランドで実行されているアプリケーションが切り替わるたびに画面調整情報を取得する。
図9は、第2の実施の形態においてサーバ5のデータベース51に記憶されている画面調整情報のデータフォーマットの一例を示す。第2の実施の形態における画面調整情報は、車載装置1の識別情報、携帯端末2の識別情報および黒帯領域の幅に関する情報の他にアプリケーションの識別情報をさらに有する。画面調整情報にアプリケーションの識別情報をさらに設けることにより、アプリケーションごとに異なる画面調整情報を管理することができる。
図10は、第2の実施の形態における画面調整情報取得機能に関するフローチャートである。図10に示す動作は、図7に示した初期動作が実行された状態、すなわちフォアグランドで実行されているアプリケーションについて画面調整情報が表示制御機能に適用された状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。なお、図10に示す動作のうち図7に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
携帯端末2の制御部20は、図10の動作を開始するとステップS401に進む。ステップS401では、制御部20は、フォアグランドで実行されるアプリケーションが切り替わったか否かを判定する。制御部20は、フォアグランドで実行されるアプリケーションが切り替わるまでステップS401の動作を繰り返し、フォアグランドで実行されるアプリケーションが切り替わると、新たな画面調整情報を取得するためステップS202に進み、全面白色の校正用画像に関する映像信号を車載装置へ送信する。この映像信号には、HDMIドライバ207により、白色の校正用画像の上下または左右に黒帯領域が付加される。
ステップS402では、制御部20は、ステップS203で受信した標本画像および車載装置1の識別情報と、携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に基づいて、サーバ5から画面調整情報を取得する。
図11は、ステップS402の処理に関するフローチャートである。図11に示す処理は、携帯端末2の制御部20とサーバ5とが協働して実行される。なお、図10に示す動作のうち図8に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
サーバ5は、図11の処理が開始した時点でステップS501の処理を実行している。ステップS501では、サーバ5は、標本画像に関する情報と、車載装置1および携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報とを携帯端末2から受信したか否かを判定する。サーバ5は、それらの情報を受信するまでステップS501の処理を繰り返す。ステップS441では、携帯端末2の制御部20は、図10のステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報とをサーバ5へ送信する。サーバ5は、ステップS441で送信された情報を受信すると、ステップS301を肯定判定してステップS502に進む。
サーバ5は、ステップS502において、ステップS501で受信した車載装置1の識別情報、携帯端末2の識別情報および携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に対応する画面調整情報がデータベース51に登録されているか否かを判定する。サーバ5は、ステップS501で受信した車載装置1の識別情報と携帯端末2の識別情報の組み合わせに対応する画面調整情報をデータベース51の中から検索する。サーバ5は、車載装置1の識別情報、携帯端末2の識別情報および携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に対応する画面調整情報がデータベース51に登録されている場合は、ステップS307において検索によりその画面調整情報を取得し、ステップS306においてその画面調整情報を携帯端末2へ送信する。サーバ5は、画面調整情報がデータベース51に登録されておらず、検索により画面調整情報を取得できなかった場合は、ステップS303に進む。
上述した第2の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第2の実施の形態に係る画像表示システムでは、携帯端末2の制御部20は、アプリケーション202を実行するとともに、画面調整情報取得機能により実行中のアプリケーションが切り替わったか否かを判定する(図10のステップS401)。そして、制御部20は、実行中のアプリケーションが切り替わったと判定されると、画面調整情報を取得する(ステップS401を肯定判定した後のステップS402)。したがって、映像データを映像信号に変換する際に変更する画面サイズがアプリケーションごとに設定される場合であっても、適切に映像を変換することができる。
―第3の実施の形態―
第3の実施の形態に係る画像表示システムについて説明する。第3の実施の形態に係る画像表示システムは、画面調整情報をサーバ5ではなく、車載装置1で生成する。図12は、第3の実施の形態に係る画像表示システム600の構成を示す。第3の実施の形態に係る画像表示システム600では、車載装置1と携帯端末2とを備える。第3の実施の形態における車載装置1および携帯端末2の構成は、図2に示した第1の実施の形態の車載装置1および携帯端末2の構成と同一である。
図13は、第3の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。図13に示す動作は、車載装置1と携帯端末2が起動した状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。なお、図10に示す動作のうち図7および図8に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
ステップS701では、車載装置1の制御部10は、標本画像から黒帯領域を検出する。黒帯領域の検出は、たとえば、標本画像のすべての画素について輝度信号が所定値以上か否かを判別し、輝度信号が所定値未満の領域を黒帯領域として検出することにすればよい。また、標本画像に対してエッジ検出処理を行って黒帯領域とそれ以外の画像領域との境界を検出することにしてもよい。校正用画像が全面白色であるため、校正用画像と黒帯領域とが紛れることがなく、精度よく黒帯領域を検出することができる。
ステップS702では、制御部10は、ステップS701で標本画像の上端側に検出された黒帯領域の幅、下端側に検出された黒帯領域の幅、左端側に検出された黒帯領域の幅、右端側に検出された黒帯領域の幅をそれぞれ画素数単位で算出し、画面調整情報を生成する。
上述した第3の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第3の実施の形態に係る車載装置1は、表示制御機能を実現する制御部10を有する。制御部10は、表示制御機能により、携帯端末2が出力する映像信号に基づいて、サイズ調整領域、すなわち黒帯領域が付加された標本画像を生成し(ステップS104)、その表示画像に基づいて画面調整情報を生成する(ステップS701〜S702)。車載装置1は、生成された画面調整情報に基づいて、黒帯領域が所定量狭められた表示画像を生成する。したがって、画面調整情報を車載装置1の中で生成することにしたため、サーバ5を用いることなく適切に映像を変換することができる。
次のような変形も本発明の範囲内であり、変形例の一つもしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)上述の第1および第2の実施の形態では、画面調整情報をサーバ5で生成し、第3の実施の形態では、画面調整情報を車載装置1で生成したが、携帯端末2で画面調整情報を生成することにしてもよい。また、携帯端末2のメモリ部24にデータベース51を記憶させ、携帯端末2をデータベース51の管理装置として機能させてもよい。たとえば、図8のステップS302〜S305およびステップS307の動作、または図11のステップS303〜S305、ステップS307およびステップS502の動作を携帯端末2の制御部20に実行させることにしてもよい。
(変形例2)上述の実施の形態では、サーバ5は、データベース51を記憶しているものとしたが、必ずしもデータベース51を記憶していなくてもよい。たとえば、サーバ5は、携帯端末2から標本画像を受信すると図8のステップS302または図11のステップS502の判定を飛ばしてその標本画像から黒帯領域を検出し、画面調整情報を生成することにしてもよい。また、上述した変形例1のように、携帯端末2において画面調整情報を生成する場合も同様に携帯端末2のメモリ部24等にデータベース51を記憶させず、図8または図11のステップS303およびステップS304の動作を携帯端末2の制御部20に実行させることにしてもよい。
(変形例3)第3の実施の形態において、車載装置1は、データベース51を備えることにしてもよい。車載装置1がデータベース51を記憶している場合、携帯端末2の接続を検知した後、要求信号を送信する前に、携帯端末2の識別情報を取得し、データベース51に画面調整情報が登録されているか否かを判定し、登録されている場合はその画面調整情報を取得し、登録されていない場合は画面調整情報を生成することにすればよい。
(変形例4)上述の実施の形態では、図5(a)に示すような画面サイズの調整に用いる帯状の領域は、典型的には黒色で塗りつぶされており、黒帯領域と呼ぶことにした。しかし、この画面サイズの調整に用いる帯状の領域、すなわちサイズ調整領域の態様は、黒色の塗りつぶしでなくてもよく、たとえば白色や青色の塗りつぶしであってもよい。校正用画像は、サイズ調整領域の態様と明確に識別可能な態様であればよく、たとえばサイズ調整領域が白色の場合は、校正用画像を黒色の塗りつぶし等の態様にすればよい。また、サイズ調整領域が青色など、有彩色である場合は、校正用画像はサイズ調整領域と輝度、色相またはその両方が所定値以上異なる態様にすればよい。たとえば、サイズ調整領域が青紫色の場合は、校正用画像を青紫色の補色である黄色の塗りつぶし等の態様にすればよい。なお、校正用画像において、サイズ調整領域と明確に識別可能な態様である必要があるのは、画像の周縁部のみであって、画像の中心部の態様はサイズ調整領域と誤検出されないような態様であれば、如何なる態様であってもよい。たとえば、校正用画像の仕様に関する文字情報、携帯端末2の識別情報に関する文字情報などを校正用画像の中に含めることにしてもよい。
(変形例5)上述の実施の形態では、画面調整情報は、黒帯領域の幅に関する情報を含むことにした。しかし、除去すべき黒帯領域の幅を車載装置1の制御部10が判断することができる情報であれば、画面調整情報は、必ずしも黒帯領域の幅に関する情報でなくてもよい。たとえば、標本画像から黒帯領域を除去した画像を縦方向と横方向にそれぞれ伸長する際の倍率を画面調整情報に含めることにしてもよい。たとえば、車載装置1は、縦方向の倍率がaの場合、標本画像の縦方向のサイズyに(1−1/a)/2を乗じて縦方向の黒帯領域の幅を算出することにしてもよい。横方向の黒帯領域の幅も同様である。また、標本画像中の黒帯領域以外の領域、すなわち映像領域の四隅の座標を画面調整情報とすることにしてもよい。
(変形例6)上記の実施の形態では、図4に示した携帯端末2におけるソフトウェアの概略構成には、HDMIドライバ207が含まれることにした。しかし、HDMIドライバ207の代わりに、または加えてMHL(登録商標)ドライバのようにHDMIとは異なる通信規格に従って、サブアプリケーションMaやアプリケーションにより生成された画像や音声を映像信号や音声信号に変換する処理を行うものを有することにしてもよい。
(変形例7)上記の実施の形態では、車載装置1の表示部11をタッチパネルとし、この表示部11に携帯端末2から受信した画像を表示する場合の例を説明した。しかし、本発明の適用範囲はこれに限定されるものではない。携帯端末2などの情報端末と接続され、その情報端末から受信した画像をタッチパネルに表示するものである限り、どのような表示装置においても本発明を適用することができる。
(変形例8)本発明は、情報端末が映像信号を表示装置へ出力し、映像信号を入力された表示装置がサイズ調整領域を含む第1の表示画像を映像信号に基づいて生成し、第1の表示画像を情報端末へ出力し、情報端末が第1の表示画像に基づいて、表示装置による表示画面の生成に用いられる画面調整情報を取得し、画面調整情報を表示装置へ送信し、表示装置が画面調整情報に基づき第2の表示画像を生成する画像表示方法を含む。
また、以上では、画像表示システムについて本発明を説明したが、本発明の範囲内には画像表示システムに備わる車載装置の発明も含まれる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
1 車載装置
2 携帯端末
5 サーバ
10,20 制御部
11,21 表示部
12,22 操作部
14,24 メモリ部
15,25 近距離無線通信インタフェース部
16 映像・音声信号入力部
26 映像・音声信号出力部
27 無線通信部
51 データベース
100,600 画像表示システム
ステップS306では、サーバ5は、ステップS304で生成された画面調整情報を携帯端末2へ送信し、ステップS301に戻る。

Claims (14)

  1. 表示装置と情報端末とを備え、
    前記表示装置は、
    前記情報端末が出力する映像信号に基づいて、サイズ調整領域が付加された第1の表示画像を生成する表示制御手段と、
    前記表示制御手段により生成された前記第1の表示画像を前記情報端末へ出力する画像送信手段と、を有し、
    前記情報端末は、
    前記表示装置へ前記映像信号を出力する映像出力手段と、
    前記画像送信手段により送信された前記第1の表示画像に基づいて、前記表示制御手段が前記表示装置に表示される表示画面の生成に用いる画面調整情報を取得する画面調整情報取得手段と、
    前記画面調整情報取得手段により取得された前記画面調整情報を前記表示装置へ送信する情報送信手段と、を有し、
    前記表示制御手段は、前記情報送信手段により送信された前記画面調整情報に基づいて第2の表示画像を生成する画像表示システム。
  2. 請求項1に記載の画像表示システムにおいて、
    前記表示制御手段は、前記画面調整情報を前記情報端末から受信する前は、前記第1の表示画像を生成し、前記画面調整情報を前記情報端末から受信した後は、前記画面調整情報に応じて前記第1の表示画像よりも前記サイズ調整領域が狭められた前記第2の表示画像を前記表示画面として生成する画像表示システム。
  3. 請求項1又は2に記載の画像表示システムにおいて、
    前記映像出力手段は、前記画面調整情報取得手段により前記画面調整情報が取得される前は、前記サイズ調整領域と輝度および色相の少なくとも一方が所定値以上異なる校正用画像を前記映像信号として出力する画像表示システム。
  4. 請求項1乃至3のいずれか一項に記載の画像表示システムにおいて、
    前記画面調整情報は、前記サイズ調整領域の幅に関する情報または前記映像信号の映像領域を伸長する倍率に関する情報を含む画像表示システム。
  5. 請求項1乃至4のいずれか一項に記載の画像表示システムにおいて、
    前記画像表示システムは、
    前記表示装置および前記情報端末の組み合わせの識別に用いられる識別情報と前記画面調整情報とが対応付けて登録されるデータベースと、
    前記画像送信手段により送信された前記第1の表示画像中の前記サイズ調整領域を検出して、検出された前記サイズ調整領域が狭まるような前記画面調整情報を生成する画面調整情報生成手段と、
    前記画面調整情報生成手段により生成された前記画面調整情報を前記識別情報に対応付けて前記データベースに登録する画面調整情報登録手段と、
    を有し、
    前記情報端末と前記表示装置との組み合わせについて前記画面調整情報が前記データベースに記憶されている場合、前記情報端末の前記画面調整情報取得手段が前記画面調整情報を前記データベースから取得し、
    前記情報端末と前記表示装置との組み合わせについて前記画面調整情報が前記データベースに記憶されていない場合、前記画面調整情報生成手段により前記画面調整情報を生成して、前記画面調整情報を前記画面調整情報登録手段により前記データベースに登録する画像表示システム。
  6. 請求項5に記載の画像表示システムにおいて、
    前記データベース、前記画面調整情報生成手段および前記画面調整情報登録手段を備えるサーバをさらに備える画像表示システム。
  7. 請求項1乃至6のいずれか一項に記載の画像表示システムにおいて、
    前記情報端末は、
    アプリケーションを実行するアプリケーション実行手段と、
    前記アプリケーション実行手段により実行中のアプリケーションが切り替わったか否かを判定する切替判定手段と、
    をさらに備え、
    前記画面調整情報取得手段は、前記アプリケーション実行手段により前記実行中のアプリケーションが切り替わったと前記切替判定手段により判定されると、切替後に実行中の前記アプリケーションに対応した前記画面調整情報を取得する画像表示システム。
  8. 情報端末が映像信号を表示装置へ出力し、
    前記映像信号を入力された前記表示装置がサイズ調整領域を含む第1の表示画像を前記映像信号に基づいて生成し、前記第1の表示画像を前記情報端末へ出力し、
    前記情報端末が前記第1の表示画像に基づいて、前記表示装置による表示画面の生成に用いられる画面調整情報を取得し、前記画面調整情報を前記表示装置へ送信し、
    前記表示装置が前記画面調整情報に基づき第2の表示画像を生成する画像表示方法。
  9. 請求項8に記載の画像表示方法において、
    前記第1の表示画像の生成に用いる前記映像信号は、前記サイズ調整領域と輝度および色相の少なくとも一方が所定値以上異なる映像に関する信号である画像表示方法。
  10. 請求項8又は9に記載の画像表示方法において、
    前記画面調整情報は、前記サイズ調整領域の幅に関する情報または前記映像信号に含まれる映像領域を伸長する倍率に関する情報を含む画像表示方法。
  11. 請求項8乃至10のいずれか一項に記載の画像表示方法において、
    前記情報端末と前記表示装置との組み合わせについて前記画面調整情報がデータベースに記憶されている場合、前記情報端末が前記画面調整情報を前記データベースから取得し、
    前記情報端末と前記表示装置との組み合わせについて前記画面調整情報が前記データベースに記憶されていない場合、前記第1の表示画像中の前記サイズ調整領域を検出して、検出された前記サイズ調整領域が狭まるような前記画面調整情報を生成し、前記生成された前記画面調整情報を前記情報端末と前記表示装置との組み合わせに対応付けて前記データベースに登録する画像表示方法。
  12. 請求項8乃至11のいずれか一項に記載の画像表示方法において、
    前記情報端末は、アプリケーションを実行可能であると共に実行中のアプリケーションが切り替わったか否かを判定し、
    前記情報端末は、前記実行中のアプリケーションが切り替わったと判定すると、切替後に実行中のアプリケーションに対応した前記画面調整情報を取得する画像表示方法。
  13. 情報端末から出力される映像信号に基づいて第1の表示画像を生成する表示制御手段と、
    前記表示制御手段により生成された前記第1の表示画像を前記情報端末へ送信する画像送信手段と、
    を備え、
    前記表示制御手段は、前記画像送信手段により送信された前記第1の表示画像に基づいて前記情報端末が取得した画面調整情報を前記情報端末から受信した後は、第2の表示画像を生成する表示装置。
  14. 情報端末から出力される映像信号に基づいて第1の表示画像を生成する表示制御手段と、
    前記第1の表示画像に基づいて、前記表示制御手段が表示画面の生成に用いる画面調整情報を生成する画面調整情報生成手段と、
    を備え、
    前記表示制御手段は、前記画面調整情報生成手段により生成された前記画面調整情報に基づいて第2の表示画像を生成する表示装置。
JP2014151994A 2014-07-25 2014-07-25 画像表示システム、画像表示方法、及び表示装置 Active JP6557457B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014151994A JP6557457B2 (ja) 2014-07-25 2014-07-25 画像表示システム、画像表示方法、及び表示装置
EP15824126.5A EP3174045A4 (en) 2014-07-25 2015-06-26 Image display system, image display method, and display device
US15/328,581 US10224008B2 (en) 2014-07-25 2015-06-26 Image display system, image display method, and display device
PCT/JP2015/068555 WO2016013349A1 (ja) 2014-07-25 2015-06-26 画像表示システム、画像表示方法、及び表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014151994A JP6557457B2 (ja) 2014-07-25 2014-07-25 画像表示システム、画像表示方法、及び表示装置

Publications (2)

Publication Number Publication Date
JP2016031376A true JP2016031376A (ja) 2016-03-07
JP6557457B2 JP6557457B2 (ja) 2019-08-07

Family

ID=55162884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014151994A Active JP6557457B2 (ja) 2014-07-25 2014-07-25 画像表示システム、画像表示方法、及び表示装置

Country Status (4)

Country Link
US (1) US10224008B2 (ja)
EP (1) EP3174045A4 (ja)
JP (1) JP6557457B2 (ja)
WO (1) WO2016013349A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6718435B2 (ja) * 2015-03-25 2020-07-08 株式会社ハイウェイテックジャパン シンクライアント方式によるデバイス制御方法
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
TWI581636B (zh) * 2016-05-23 2017-05-01 鴻海精密工業股份有限公司 螢幕顯示比例調整裝置及方法
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
KR20190088406A (ko) 2018-01-04 2019-07-26 삼성전자주식회사 영상 재생 장치 및 그의 제어 방법
US20230063335A1 (en) * 2021-08-27 2023-03-02 Ricoh Company, Ltd. Display apparatus, display system, display control method, and non-transitory recording medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124275A (ja) * 2005-10-28 2007-05-17 Canon Inc 映像出力装置
JP2007150945A (ja) * 2005-11-30 2007-06-14 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20100281373A1 (en) * 2009-04-30 2010-11-04 Yahoo! Inc. Method and system for annotating video content
WO2012141294A1 (ja) * 2011-04-15 2012-10-18 クラリオン株式会社 情報端末、車載情報システム、車載装置、情報端末用プログラム
WO2013118197A1 (ja) * 2012-02-10 2013-08-15 パナソニック株式会社 通信装置、通信方法および通信プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244343A (ja) * 2002-02-21 2003-08-29 Toyota Motor Corp 表示装置、携帯端末及び情報表示システム
JP2006229781A (ja) 2005-02-18 2006-08-31 Sharp Corp 映像変換装置及び映像表示装置
US8145677B2 (en) * 2007-03-27 2012-03-27 Faleh Jassem Al-Shameri Automated generation of metadata for mining image and text data
JP2012128620A (ja) * 2010-12-15 2012-07-05 Alpine Electronics Inc 電子装置
WO2012133982A1 (ko) * 2011-03-25 2012-10-04 엘지전자 주식회사 영상처리장치 및 영상처리장치의 제어 방법
US9607374B2 (en) * 2011-11-10 2017-03-28 Cadess Medical Ab Color decomposition in histology
US20150109262A1 (en) * 2012-04-05 2015-04-23 Pioneer Corporation Terminal device, display device, calibration method and calibration program
CN104737104B (zh) * 2012-10-19 2017-12-19 三菱电机株式会社 信息处理装置、信息终端、信息处理系统及校准方法
JP5696721B2 (ja) * 2012-12-25 2015-04-08 コニカミノルタ株式会社 表示処理装置、画像形成装置、リモート画面の表示処理システム及び表示処理方法
KR102091602B1 (ko) * 2013-06-10 2020-03-20 엘지전자 주식회사 플렉시블 디스플레이를 포함하는 멀티미디어 디바이스 및 그 제어 방법
JP5875555B2 (ja) * 2013-07-29 2016-03-02 株式会社デジタル 画像作成システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124275A (ja) * 2005-10-28 2007-05-17 Canon Inc 映像出力装置
JP2007150945A (ja) * 2005-11-30 2007-06-14 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20100281373A1 (en) * 2009-04-30 2010-11-04 Yahoo! Inc. Method and system for annotating video content
WO2012141294A1 (ja) * 2011-04-15 2012-10-18 クラリオン株式会社 情報端末、車載情報システム、車載装置、情報端末用プログラム
WO2013118197A1 (ja) * 2012-02-10 2013-08-15 パナソニック株式会社 通信装置、通信方法および通信プログラム

Also Published As

Publication number Publication date
EP3174045A4 (en) 2018-03-21
WO2016013349A1 (ja) 2016-01-28
EP3174045A1 (en) 2017-05-31
US20170221453A1 (en) 2017-08-03
JP6557457B2 (ja) 2019-08-07
US10224008B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
JP6557457B2 (ja) 画像表示システム、画像表示方法、及び表示装置
US10528311B2 (en) Display device
JP6559825B2 (ja) 表示装置、情報端末操作方法
US8943438B2 (en) Vehicle-mounted device having portable-device detection capability
JP2013216295A (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP5920104B2 (ja) 車両用音声制御装置
JP6076027B2 (ja) ナビゲーションシステム
JP2005269520A (ja) 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
JP2005265572A (ja) 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
US20110228081A1 (en) Video processing apparatus, video processing method and video imaging apparatus
JP2015148831A (ja) 車載情報システム、情報端末、アプリケーション実行方法
JP2013250132A (ja) 車載装置、車載情報システム
JP2012063249A (ja) 車載情報システム、車載装置、情報端末
JP6388544B2 (ja) ナビゲーションシステム、ナビゲーション機能付き携帯端末、車載機、案内継続用プログラムおよび走行案内方法
JP6325231B2 (ja) 情報表示システム、情報表示システムの制御方法およびプログラム
JP5812322B2 (ja) 車載機器システム及び該車載システムを構成する車載機器
JP2009248952A (ja) 撮影情報表示装置、撮影情報表示方法及び撮影情報表示プログラム
KR20100018215A (ko) 휴대용 단말기의 지도 거리 측정 방법 및 지도 거리 측정기능을 구비한 휴대용 단말기
JP2009236667A (ja) 車載表示装置用の遠隔操作装置、遠隔操作装置によって遠隔操作される車載表示装置、遠隔装置用のプログラム、および車載表示装置用のプログラム
JP6533072B2 (ja) ナビゲーション装置、プログラムおよびナビゲーションシステム
KR101606996B1 (ko) 경로 제공 방법
WO2007105520A1 (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよびコンピュータに読み取り可能な記録媒体
JP2014037980A (ja) 車載機器
JP2014053660A (ja) データ出力装置、その制御方法、その制御プログラムおよびデータ出力システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170525

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190712

R150 Certificate of patent or registration of utility model

Ref document number: 6557457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150