JP2014202797A - Display system, display device, information processor, display method and program - Google Patents
Display system, display device, information processor, display method and program Download PDFInfo
- Publication number
- JP2014202797A JP2014202797A JP2013076390A JP2013076390A JP2014202797A JP 2014202797 A JP2014202797 A JP 2014202797A JP 2013076390 A JP2013076390 A JP 2013076390A JP 2013076390 A JP2013076390 A JP 2013076390A JP 2014202797 A JP2014202797 A JP 2014202797A
- Authority
- JP
- Japan
- Prior art keywords
- operation information
- image
- display
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
この発明は、表示システム、ディスプレイ装置、情報処理装置、表示方法及びプログラムに関する。 The present invention relates to a display system, a display device, an information processing device, a display method, and a program.
近年、ディスプレイオーディオやカーナビゲーションなどのオーディオビジュアル機能を備えたディスプレイ装置には、携帯電話端末などの情報処理装置を接続することで、情報処理装置に表示された各種アプリケーションの画像を表示させるものがある。 2. Description of the Related Art In recent years, display devices having audiovisual functions such as display audio and car navigation are capable of displaying images of various applications displayed on the information processing device by connecting the information processing device such as a mobile phone terminal. is there.
特許文献１に記載の表示制御装置は、パーソナル・コンピュータとか、ワークステーションとかで使用する分離型ディスプレイの、停止、起動、表示形式の変更等の表示動作を制御する。その際、表示制御装置は、表示制御装置から分離型ディスプレイに送信する表示画像の画像信号に、実行させたい表示動作を表す画像制御信号を含めて受信させることによって、分離型ディスプレイの表示動作の制御を行う。 The display control apparatus described in Patent Document 1 controls display operations such as stopping, starting, and changing the display format of a separate display used in a personal computer or a workstation. At that time, the display control device receives the image signal of the display image transmitted from the display control device to the separation display together with the image control signal representing the display operation to be executed, thereby allowing the display operation of the separation display to be performed. Take control.
ところで、特許文献１に記載の表示制御装置は、自装置に接続された情報処理装置に対する操作を示す操作情報を、前述した表示画像の画像信号に含めて送信することができないという問題がある。例えば、表示制御装置によって、自装置に接続された多機能携帯電話端末（スマートフォン）のようなタッチパネル付の情報処理装置に対する、タップ、フリック、スワイプ等のタッチ操作を示す操作情報を、前述した表示画像の画像信号に含めて分離型ディスプレイに送信することができない。 By the way, the display control apparatus described in Patent Literature 1 has a problem in that operation information indicating an operation on an information processing apparatus connected to the apparatus itself cannot be transmitted by being included in the image signal of the display image described above. For example, the operation information indicating the touch operation such as tap, flick, and swipe on the information processing apparatus with a touch panel such as a multi-function mobile phone terminal (smartphone) connected to the own apparatus is displayed by the display control apparatus as described above. It cannot be included in the image signal of an image and transmitted to a separate display.
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、ディスプレイ装置に接続された情報処理装置に対する各種操作の情報を、情報処理装置からディスプレイ装置に送信する画像信号に含ませてディスプレイ装置に送ることができる表示システム、ディスプレイ装置、情報処理装置、表示方法及びプログラムを提供する。 Accordingly, the present invention has been made in view of the above-described problems of the prior art, and includes information on various operations for an information processing apparatus connected to a display device in an image signal transmitted from the information processing apparatus to the display device. Provided are a display system, a display device, an information processing device, a display method, and a program that can be sent to a display device.
上記課題の解決手段として、請求項１記載の発明は、情報処理装置（２００）と、前記情報処理装置（２００）が接続されたディスプレイ装置（１００）とを備える表示システムであって、前記情報処理装置（２００）は、前記情報処理装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）と、前記操作情報画像の画像信号を、前記ディスプレイ装置（１００）に送信する第１の画像通信部（２０１）と、を具備し、前記ディスプレイ装置（１００）は、前記操作情報画像の画像信号を受信する第２の画像通信部（１０１）と、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）と、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）と、を具備することを特徴とする表示システム（９０）である。 As a means for solving the above problems, the invention according to claim 1 is a display system comprising an information processing device (200) and a display device (100) to which the information processing device (200) is connected, wherein the information The processing device (200) acquires operation information indicating an operation performed on the information processing device (200), generates an operation information image representing the operation information, and an operation information image generation unit (205). A first image communication unit (201) that transmits an image signal of an information image to the display device (100), and the display device (100) receives an image signal of the operation information image. Two image communication units (101), an operation information extraction unit (104) that extracts the operation information from the operation information image, and an image that executes screen control associated with the operation information. Control unit (105), a display system characterized by comprising (90).
請求項２に記載の発明は、請求項１に記載の表示システムであって、前記操作情報画像は、バーコード、文字列、カラーコード、のうち少なくともいずれか一つの、前記操作情報を表す画像である。
請求項３に記載の発明は、請求項１または請求項２に記載の表示システム（９０）であって、前記ディスプレイ装置（１００）は、前記ディスプレイ装置（１００）が備える表示部（１０２）の一部分を覆うように設けられたカバーを備え、前記操作情報画像は、前記カバーによって覆われた前記表示部（１０２）の一部分に表示される。
The invention according to claim 2 is the display system according to claim 1, wherein the operation information image is an image representing the operation information of at least one of a barcode, a character string, and a color code. It is.
Invention of Claim 3 is the display system (90) of Claim 1 or Claim 2, Comprising: The said display apparatus (100) of the display part (102) with which the said display apparatus (100) is provided. A cover provided so as to cover a part is provided, and the operation information image is displayed on a part of the display unit (102) covered with the cover.
請求項４に記載の発明は、請求項３に記載の表示システム（９０）であって、前記操作情報抽出部（１０４）は、前記カバーの裏面に設置される操作情報読取センサー（１１２）を備え、該操作情報読取センサー（１１２）が前記カバーによって覆われた前記表示部（１０２）の一部分に表示される前記操作情報画像を読み取ることで、前記操作情報を抽出する。
請求項５に記載の発明は、請求項１または請求項２に記載の表示システム（９０）であって、前記ディスプレイ装置（１００）は、前記操作情報画像を、別の画像に置き換えて、前記ディスプレイ装置（１００）の表示部（１０２）に表示させる操作情報隠匿部（１０９）を備える。
請求項６に記載の発明は、請求項５に記載の表示システム（９０）であって、前記操作情報画像生成部（２０５ｂ）は、前記情報処理装置（２００）に、所定の周辺機器が接続されたときのみ前記操作情報画像を生成する。
Invention of Claim 4 is a display system (90) of Claim 3, Comprising: The said operation information extraction part (104) has the operation information reading sensor (112) installed in the back surface of the said cover. The operation information reading sensor (112) reads the operation information image displayed on a part of the display unit (102) covered by the cover, thereby extracting the operation information.
The invention according to claim 5 is the display system (90) according to claim 1 or 2, wherein the display device (100) replaces the operation information image with another image, and An operation information concealment unit (109) to be displayed on the display unit (102) of the display device (100) is provided.
A sixth aspect of the present invention is the display system (90) according to the fifth aspect, wherein the operation information image generation unit (205b) is connected to the information processing apparatus (200) by a predetermined peripheral device. The operation information image is generated only when it is performed.
請求項７に記載の発明は、ディスプレイ装置（１００）が接続された情報処理装置（２００）であって、自装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）と、前記操作情報画像の信号を、前記ディスプレイ装置（１００）に送信する第１の画像通信部（２０１）とを具備することを特徴とする情報処理装置（２００）である。
請求項８に記載の発明は、情報処理装置（２００）が接続されたディスプレイ装置（１００）であって、前記情報処理装置（２００）から、前記情報処理装置（２００）に行われた操作を示す操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部（１０１）と、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）と、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）と、を具備することを特徴とするディスプレイ装置（１００）である。
The invention according to claim 7 is an information processing device (200) to which the display device (100) is connected, acquires operation information indicating an operation performed on the device (200), and obtains the operation information. An operation information image generation unit (205) that generates an operation information image to be represented, and a first image communication unit (201) that transmits a signal of the operation information image to the display device (100). Information processing apparatus (200).
The invention according to claim 8 is a display device (100) to which an information processing device (200) is connected, and an operation performed on the information processing device (200) from the information processing device (200). A second image communication unit (101) that receives an image signal of an operation information image representing the operation information to be displayed, an operation information extraction unit (104) that extracts the operation information from the operation information image, and the operation information A display device (100) comprising: a screen control unit (105) for executing associated screen control.
請求項９に記載の発明は、情報処理装置（２００）と、前記情報処理装置（２００）が接続されたディスプレイ装置（１００）とを備える表示システム（９０）における表示方法であって、前記情報処理装置（２００）が、前記情報処理装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する第１の過程と、前記情報処理装置（２００）が、前記操作情報画像の画像信号を、前記ディスプレイ装置（１００）に送信する第３の過程と、前記ディスプレイ装置（１００）が、前記操作情報画像の画像信号を受信する第４の過程と、前記ディスプレイ装置（１００）が、前記操作情報画像から、前記操作情報を抽出する第５の過程と、前記ディスプレイ装置（１００）が、前記操作情報と対応付けられた画面制御を実行する第６の過程と、を有することを特徴とする表示方法である。 The invention according to claim 9 is a display method in a display system (90) comprising an information processing device (200) and a display device (100) to which the information processing device (200) is connected. A first process in which the processing device (200) acquires operation information indicating an operation performed on the information processing device (200) and generates an operation information image representing the operation information; and the information processing device (200) ) Transmits the image signal of the operation information image to the display device (100), and the fourth step of the display device (100) receiving the image signal of the operation information image; A fifth process in which the display device (100) extracts the operation information from the operation information image, and the display device (100) is associated with the operation information. A sixth step of executing the screen control was a display method characterized in that it comprises a.
請求項１０に記載の発明は、ディスプレイ装置（１００）が接続された情報処理装置（２００）のコンピュータを、自装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）、前記操作情報画像の画像信号を、接続されたディスプレイ装置（１００）に送信する第１の画像通信部（２０１）、として機能させるためのプログラムである。 According to the tenth aspect of the present invention, the computer of the information processing device (200) to which the display device (100) is connected acquires operation information indicating an operation performed on the own device (200), and the operation information is obtained. An operation information image generation unit (205) that generates an operation information image to be expressed, and a first image communication unit (201) that transmits an image signal of the operation information image to a connected display device (100). It is a program.
請求項１１に記載の発明は、情報処理装置（２００）が接続されたディスプレイ装置（１００）のコンピュータを、前記情報処理装置（２００）から、前記情報処理装置（２００）に行われた操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部（１０１）、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）、として機能させるためのプログラムである。 According to the eleventh aspect of the present invention, the computer of the display device (100) to which the information processing device (200) is connected is operated from the information processing device (200) to the information processing device (200). A second image communication unit (101) that receives an image signal of an operation information image representing the operation information, an operation information extraction unit (104) that extracts the operation information from the operation information image, and a screen associated with the operation information This is a program for functioning as a screen control unit (105) that executes control.
請求項１記載の発明によれば、ディスプレイ装置に接続された情報処理装置に対する各種操作の情報を、情報処理装置からディスプレイ装置に送信する画像信号に含ませてディスプレイ装置に送ることができる。
請求項３記載の発明によれば、ディスプレイ装置に表示された操作情報画像を、ユーザから見えないようにすることができる。
請求項４記載の発明によれば、ディスプレイ装置に表示された操作情報画像から、操作情報を抽出することができる。
請求項５記載の発明によれば、操作情報画像を、別の画像に置き換えることができる。
請求項６記載の発明によれば、所定の周辺機器が情報処理装置に接続されたときのみ、操作情報画像を生成できる。
According to the first aspect of the present invention, information on various operations for the information processing apparatus connected to the display apparatus can be included in the image signal transmitted from the information processing apparatus to the display apparatus and sent to the display apparatus.
According to the third aspect of the present invention, the operation information image displayed on the display device can be hidden from the user.
According to the fourth aspect of the present invention, the operation information can be extracted from the operation information image displayed on the display device.
According to the fifth aspect of the present invention, the operation information image can be replaced with another image.
According to the sixth aspect of the present invention, the operation information image can be generated only when a predetermined peripheral device is connected to the information processing apparatus.
[第１の実施形態]
以下、図面を参照して、第１の実施形態について説明する。
図１は、表示システム９０の利用状況を示す外観図である。本実施形態における表示システム９０は、ディスプレイ装置１００、情報処理装置２００が、ＨＤＭＩ（High-Definition Multimedia Interface、高精細度マルチメディアインターフェース、登録商標）用の通信用ケーブル３０、で接続されている。
[First embodiment]
The first embodiment will be described below with reference to the drawings.
FIG. 1 is an external view showing a usage situation of the
本実施形態における表示システム９０は、情報処理装置２００から、ディスプレイ装置１００に出力画像を送信する。情報処理装置２００で生成される出力画像の一部分は、後述する操作情報画像が描画されている。ディスプレイ装置１００は、出力画像内の操作情報画像を読み取り、操作情報画像から操作情報を抽出する。操作情報は、情報処理装置２００に行った操作を表す情報である。その後、ディスプレイ装置１００は、抽出した操作情報に対して予め割り当てられた所定の動作を実行する。なお、所定の動作は、ユーザが後から設定できるとしてもよい。また、所定の動作は、例えば、ディスプレイ装置１００がオーディオビジュアル（以下、ＡＶという）機能を持っていた場合、オーディオの音量を制御する動作や、デジタルシグナルプロセッサによる音質を制御する動作や、再生しているＣＤ（Compact Disk）の曲順を制御する動作等であるが、これらに限定されない。
The
情報処理装置２００は、板状の筐体にコンピュータ本体としての処理機能、入力装置としてのタッチパネル２０９やハードウェアキーＫｙ、後述する表示部２０２のディスプレイ、スピーカ、マイクロフォン、その他に無線ＬＡＮ、携帯電話機の機能を備えた多機能携帯電話機（スマートフォン）やタブレット端末である。また、情報処理装置２００は、タッチパネルを備えた小型のパーソナル・コンピュータであってもよい。
The
情報処理装置２００の表示部２０２は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを有し、画像を表示する。情報処理装置２００のタッチパネル２０９は、表示部２０２のパネルに重ねて配置され、抵抗膜方式又は静電容量方式を用いてユーザの指又はペンがタッチパネル上に触れた位置を検出する。情報処理装置２００のハードウェアキーＫｙは、ＯＳ（Operating System）や後述する操作情報取得部２０７によって割り当てられた所定の動作を、情報処理装置２００に実行させるボタンやスイッチである。この所定の動作は、具体的には、アプリケーションの終了とか、ホーム画面に戻るとかであるが、これらに限定されず、操作情報取得部２０７特有の動作、例えば、ディスプレイ装置１００の電源の表示形式を切り替える動作が割り当てられていてもよい。
The
ディスプレイ装置１００は、箱状の筐体にオーディオビジュアル機器としての処理機能、コンピュータとしての処理機能、入力装置としてのタッチパネルやハードウェアキー、後述する表示部１０２、スピーカやマイクロフォンへの音声の入出力機能を備えたディスプレイオーディオとかカーナビゲーションとかであるが、これらに限定されない。例えば、ディスプレイ装置１００は、オーディオビジュアル機器等の表示機能以外の処理機能を備えたデジタルサイネージとか広告表示装置とかであってもよい。ディスプレイ装置１００の表示部１０２は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを有し、画像を表示する。
The
なお、通信用ケーブル３０は、ＭＨＬ（Mobile High-definition Link）とか、ＵＳＢ（Universal Serial Bus）ケーブルとか、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４ケーブルとかでもよいし、情報処理装置２００とディスプレイ装置１００との間で情報を伝送するための専用ケーブルであってもよい。また、例えば、ディスプレイ装置１００と、情報処理装置２００とは、Bluetooth（登録商標）やＷｉ‐Ｆｉ（Wireless Fidelity、登録商標）、無線ＬＡＮ（Local Area Network）等で、無線を用いて接続されているとしてもよい。
The
図２は、第１の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図である。同図において、図１における各部に対応する部分には、同一の符号（３０、１０２、２０２、２０９）を付し、説明を省略する。情報処理装置２００は、画像通信部２０１、表示部２０２、内部画像バッファ部２０３、画像合成部２０４、操作情報画像生成部２０５、表示画像生成部２０６、操作情報取得部２０７、操作種別判別部２０８、タッチパネル２０９、ハードキー操作取得部２１０、外部画像バッファ部２１２を含んで構成される。
FIG. 2 is a schematic block diagram showing the configuration of the
操作種別判別部２０８は、タッチパネル２０９から取得したタッチ位置を示す情報から、ユーザが行ったタッチ操作の種別を判別する。タッチ操作の種別は、例えば、タップ、フリック、スワイプ、ピンチイン、ピンチアウト等のことであるが、これらに限定されない。操作種別判別部２０８は、タッチ位置を示す情報と、タッチ操作の種別を示す情報とを、タッチ操作情報として、操作情報取得部２０７に出力する。
The operation
ハードキー操作取得部２１０は、ハードウェアキーＫｙを操作したことを示すハードキー操作情報を取得する。具体的には、例えばハードウェアキーＫｙがボタンの場合、ハードキー操作取得部２１０は、ユーザがそのボタンを押下すると、ハードキー操作情報を取得する。なお、ハードキー操作情報は、ハードウェアキーＫｙに対する操作に限定されず、例えば、ジャイロセンサーとか、加速度センサーとかから得られた情報処理装置を傾けた角度を示す情報であってもよい。ハードキー操作取得部２１０は、ハードキー操作情報を取得すると、このハードキー操作情報を操作情報取得部２０７に出力する。
The hard key
操作情報取得部２０７は、タッチ操作情報、あるいは、ハードキー操作情報のうち少なくともいずれか一つを取得する。操作情報取得部２０７は、タッチ操作情報、あるいは、ハードキー操作情報を、操作情報として操作情報画像操作情報画像生成部２０５に出力操作情報画像する。また、操作情報取得部２０７は、操作情報を、表示画像生成部２０６に出力する。
The operation
表示画像生成部２０６は、情報処理装置２００上で実行しているアプリケーションが、表示画像生成部２０６が取得した操作情報に基づいて、画像の表示を要求している場合、要求された画像（以下、表示画像という）を生成する。その後、表示画像生成部２０６は、生成した表示画像を、内部画像バッファ部２０３、画像合成部２０４に出力する。
操作情報画像操作情報画像生成部２０５は、操作情報取得部２０７から、操作情報を取得する。操作情報画像生成部２０５は、操作情報に基づいて、操作情報画像を生成する。操作情報画像は、操作情報を文字列や、バーコードや、カラーコードや、ＱＲコード（Quick Responseコード、登録商標）等で表現したものであるが、これらに限定されない。操作情報画像操作情報画像生成部２０５は、操作情報画像を生成すると、画像合成部２０４に出力する。
When the application running on the
The operation information image operation information
画像合成部２０４は、操作情報画像を取得すると、表示画像生成部２０６から表示画像を取得する。画像合成部２０４は、取得した操作情報画像と、表示画像とを、出力画像として合成する。本実施形態において、操作情報画像と表示画像との合成は、表示画像の右端と、操作情報画像の右端と一致するように、表示画像の枠内に操作情報画像を配置して合成するが、これに限定されない。例えば、該合成は、表示画像と操作情報画像との上端同士、下端同士、左端同士のいずれかが一致するように、表示画像内に操作情報画像を配置して合成してもよいし、表示画像の端ではない部分に合成するとしてもよい。ただし、この合成は、表示画像の端ではない部分に操作情報画像を配置して行った場合、操作情報画像をユーザから見えないようにするのが難しくなるので、端に配置して合成する方が好ましい。画像合成部２０４は、出力画像を、外部画像バッファ部２１２に出力する。
When acquiring the operation information image, the
内部画像バッファ部２０３は、画面１フレーム分、あるいは複数のフレーム分の画像を保持する。内部画像バッファ部２０３は、表示画像生成部２０６から取得して保持した表示画像の画像信号を、順番に表示部２０２に出力して表示させる。
外部画像バッファ部２１２は、画像合成部２０４から取得して保持した出力画像の画像信号を、画像通信部２０１を介して、画像通信部１０１に送信する。
画像通信部２０１は、外部画像バッファ部２１２から、出力画像の画像信号を取得すると、画像通信部１０１に送信する。
The internal
The external
When the
ディスプレイ装置１００は、画像通信部１０１、表示部１０２、画像書込制御部１０３、操作情報抽出部１０４、動作制御部１０５、装置画像生成部１０６、アプリケーション１０７、操作情報隠匿部１０９、表示制御部１１０、ＶＲＡＭ１１３を含んで構成される。
画像通信部１０１は、画像通信部２０１から、出力画像の画像信号を受信すると、この出力画像の画像信号を画像書込制御部１０３に出力する。
The
When the
画像書込制御部１０３は、画像通信部１０１から出力画像を、装置画像生成部１０６から装置画像を取得する。画像書込制御部１０３は、出力画像と、装置画像とを、ユーザや動作制御部１０５によってディスプレイ装置１００に指定された所定の表示形式に従って配置したＤＳＰ画像としてＶＲＡＭ１１３に書き込む。ＶＲＡＭ１１３は、表示部１０２に表示する画像を一時的に蓄積・記憶するビデオランダムアクセスメモリである。ＶＲＡＭ１１３は、画像書込制御部１０３から、ＤＳＰ画像として、出力画像と、装置画像とを書き込まれ、それを記憶する。具体的には、ＤＳＰ画像の画像信号を取得すると、自身の記憶領域に、この出力画像の画像信号に基づいて、ＤＳＰ画像をメモリ上に構築する。ＶＲＡＭにＤＳＰ画像として操作情報画像が記憶された場合の詳細は後述する。
操作情報抽出部１０４は、ＶＲＡＭ１１３のＤＳＰ画像を読み込み、ＤＳＰ画像内にある操作情報画像を、操作情報に変換することで、操作情報を抽出する。その後、操作情報抽出部１０４は、抽出した操作情報を、動作制御部１０５に出力する。また、操作情報抽出部１０４は、操作情報の抽出が終了したことを、操作情報隠匿部１０９に伝達し、後述する操作情報隠匿処理を実行させる。
The image
The operation
動作制御部１０５は、取得した操作情報に基づいて、操作情報に予め割り当てられたディスプレイ装置１００の所定の動作を実行する。所定の動作は、各種操作情報毎に予め割り当てられており、例えば、タッチ操作として上方向にフリックした場合、ディスプレイ装置１００のスピーカの音量を大きくする、右方向にフリックしたら、再生中の音楽を次の楽曲に先送りする等であるが、これらに限定されない。また、所定の動作は、ユーザによって後から設定できるとしてもよい。動作制御部１０５は、操作情報に割り当てられた所定の動作が、表示部１０２に表示されている画像の表示形式を切り替える動作だった場合、画像書込制御部１０３に、ＶＲＡＭ１１３へ書き込む表示形式を変更させる。これら所定の動作は、操作情報に対して各種ディスプレイ装置毎に異なる動作を割り当てられる。
Based on the acquired operation information, the
操作情報隠匿部１０９は、操作情報抽出部１０４が操作情報を抽出した後、操作情報隠匿処理として、ＶＲＡＭ１１３に記憶されているＤＳＰ画像内の操作情報画像を、塗り潰す。なお、操作情報隠匿処理は、この操作情報画像を黒く塗り潰してもよいし、他の色で塗り潰してもよい。
The operation
アプリケーション１０７は、カーオーディオやカーナビゲーションの機能を実現する各種アプリケーションであるが、これらに限定されない。アプリケーション１０７は、実行しているアプリケーションが画像の表示を要求しているときは、アプリケーションが要求する画像を、装置画像生成部１０６に装置画像として生成させる。
The
装置画像生成部１０６は、アプリケーション１０７の要求に従い、装置画像を生成し、画像書込制御部１０３に出力する。
表示制御部１１０は、ＶＲＡＭに記憶されているＤＳＰ画像を読み込み、表示部１０２に表示させる。
The device
The
図３は、表示画像、操作情報画像、出力画像を説明するためのイメージ図である。再右図の情報処理装置２００の表示部２０２には、表示画像生成部２０６が生成した表示画像ｉ１０１が表示されている。中図は、出力画像ｉ１００である。出力画像ｉ１００は、操作情報画像としてバーコードｂｃが、表示画像ｉ１０１の内側右端に合成されている。本実施形態では、この出力画像ｉ１００の画像信号を、通信ケーブル３０を介して、情報処理装置２００からディスプレイ装置１００に送信し、ディスプレイ装置１００の表示部１０２に表示させるのだが、このまま表示させると、バーコードｂｃがユーザの目に直接触れてしまうことになる。
FIG. 3 is an image diagram for explaining a display image, an operation information image, and an output image. The display image i101 generated by the display
そこで、操作情報隠匿部１０９は、出力画像ｉ１００のバーコードｂｃのみを、出力画像ｉ１００から見えなくするため、操作情報隠匿処理を行う。操作情報隠匿処理は、最左図の黒塗りｂｌｋのように、バーコードｂｃの部分を塗り潰してしまう処理である。この操作情報隠匿処理によって、バーコードｂｃは、ユーザから見えなくなる。なお、例えば、バーコードｂｃの部分を切り取り、無くなった出力画像ｉ１００の横幅分を補完するために、出力画像ｉ１００のバーコードｂｃを除いた部分であるｉ１０１の横幅を拡大してもよいし、黒塗りを他の色で塗り潰すようにしてもよい。
Therefore, the operation
図４は、情報処理装置２００とディスプレイ装置１００との動作を説明するシーケンス図である。情報処理装置２００には、ユーザにより、ディスプレイ装置１００の操作を目的とした各種操作が行われる（ｓ１００）。情報処理装置２００は、操作情報を包含する操作情報画像を生成する（ｓ１０１）。
FIG. 4 is a sequence diagram for explaining operations of the
情報処理装置２００は、表示画像と、操作情報画像とを、出力画像として合成する（ｓ１０２）。情報処理装置２００は、出力画像の画像信号を、ディスプレイ装置１００に送信する（ｓ１０３）。ディスプレイ装置１００は、出力画像の画像信号を受信する（ｓ１０４）。ディスプレイ装置１００は、出力画像から、操作情報を抽出する（ｓ１０５）。ディスプレイ装置１００は、操作情報隠匿処理として、出力画像内の操作情報画像を黒く塗り潰してユーザから見えなくする（ｓ１０６）。ディスプレイ装置１００は、操作情報に予め割り当てられた、所定の動作を実行する（ｓ１０７）。
The
図５は、ＶＲＡＭ１１３の、メモリ領域を説明するイメージ図である。ＶＲＡＭのメモリは、図５のｘ軸及びｙ軸を付けられた四角い領域ｍｅｍ内に、出力画像の各画素に対応したメモリが、各画素の並びと同じように平面上に並んでいる。例えば、再左上段のメモリａｄｄには、出力画像の再左上段の画素の色を表す情報が格納される。出力画像内の、操作情報画像の画素の情報は、領域ｂｃｄａｔａ内の各メモリに格納される。例えば、操作情報画像がバーコードだった場合、操作情報画像操作情報画像生成部２０５は、黒を示す情報が０、白を示す情報が２５５、というようにバーコードの情報として操作情報を画像にすることができ、操作情報抽出部１０４は、同様に操作情報画像から操作情報を抽出することができる。
FIG. 5 is an image diagram for explaining a memory area of the
このように、本実施形態における表示システム９０は、情報処理装置２００が、操作情報を包含した出力画像の画像信号を、ディスプレイ装置１００に送信することができる。そしてディスプレイ装置１００は、その画像信号を受信し、出力画像から操作情報を抽出することができる。従って、ディスプレイ装置１００は、操作情報毎に予め所定の動作を割り当てているのでユーザは、情報処理装置２００に対する操作によって、ディスプレイ装置１００に所定の動作を実行させることができる。また、操作情報隠匿部１０９が、操作情報画像に対して操作情報隠匿処理を行い、操作情報画像を黒く塗り潰すことによって、操作情報画像がユーザから見えないようにすることができる。
As described above, in the
[第２の実施形態]
第２の実施形態では、操作情報隠匿部１０９は、出力画像内の操作情報画像を黒く塗り潰さず、別の画像に置き換えることで、ユーザから操作情報画像が見えないようにする。
図６は、第２の実施形態におけるディスプレイ装置１００に表示された画像の一例を表すイメージ図である。出力画像ｉ１００ａは、操作情報隠匿部１０９は、出力画像ｉ１００ａ内の操作情報画像を黒く塗り潰さず、操作情報画像に、画像隠匿画像ｃ１００として別の画像に置き換える。
[Second Embodiment]
In the second embodiment, the operation
FIG. 6 is an image diagram illustrating an example of an image displayed on the
該画像隠匿画像ｃ１００は、例えば、その時にディスプレイ装置１００で再生されている音楽の曲名を表示する画像や、ディスプレイ装置１００が出力しているラジオの曲名を表示する画像、あるいは、ディスプレイ装置１００の動作を制御するためのソフトウェアキーが並んだメニュー画像等であるが、これらに限定されない。
従って、ディスプレイ装置１００に表示された出力画像ｉ１００ａのように、操作情報画像はユーザから見られることはない。
このように、第２の実施形態における表示システム９０は、操作情報隠匿部１０９が、操作情報画像を、画像隠匿画像ｃ１００によって置き換えることで、第１の実施形態と同じ効果を得ることができる。また、第２の実施形態における表示システム９０は、表示部１０２に、黒く塗り潰されているだけの領域が表示される代わりに、ユーザにとって有用な情報を表示することになるので、ユーザはより良好に表示システム９０を利用することができる。
The image concealment image c100 is, for example, an image that displays the title of music that is being played on the
Therefore, unlike the output image i100a displayed on the
As described above, in the
[第３の実施形態]
図７は、第３の実施形態における情報処理装置２００、ディスプレイ装置１００の構成を表す概略ブロック図である。第３の実施形態では、情報処理装置２００は、周辺機器が接続されているときのみ、操作情報画像を生成する。周辺機器は、例えば、ステアリングスイッチ等であるが、これに限定されない。情報処理装置２００に接続された周辺機器による操作情報は、ハードキー操作取得部２１０が取得する。同図において、図２における各部に対応する部分には、同一の符号（２０１〜２０４、２０６〜２１０、２１２、１０１〜１０７、１０９、１１０、１１３）を付し、説明を省略する。情報処理装置２００は、画像通信部２０１、表示部２０２、内部画像バッファ部２０３、画像合成部２０４ｂ、操作情報画像生成部２０５ｂ、表示画像生成部２０６、操作情報取得部２０７、操作種別判別部２０８、タッチパネル２０９、ハードキー操作取得部２１０、周辺機器情報取得部２１１、外部画像バッファ部２１２、操作情報画像生成許可情報記憶部２１３を含んで構成される。
[Third embodiment]
FIG. 7 is a schematic block diagram illustrating configurations of the
周辺機器情報取得部２１１は、情報処理装置２００に、周辺機器が接続された場合に、周辺機器情報として、周辺機器の識別情報を取得し、操作情報画像生成部２０５ｂに出力する。この識別情報は、例えば、ＭＡＣアドレス等の個別識別可能な情報であってもよいし、製品番号等の機種を識別可能な情報であってもよいが、これらに限定されない。
操作情報画像生成許可情報記憶部２１３は、情報処理装置２００に周辺機器が接続されたときに、操作情報画像生成部２０５ｂが、操作情報画像を生成することを許可する周辺機器を表す識別情報を格納するテーブルを、操作情報画像生成許可情報として記憶する。
When a peripheral device is connected to the
The operation information image generation permission
操作情報画像生成部２０５ｂは、操作情報を取得後、周辺機器情報取得部２１１から、周辺機器情報を取得する。ここで、操作情報画像生成部２０５ｂは、周辺機器情報がヌル情報だったような場合、つまり周辺機器が接続されていない場合、操作情報画像を生成しない。操作情報画像生成部２０５ｂは、周辺機器情報を取得すると、操作情報画像生成許可情報記憶部２１３から、操作情報画像生成許可情報を取得し、操作情報画像生成許可情報に、取得した周辺機器情報が含まれているか否かを判定する。
After acquiring the operation information, the operation information
操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が含まれていた場合、取得した操作情報に基づいて操作情報画像を生成する。その後、操作情報画像生成部２０５ｂは、操作情報画像を画像合成部２０４に出力する。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が含まれていなかった場合、取得した操作情報を破棄し、操作情報画像を生成しない。
When the operation information image generation permission information includes the peripheral device information, the operation information
図８は、第３の実施形態における操作情報画像生成部２０５ｂの動作を説明するフローチャートである。操作情報画像生成部２０５ｂは、操作情報と、周辺機器情報とを抽出する（ＳＴ１００）。次に、操作情報画像生成部２０５ｂは、操作情報画像生成許可情報を取得する（ＳＴ１０１）。次に、操作情報抽出部１０４ｂは、操作情報画像生成許可情報に、取得した周辺機器情報が含まれているか否かを判定する（ＳＴ１０２）。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が格納されていたとき（ＳＴ１０２−Ｙｅｓ）、ＳＴ１０３に遷移する。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が格納されていなかったとき（ＳＴ１０２−Ｎｏ）、ＳＴ１０４に遷移する。操作情報画像生成部２０５ｂは、操作情報画像を生成して動作制御部１０５に出力する（ＳＴ１０３）。操作情報画像生成部２０５ｂは、操作情報を破棄する（ＳＴ１０４）。
FIG. 8 is a flowchart for explaining the operation of the operation information
このように、第３の実施形態における表示システム９０は、情報処理装置２００に、所定の周辺機器が接続されている場合のみ、操作情報画像生成部２０５ｂが操作情報画像を生成し、第１の実施形態と同様の効果を得ることができる。なお、周辺機器情報取得部２１１、操作情報画像生成許可情報記憶部２１３は、ディスプレイ装置１００に同等の機能を持つ装置を備えていてもよい。その場合、情報処理装置２００からディスプレイ装置１００に、情報処理装置２００に接続された周辺機器情報を送信することになる。
As described above, in the
[第４の実施形態]
第４の実施形態では、ディスプレイ装置１００の表示部１０２のディスプレイの一部が、物理的にカバーで覆われており、出力画像内の操作情報画像は、このカバーで覆われた部分に表示され、ユーザは操作情報画像を見ることができない。従って、第４の実施形態のディスプレイ装置１００は、操作情報画像が物理的に覆い隠されてしまうため、操作情報隠匿部１０９に相当する機能を持たない。また、カバーの裏側には、操作情報抽出部１０４に相当する、出力画像から操作情報の抽出処理を行う操作情報読取センサー１１２が設置されている。従って、第４の実施形態のディスプレイ装置１００は、ＶＲＡＭ１１３に書き込まれた出力画像から操作情報を抽出することはしない。操作情報読取センサー１１２は、例えば、バーコードリーダーとかＱＲコードリーダーとかの機能を持ったセンサーであるが、これに限定されない。
[Fourth Embodiment]
In the fourth embodiment, a part of the display of the
図９は、第４の実施形態のディスプレイ装置１００の外観を示すイメージ図である。第４の実施形態のディスプレイ装置１００は、図中のカバーｃｖｒが、表示部１０２の一部分を覆い隠すように設けられており、カバーｃｖｒの裏面に、操作情報読取センサー１１２が設置されている。操作情報読取センサー１１２は、図中の操作情報画像であるバーコードｂｃを読み取り、操作情報を抽出する。
FIG. 9 is an image diagram showing an appearance of the
図１０は、第４の実施形態における情報処理装置２００、ディスプレイ装置１００の構成を表す概略ブロック図である。第４の実施形態におけるディスプレイ装置１００は、画像通信部１０１、表示部１０２、画像書込制御部１０３、動作制御部１０５ａ、装置画像生成部１０６、アプリケーション１０７、表示制御部１１０、操作情報読取センサー１１２を含んで構成される。同図において、図２における各部に対応する部分には、同一の符号（１０２、２０１〜２１０）を付し、説明を省略する。
FIG. 10 is a schematic block diagram illustrating configurations of the
操作情報読取センサー１１２は、表示部１０２に出力画像が表示されると、出力画像内の操作情報画像を読み取り、操作情報画像から操作情報を抽出する。操作情報読取センサー１１２は、操作情報を抽出すると、操作情報を動作制御部１０５ａに送信する。
動作制御部１０５ａは、操作情報読取センサー１１２から、操作情報を取得すると、操作情報に割り当てられたディスプレイ装置１００の所定の動作を、ディスプレイ装置１００に実行させる。
When the output image is displayed on the
When the
このように、第４の実施形態における表示システム９０は、操作情報読取センサー１１２が、ディスプレイ装置１００のディスプレイに表示された操作情報画像を読み取ることができ、操作情報抽出部１０４の機能を果たすことができる。従って、操作情報読取センサー１１２は、表示部１０２に表示された操作情報画像から、操作情報を抽出できる。それ故、第４の実施形態における表示システム９０は、第１の実施形態と同じ効果を得ることができる。また、第４の実施形態におけるディスプレイ装置は、物理的なカバーによって、操作情報画像が覆い隠しているため、操作情報画像はユーザから見えないようになっている。
As described above, in the
[第５の実施形態]
第５の実施形態の情報処理装置２００は、情報処理装置２００からディスプレイ装置１００に送信する出力画像と同じ画像を表示する。
図１１は、ディスプレイ装置１００が、情報処理装置２００の該出力画像と同じ画像を表示している場合のイメージ図である。ただし、ディスプレイ装置１００の表示部１０２では、操作情報隠匿部１０９の操作情報隠匿処理により、バーコードｂｃは、黒塗りｂｌｋのように黒く塗り潰されている。
図１２は、第５の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図である。同図において、図２における各部に対応する部分には、同一の符号（１０１〜１０７、１０９、１１０、２０１、２０２、２０５〜２１０）を付し、説明を省略する。
[Fifth Embodiment]
The
FIG. 11 is an image diagram when the
FIG. 12 is a schematic block diagram illustrating configurations of the
画像合成部２０４ｃは、操作情報画像を取得すると、表示画像生成部２０６から表示画像を取得する。画像合成部２０４は、取得した操作情報画像と、表示画像とを、出力画像として合成する。画像合成部２０４ｃは、出力画像を、内部画像バッファ部２０３ｃと、外部画像バッファ部２１２とに出力する。
内部画像バッファ部２０３ｃは、画像合成部２０４ｃから取得して保持した出力画像の画像信号を、順番に表示部２０２に出力して表示させる。
このように、第５の実施形態における表示システム９０は、情報処理装置２００の表示部２０２が、操作情報画像を包含する出力画像を表示しても、第１の実施形態と同じ効果が得られる。
When acquiring the operation information image, the image composition unit 204 c acquires a display image from the display
The internal
As described above, the
[第６の実施形態]
第６の実施形態は、自動車の、タコメーターや燃費計等を表示するＭＩＤ（Multi Information Display）を含むメーターパネルに、表示システム９０を応用した一例である。第６の実施形態のディスプレイ装置１００は、出力画像から操作情報を抽出する。その後、ディスプレイ装置１００は、ディスプレイ装置１００側で該操作情報に対応付けた所定の動作として、表示部１０２の表示形式を切り替える動作を行う場合の例を説明するが、操作情報に対応付ける所定の動作はこれに限定されない。例えば、ＭＩＤに表示される、自動車の走行距離の数値をリセットする動作でもよいし、ＭＩＤの表示パネルの背景色を変える動作でもよい。第６の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図は、図１２と同様であるため、説明を省略する。
[Sixth Embodiment]
The sixth embodiment is an example in which the
図１３は、第６の実施形態における表示システム９０の利用状況を示す外観図である。同図において、図１における各部に対応する部分には、同一の符号（１０２、２００、２０２、２０９）を付し、説明を省略する。第６の実施形態の表示システム９０は、第１の実施形態同様に、ディスプレイ装置１００、情報処理装置２００が、通信用ケーブル３０、で接続されている。
第６の実施形態の情報処理装置２００は、第５の実施形態の情報処理装置２００と同様に、出力画像を表示する。従って、図１３上において、情報処理装置２００の表示部２０２は、操作情報画像であるバーコードｂｃを表示している。第６の実施形態の情報処理装置２００は、操作情報画像を、出力画像の上部に配置しているが、これに限定されず、例えば、出力画像の左端、右端、下端のいずれかに配置してもよい。
FIG. 13 is an external view showing a usage situation of the
The
また、出力画像中のバーコードｂｃ以外の部分は、情報処理装置２００のＯＳ（Operation System）によるＧＵＩ（Graphical User Interface）画面ｈｍを表示している。ＧＵＩ画面ｈｍは、表示画像生成部２０６で生成された表示画像である。従って、例えば、ＧＵＩ画面ｈｍの部分には、情報処理装置２００上で起動する各種アプリケーションの画面が表示される場合もある。
In addition, a portion other than the barcode bc in the output image displays a GUI (Graphical User Interface) screen hm by the OS (Operation System) of the
第６の実施形態のディスプレイ装置１００は、自動車に搭載される、ＭＩＤとして表示部１０２を含んだメーターパネルである。ディスプレイ装置１００は、図１３のように、スピードメーターｍｐｈ、表示部１０２が設置されている。スピードメーターｍｐｈは、ディスプレイ装置１００が搭載された自動車のスピードを表示するメーターである。ディスプレイ装置１００の表示部１０２には、該自動車のエンジンの回転数を示すタコメーターｒｐｍが表示されている。また、表示部１０２には、タコメーターｒｐｍの上部に、黒塗りｂｌｋが表示されている。これは、本実施形態の画像書込制御部１０３が、出力画像と、装置画像とを、ＤＳＰ画像としてＶＲＡＭ１１３に書き込む際、常にバーコードｂｃが常にＤＳＰ画像の上部に表示されるように書き込むからである。
A
従って、本実施形態のディスプレイ装置１００は、出力画像から抽出された操作情報によって、表示形式が変わる場合、図１３上の黒塗りｂｌｋ以外の部分だけが変わり、常に黒塗りｂｌｋは表示されている。該表示形式が変わる場合の詳細は後述する。図１３上では、バーコードｂｃは、操作情報隠匿処理によって、黒塗りｂｌｋとして黒く塗り潰されている。なお、黒塗りｂｌｋは、黒塗りに限定されず、例えば、黒以外の色でもよいし、各種メーター名が記載あれた画像でもよい。また、本実施形態において、スピードメーターｍｐｈは、ＭＩＤとは別にディスプレイ装置１００に設置したが、これに限定されず、タコメーター等と同様に、ＭＩＤである表示部１０２に表示されるようにしてもよい。
Accordingly, in the
図１４は、ディスプレイ装置１００が取得する操作情報に対応付けた所定の動作が、該ＭＩＤである表示部１０２の表示形式を変える動作の場合、例えば図１３における黒塗りｂｌｋの部分以外が遷移する状況を説明するイメージ図である。表示部１０２ａには、タコメーターｒｐｍと、黒塗りｂｌｋとが表示されている。この後、ディスプレイ装置１００が、情報処理装置２００から出力画像を取得すると、ディスプレイ装置１００は、出力画像から操作情報を抽出する。ディスプレイ装置１００が、該操作情報に対応付けた所定の動作として、表示形式の変更を対応付けていた場合、例えば、表示部１０２の表示領域１０２ａは、表示部１０２の表示領域１０２ｂのようになる。
FIG. 14 shows a case where the predetermined operation associated with the operation information acquired by the
表示部１０２の表示領域１０２ｂは、情報処理装置２００に表示されているＧＵＩ画面ｈｍと、黒塗りｂｌｋとが表示されている。つまり、ディスプレイ装置１００は、自動車に搭載されたディスプレイ装置１００に特有の装置画像であるタコメーターｒｐｍの画像部分を、情報処理装置２００のＧＵＩ画面ｈｍに遷移させる。この場合、ディスプレイ装置１００は、情報処理装置２００に表示されている画像と同じ画像が表示されている。そのため、情報処理装置２００側で、アプリケーションのアイコンａｐｌｉｃｎをタップし、該アプリケーションが起動した場合、表示部１０２の表示領域１０２ｃには、該アプリケーションの画面ａｐｌが表示される。また、次に再び別の表示形式を切り替える動作に対応付けられた操作情報を抽出した場合、ディスプレイ装置１００は、表示部１０２の表示領域１０２ｄのように、燃費計ｍｐｌの画像を表示する。
In the display area 102b of the
このように、第６の実施形態における表示システム９０は、情報処理装置２００から、ディスプレイ装置１００に操作情報を送信する。ディスプレイ装置１００は、該操作情報を取得し、ディスプレイ装置１００側で予め該操作情報に対応付けた所定の動作を行う。それ故、第１の実施形態と同様の効果が得られる。該所定の動作は、情報処理装置２００に接続された各種ディスプレイ装置毎に別の動作を対応付けることができるのに加えて、各種ディスプレイ装置毎に特有の動作を対応付けることができる。より具体的には、ディスプレイ装置１００が取得した、情報処理装置２００から送信された操作情報を、どのように解釈し、どのような動作を行わせるかは、接続するディスプレイ装置によって様々である。また、該所定の動作は、ユーザが後で設定できるとしてもよい。
As described above, the
従って、情報処理装置２００は、情報処理装置２００に対する操作を示す操作情報を送信した場合、ＭＩＤであるディスプレイ装置１００側で、該操作情報に対して、自動車のメーターに係わる表示を切り替える動作を対応付けることにより、ディスプレイ装置１００の表示を切り替えることができる。なお、本実施形態において、ディスプレイ装置１００に表示されるメーターは、タコメーターｒｐｍ、燃費計ｍｐｌとしたが、これに限定されない。例えば、スピードメーター、過給圧計、負圧計、電圧計、油圧計、水温計、高度計等であってもよいし、自動車の状態を知らせる警告等が表示されてもよい。
Therefore, when the
また、図２、７、１０、１２における情報処理装置２００、ディスプレイ装置１００の機能もしくはその一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置２００、ディスプレイ装置１００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
2, 7, 10, and 12, the program for realizing the functions of the
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and design changes and the like within a scope not departing from the gist of the present invention are included. .
本発明は、情報処理装置とディスプレイ装置を接続して利用する際に好適に用いられるが、これに限られない。 The present invention is preferably used when the information processing apparatus and the display apparatus are connected and used, but is not limited thereto.
３０・・・通信用ケーブル
９０・・・表示システム
１００・・・ディスプレイ装置
１０１・・・画像通信部
１０２・・・表示部
１０３・・・画像バッファ部
１０４・・・操作情報抽出部
１０５・・・動作制御部
１０６・・・装置画像生成部
１０７・・・操作情報取得部
１０９・・・操作情報隠匿部
１１０・・・表示制御部
１１２・・・操作情報読取センサー
１１３・・・ＶＲＡＭ
２００・・・情報処理装置
２０１・・・画像通信部
２０２・・・表示部
２０３・・・内部画像バッファ部
２０４・・・画像合成部
２０５・・・操作情報画像生成部
２０６・・・表示画像生成部
２０７・・・アプリケーション
２０８・・・操作種別判別部
２０９・・・タッチパネル
２１０・・・ハードキー操作取得部
２１１・・・周辺機器情報取得部
２１２・・・外部画像バッファ部
２１３・・・操作情報画像生成許可情報記憶部
30 ... Communication cable
90 ... Display system
100 ... Display device
101: Image communication unit
102: Display unit
103: Image buffer section
104 ... Operation information extraction unit
105 ... Operation control unit
106: Device image generation unit
107 ... Operation information acquisition unit
109 ... Operation information concealment unit
110: Display control unit
112 ... Operation information reading sensor
113 ... VRAM
200: Information processing apparatus
201: Image communication unit
202 ... Display section
203 ... Internal image buffer
204... Image composition unit
205 ... Operation information image generation unit
206: Display image generation unit
207 ... Application
208... Operation type discrimination unit
209 ... Touch panel
210 ... Hard key
Claims (11)
前記情報処理装置は、
前記情報処理装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部と、
前記操作情報画像の画像信号を、前記ディスプレイ装置に送信する第１の画像通信部と、
を具備し、
前記ディスプレイ装置は、
前記操作情報画像の画像信号を受信する第２の画像通信部と、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部と、
前記操作情報と対応付けられた画面制御を実行する画面制御部と、
を具備することを特徴とする表示システム。 A display system comprising an information processing device and a display device to which the information processing device is connected,
The information processing apparatus includes:
An operation information image generation unit that acquires operation information indicating an operation performed on the information processing apparatus and generates an operation information image representing the operation information;
A first image communication unit that transmits an image signal of the operation information image to the display device;
Comprising
The display device includes:
A second image communication unit for receiving an image signal of the operation information image;
An operation information extraction unit for extracting the operation information from the operation information image;
A screen control unit that executes screen control associated with the operation information;
A display system comprising:
ことを特徴とする請求項１に記載の表示システム。 The display system according to claim 1, wherein the operation information image is an image representing the operation information of at least one of a barcode, a character string, and a color code.
前記ディスプレイ装置が備える表示部の一部分を覆うように設けられたカバーを備え、
前記操作情報画像は、
前記カバーによって覆われた前記表示部の一部分に表示される
ことを特徴とする請求項１または請求項２に記載の表示システム。 The display device includes:
A cover provided to cover a part of a display unit included in the display device;
The operation information image is
The display system according to claim 1, wherein the display system is displayed on a part of the display unit covered by the cover.
前記カバーの裏面に設置される操作情報読取センサーを備え、該操作情報読取センサーが前記カバーによって覆われた前記表示部の一部分に表示される前記操作情報画像を読み取ることで、前記操作情報を抽出する
ことを特徴とする請求項３に記載の表示システム。 The operation information extraction unit includes:
An operation information reading sensor is provided on the back surface of the cover, and the operation information reading sensor extracts the operation information by reading the operation information image displayed on a part of the display unit covered by the cover. The display system according to claim 3, wherein:
前記操作情報画像を、別の画像に置き換えて、前記ディスプレイ装置の表示部に表示させる操作情報隠匿部を備える
ことを特徴とする請求項１または請求項２に記載の表示システム。 The display device includes:
The display system according to claim 1, further comprising: an operation information concealment unit that replaces the operation information image with another image and displays the operation information image on the display unit of the display device.
ことを特徴とする請求項５に記載の表示システム。 The display system according to claim 5, wherein the operation information image generation unit generates the operation information image only when a predetermined peripheral device is connected to the information processing apparatus.
自装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部と、
前記操作情報画像の信号を、前記ディスプレイ装置に送信する第１の画像通信部と
を具備することを特徴とする情報処理装置。 An information processing apparatus to which a display device is connected,
An operation information image generation unit that acquires operation information indicating an operation performed on the device and generates an operation information image representing the operation information;
An information processing apparatus comprising: a first image communication unit that transmits a signal of the operation information image to the display device.
前記情報処理装置から、前記情報処理装置に行われた操作を示す操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部と、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部と、
前記操作情報と対応付けられた画面制御を実行する画面制御部と、
を具備することを特徴とするディスプレイ装置。 A display device to which an information processing device is connected,
A second image communication unit that receives an image signal of an operation information image representing operation information indicating an operation performed on the information processing device from the information processing device;
An operation information extraction unit for extracting the operation information from the operation information image;
A screen control unit that executes screen control associated with the operation information;
A display device comprising:
前記情報処理装置が、前記情報処理装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する第１の過程と、
前記情報処理装置が、前記操作情報画像の画像信号を、前記ディスプレイ装置に送信する第３の過程と、
前記ディスプレイ装置が、前記操作情報画像の画像信号を受信する第４の過程と、
前記ディスプレイ装置が、前記操作情報画像から、前記操作情報を抽出する第５の過程と、
前記ディスプレイ装置が、前記操作情報と対応付けられた画面制御を実行する第６の過程と、
を有することを特徴とする表示方法。 A display method in a display system comprising an information processing device and a display device to which the information processing device is connected,
A first process in which the information processing apparatus acquires operation information indicating an operation performed on the information processing apparatus and generates an operation information image representing the operation information;
A third process in which the information processing device transmits an image signal of the operation information image to the display device;
A fourth process in which the display device receives an image signal of the operation information image;
A fifth process in which the display device extracts the operation information from the operation information image;
A sixth process in which the display device executes screen control associated with the operation information;
A display method characterized by comprising:
自装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部、
前記操作情報画像の画像信号を、接続されたディスプレイ装置に送信する第１の画像通信部、
として機能させるためのプログラム。 The computer of the information processing apparatus to which the display device is connected,
An operation information image generation unit that acquires operation information indicating an operation performed on the device itself and generates an operation information image representing the operation information;
A first image communication unit that transmits an image signal of the operation information image to a connected display device;
Program to function as.
前記情報処理装置から、前記情報処理装置に行われた操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部、
前記操作情報と対応付けられた画面制御を実行する画面制御部、
として機能させるためのプログラム。 A computer of a display device to which an information processing device is connected,
A second image communication unit that receives an image signal of an operation information image representing operation information performed on the information processing device from the information processing device;
An operation information extraction unit for extracting the operation information from the operation information image;
A screen control unit that executes screen control associated with the operation information;
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013076390A JP2014202797A (en) | 2013-04-01 | 2013-04-01 | Display system, display device, information processor, display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013076390A JP2014202797A (en) | 2013-04-01 | 2013-04-01 | Display system, display device, information processor, display method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014202797A true JP2014202797A (en) | 2014-10-27 |
Family
ID=52353293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013076390A Pending JP2014202797A (en) | 2013-04-01 | 2013-04-01 | Display system, display device, information processor, display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014202797A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001034245A (en) * | 1999-07-21 | 2001-02-09 | Mitsubishi Electric Corp | Image display control system, image signal generating device, and image display device |
-
2013
- 2013-04-01 JP JP2013076390A patent/JP2014202797A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001034245A (en) * | 1999-07-21 | 2001-02-09 | Mitsubishi Electric Corp | Image display control system, image signal generating device, and image display device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10635379B2 (en) | Method for sharing screen between devices and device using the same | |
| US11748054B2 (en) | Screen projection method and terminal device | |
| US9411512B2 (en) | Method, apparatus, and medium for executing a function related to information displayed on an external device | |
| US10956008B2 (en) | Automatic home screen determination based on display device | |
| JP6655275B2 (en) | Mobile device and control method thereof | |
| US20130016040A1 (en) | Method and apparatus for displaying screen of portable terminal connected with external device | |
| EP2800025B1 (en) | Portable terminal and method for protecting a displayed object | |
| US20140176600A1 (en) | Text-enlargement display method | |
| AU2014200930A1 (en) | Method for providing a feedback in response to a user input and a terminal implementing the same | |
| KR20100104804A (en) | Display driver ic, method for providing the display driver ic, and data processing apparatus using the ddi | |
| WO2014069249A1 (en) | Display control device, display control method, and program | |
| CN103309616A (en) | Soft keyboard display method and terminal | |
| US20150063785A1 (en) | Method of overlappingly displaying visual object on video, storage medium, and electronic device | |
| US20190065030A1 (en) | Display apparatus and control method thereof | |
| JP2015533002A (en) | Correlation between written notes and digital content | |
| CN110377220B (en) | Instruction response method and device, storage medium and electronic equipment | |
| US20110258555A1 (en) | Systems and methods for interface management | |
| CN101599263B (en) | Mobile terminal and display method of screen display (OSD) interface thereof | |
| KR102161159B1 (en) | Electronic apparatus and method for extracting color in electronic apparatus | |
| EP2943039A1 (en) | User terminal device for generating playable object, and interaction method therefor | |
| US9542094B2 (en) | Method and apparatus for providing layout based on handwriting input | |
| JP2014202797A (en) | Display system, display device, information processor, display method and program | |
| KR102425957B1 (en) | Mobile apparatus displaying end effect and cotrol method there of | |
| JP2019096305A (en) | Electronic apparatus and control method, program, and recording medium thereof | |
| CN103165105A (en) | Mobile communication terminal and graphic display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170509 |