JP2017111251A - Image display system and image display method - Google Patents
Image display system and image display method Download PDFInfo
- Publication number
- JP2017111251A JP2017111251A JP2015244500A JP2015244500A JP2017111251A JP 2017111251 A JP2017111251 A JP 2017111251A JP 2015244500 A JP2015244500 A JP 2015244500A JP 2015244500 A JP2015244500 A JP 2015244500A JP 2017111251 A JP2017111251 A JP 2017111251A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pointer
- main
- image display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像を表示する画像表示装置に関する。 The present invention relates to an image display device that displays an image.
コンピュータおよびディスプレイ装置（画像表示装置）間の画像伝送方法として、デジタル差動信号を用いる形態が主流となってきている。
デジタル差動信号を利用して画像を伝送する規格の一つに、ディスプレイポートがある。特に、ディスプレイポート Ｖｅｒ．１．２と呼ばれる規格では、マルチストリーム伝
送が可能となっている。これにより、複数の画像表示装置を直列に接続し、それぞれの装置に出力する複数の画像データを一本のケーブルで伝送することができる。
As an image transmission method between a computer and a display device (image display device), a form using a digital differential signal has become mainstream.
One standard for transmitting images using digital differential signals is a display port. In particular, display port Ver. The standard called 1.2 enables multi-stream transmission. Thereby, a plurality of image display devices can be connected in series, and a plurality of image data output to each device can be transmitted with a single cable.
ところで、プレゼンテーションや会議等において、複数の画像表示装置に同一の画像を出力する形態がある。このような形態において、プレゼンター（講演者）が行ったポインティング操作を、複数の画像表示装置に表示させたいという要望があった。
これに対する発明として、例えば、特許文献１には、タッチパネルを搭載したコンピュータを用い、出力する画像にポインタを重畳させて後段の画像表示装置に出力する装置が開示されている。
By the way, in a presentation or a meeting, there is a form in which the same image is output to a plurality of image display devices. In such a form, there has been a demand to display a pointing operation performed by a presenter (speaker) on a plurality of image display devices.
As an invention for this, for example,
特許文献１に記載の装置では、講演者が行ったコンピュータの操作に基づいてポインタを生成しているため、講演者がコンピュータから離れて説明することができないという問題がある。すなわち、レーザーポインタ等の手段を用いて、モニタやスクリーンを直接ポイントした場合、接続されている他の画像表示装置に当該ポインタを反映させることができない。
In the apparatus described in
本発明は、このような課題に鑑みてなされたものであり、ユーザが画像表示装置上で指し示した箇所を、他の画像表示装置を利用する他のユーザと共有することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to share a location indicated by a user on an image display device with another user who uses another image display device.
上記課題を解決するための、本発明に係る画像表示システムは、
第一の画像表示装置と、第二の画像表示装置と、を含む画像表示システムであって、前記第一の画像表示装置は、主画像を含む画像データを取得する第一の取得手段と、
前記主画像を表示する第一の表示手段と、前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成手段と、前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力手段と、を有し、前記第二の画像表示装置は、前記マルチストリーム信号を取得する第二の取得手段と、前記マルチストリーム信号に含まれる前記主画像およびポインタ画像を合成した画像である合成画像を生成し表示する第二の表示手段と、を有することを特徴とする。
In order to solve the above problems, an image display system according to the present invention includes:
An image display system including a first image display device and a second image display device, wherein the first image display device includes first acquisition means for acquiring image data including a main image;
First display means for displaying the main image; generation means for generating a pointer image which is an image representing a position pointed to by a user on a screen on which the main image is displayed; the main image and the pointer image; Output means for generating and outputting a multi-stream signal including the second image display device, second acquisition means for acquiring the multi-stream signal, and the multi-stream signal included in the multi-stream signal And second display means for generating and displaying a composite image that is an image obtained by combining the main image and the pointer image.
また、本発明に係る画像表示装置は、
主画像を含む画像データを取得する第一の取得手段と、前記主画像を表示する表示手段
と、前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成手段と、前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力手段と、を有することを特徴とする。
Moreover, an image display device according to the present invention includes:
A first acquisition unit that acquires image data including a main image, a display unit that displays the main image, and a pointer image that is an image representing a position pointed to by the user on the screen on which the main image is displayed And generating means for generating and outputting a multi-stream signal including the main image and the pointer image.
また、本発明に係る画像表示方法は、
第一の画像表示装置と、第二の画像表示装置と、が行う画像表示方法であって、前記第一の画像表示装置が、主画像を含む画像データを取得する第一の取得ステップと、前記主画像を表示する第一の表示ステップと、前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成ステップと、前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力ステップと、を実行し、前記第二の画像表示装置が、前記マルチストリーム信号を取得する第二の取得ステップと、前記マルチストリーム信号に含まれる前記主画像およびポインタ画像を合成した画像である合成画像を生成し表示する第二の表示ステップと、を実行することを特徴とする。
The image display method according to the present invention includes:
An image display method performed by a first image display device and a second image display device, wherein the first image display device acquires image data including a main image; A first display step for displaying the main image; a generation step for generating a pointer image which is an image representing a position pointed to by a user on a screen on which the main image is displayed; the main image and the pointer image; Generating and outputting a multistream signal including: a second acquisition step in which the second image display device acquires the multistream signal; and the multistream signal included in the multistream signal And a second display step of generating and displaying a composite image that is an image obtained by combining the main image and the pointer image.
本発明によれば、ユーザが画像表示装置上で指し示した箇所を、他の画像表示装置を利用する他のユーザと共有することができる。 ADVANTAGE OF THE INVENTION According to this invention, the location which the user pointed on on the image display apparatus can be shared with the other user using another image display apparatus.
以下、図面を参照しつつ、本発明の実施形態を詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In principle, the same components are denoted by the same reference numerals, and description thereof is omitted.
（第一の実施形態）
第一の実施形態の概要について、図１を参照しながら説明する。
第一の実施形態に係る画像表示システムは、画像を出力するコンピュータ１０１と、複数の画像表示装置（以下、モニタ２００，３００，４００）とがデイジーチェーン接続されたシステムである。本実施形態では、コンピュータ１０１がプレゼンテーション用の画像を出力し、当該画像を各モニタが表示する。なお、メインモニタ２００がプレゼンター（以下、講演者）用のモニタであり、サブモニタ３００および４００が聴講者用のモニタである。
(First embodiment)
The outline of the first embodiment will be described with reference to FIG.
The image display system according to the first embodiment is a system in which a
また、第一の実施形態では、メインモニタ２００が、講演者によって指し示された画面上の位置を取得する機能を有しており、また、サブモニタ３００が当該位置に対応するポインタを表示する機能を有している。
In the first embodiment, the
ポインティングについて、図２を参照して説明する。
ポインティングとは、画面上の任意の位置を指し示す動作を指す。例えば、ポインティングは、タッチ動作などによって行われる。
図２は、メインモニタ２００とサブモニタ３００との関係を表す図である。ここで、講演者が、メインモニタ２００が有する画面（画面表示部２０４）に表示されているグラフチャートを説明するため、符号２３１で示した箇所をポインティングしたとする。
The pointing will be described with reference to FIG.
Pointing refers to an operation that points to an arbitrary position on the screen. For example, pointing is performed by a touch operation or the like.
FIG. 2 is a diagram illustrating the relationship between the
本実施形態では、メインモニタ２００が、前段のコンピュータ１０１から入力された主画像に加え、ポインタのみを含む画像（以下、ポインタ画像）を生成し、双方をマルチストリーム出力する。また、サブモニタ３００が、マルチストリーム信号に含まれる主画像およびポインタ画像を取得し、双方を合成して表示する。これにより、主画像にポインタが重畳された画像を画面表示部３０８に表示させることができる。すなわち、サブモニタ３００に表示されているグラフチャートの対応する位置にポインタ３３１が描画される。
なお、サブモニタ３００の後段に接続されたサブモニタ４００にも、同様のマルチストリーム信号が送信され、同様の処理が行われる。すなわち、サブモニタ４００にも同様にポインタが重畳された主画像が表示される。
In the present embodiment, the
Note that the same multi-stream signal is transmitted to the
各モニタの具体的な構成について説明する。
図３は、第一の実施形態に係るメインモニタ２００の構成ブロック図である。
入力端子２０１は、コンピュータ１０１から出力された画像信号（主画像に対応する信号）が入力される端子であり、主画像受信部２０２は、当該画像信号を受信するインタフェースモジュール（本発明における第一の取得手段）である。受信された画像信号は、信号処理部２０３、同期信号抽出部２０６、ストリーム合成部２０８にそれぞれ入力される。
A specific configuration of each monitor will be described.
FIG. 3 is a configuration block diagram of the
The
信号処理部２０３は、主画像を画像表示部２０４に表示させるための信号処理を行う手段である。また、画像表示部２０４は、画像を表示させる液晶パネル等の手段である。
画面タッチ検出部２０５は、画像表示部２０４の表面に配置されており、ユーザによってポインティングされた画面上の位置（ポイント位置）を取得する手段である。本実施形態では、画面タッチ検出部２０５は、ユーザによってタッチされた画面上の位置を検出し、位置情報を出力するタッチパネルである。
The
The screen
画面タッチ検出部２０５が出力した位置情報は、ポインタ画像生成部２０７に送信され、ポインタ画像生成部２０７が、ポインタを表す画像（ポインタ画像）を生成する。ポインタ画像は、ポインティングされた位置を表すものであれば、カーソルなどのグラフィカルな表現を用いたものであってもよいし、単純にポインティングされた位置のみを特定の画素値で表すものであってもよい。
なお、ポインタ画像に対応する信号は、主画像に対応する信号と同期させる必要があるため、ポインタ画像生成部２０７は、同期信号抽出部２０６によって取得された主画像の同期信号を利用してポインタ画像を生成する。
生成されたポインタ画像は、主画像とともに、ストリーム合成部２０８でマルチストリーム信号に変換され、画像を送信するインタフェースモジュールであるマルチストリーム送信部２０９を介して出力される。出力端子２１０は、画像が出力される端子である。
以上に説明した処理は、不図示のＣＰＵによって行われる。
The position information output by the screen
Since the signal corresponding to the pointer image needs to be synchronized with the signal corresponding to the main image, the pointer
The generated pointer image is converted together with the main image into a multi-stream signal by the
The processing described above is performed by a CPU (not shown).
次に、サブモニタ３００について説明する。図４は、第一の実施形態におけるサブモニタ３００の構成ブロック図である（サブモニタ４００も同様）。
入力端子３０１は、メインモニタ２００から出力されたマルチストリーム信号が入力される端子であり、マルチストリーム受信部３０２は、当該マルチストリーム信号を受信するインタフェースモジュールである。
受信されたマルチストリーム信号は、マルチストリーム分割部３０３に入力され、主画像に対応する信号と、ポインタ画像に対応する信号の二つに分割される。主画像に対応する信号は主画像出力部３０５に入力され、ポインタ画像に対応する信号はポインタ画像出力部３０４に入力される。
Next, the
The
The received multi-stream signal is input to the
画像合成部３０６は、主画像出力部３０５が出力した主画像、および、ポインタ画像出力部３０４が出力したポインタ画像を合成することで一つの画像（以下、合成画像）を生成する手段である。ここで生成された合成画像は、主画像にポインタが重畳されたものとなる。
信号処理部３０７は、合成画像を画像表示部３０８に表示するための信号処理を行う手段である。また、画像表示部３０８は、画像を表示させる液晶パネル等の手段である。
The
The
サブモニタ３００は、後段に接続されたモニタ（本例ではサブモニタ４００）に、マルチストリーム信号を転送する機能を有している。具体的には、ストリーム合成部３０９が、主画像出力部３０５が出力した主画像と、ポインタ画像出力部３０４が出力したポインタ画像を再度合成し、マルチストリーム信号を出力する。
生成されたマルチストリーム信号は、信号を送信するインタフェースモジュールであるマルチストリーム送信部３１０を介して出力される。出力端子３１１は、映像信号を出力する端子である。
以上に説明した処理は、不図示のＣＰＵによって行われる。
The sub-monitor 300 has a function of transferring a multi-stream signal to a monitor (sub-monitor 400 in this example) connected to the subsequent stage. Specifically, the
The generated multi-stream signal is output via a
The processing described above is performed by a CPU (not shown).
以上のように、第一の実施形態に係るモニタ２００は、主画像と、ポインタのみを含む画像であるポインタ画像とを生成し、マルチストリーム化して送信する。また、モニタ３００が、マルチストリーム信号を分離して合成画像を再構成し、画面に出力する。かかる構成によると、モニタ２００上にて講演者が行ったポインティング操作を、後段に接続されたモニタ上に反映させることができる。よって、従来技術のように、コンピュータ１０１が出力する画像にポインタを含ませなくても、聴講者に位置を指し示すことが可能になる。また、サブモニタは直列に接続可能であるため、複数のサブモニタに対して同様の情報を提供することができる。
As described above, the
ところで、ポインタ画像は、主画像ほどの解像度を必要としないため、ポインタ画像の解像度を低くすることで、伝送されるデータ量を抑えることができる。ここでは、主画像の画素数を単純な整数比で小さくしたものをポインタ画像とし、フレームレートのみを同期させる手法について説明する。
図５（Ａ）は、４０９６×２１６０ピクセルの解像度を持つ主画像を模式的に表した図であり、図５（Ｂ）は、１０２４×５４０ピクセルの解像度を持つポインタ画像を模式的に表した図である。本例では、画面タッチ検出部２０５は、４×４の画素領域に対して一つのセンサを備えるものとする。
例えば、図５（Ａ）の点線内の何れかの画素がポインティングされたとする。ポインタ画像が主画像と同じ画素数である場合、縦横１６画素分のデータを生成しなければならないが、本例の場合、図５（Ｂ）のように４分の１のデータ量で済む。このように構成した場合、サブモニタ３００が、ポインタ画像の画素数を縦横それぞれ４倍に変換したのちに合成画像を生成すればよい。これにより、主画像上の同じ位置にポインタが表示される。
By the way, since the pointer image does not require the same resolution as the main image, the amount of transmitted data can be suppressed by reducing the resolution of the pointer image. Here, a method of synchronizing only the frame rate with a pointer image obtained by reducing the number of pixels of the main image by a simple integer ratio will be described.
FIG. 5A schematically shows a main image having a resolution of 4096 × 2160 pixels, and FIG. 5B schematically shows a pointer image having a resolution of 1024 × 540 pixels. FIG. In this example, it is assumed that the screen
For example, it is assumed that any pixel within the dotted line in FIG. When the pointer image has the same number of pixels as the main image, data for 16 pixels in the vertical and horizontal directions must be generated, but in this example, the data amount is ¼ as shown in FIG. In such a configuration, the
また、主画像のフレーム周波数（フレームレート）とポインタ画像のフレーム周波数が、単純な整数比の関係にあってもよい。例えば、主画像のフレーム周波数が６０Ｈｚであった場合、ポインタ画像のフレーム周波数を１５Ｈｚにすれば、伝送すべきデータ量を１／４に減らす事ができる。
これらの、画素数を変換する処理、およびフレーム周波数を減らす処理は、例えばポインタ画像生成部２０７に行わせることができる。これにより、データ量を抑えたマルチス
トリーム信号を出力することができる。なお、解像度やフレームレートの変換は、既存のスケーリング技術やフレームメモリ制御を用いて行うことができる。
Further, the frame frequency (frame rate) of the main image and the frame frequency of the pointer image may have a simple integer ratio relationship. For example, when the frame frequency of the main image is 60 Hz, the amount of data to be transmitted can be reduced to ¼ by setting the frame frequency of the pointer image to 15 Hz.
The processing for converting the number of pixels and the processing for reducing the frame frequency can be performed by the pointer
なお、本実施形態では、タッチパネルを用いて画面に対するタッチを検出したが、タッチパネルの代わりに、従来技術として挙げたような、レーザーポインタを用いて位置を検出する方法を採用してもよい。 In the present embodiment, a touch on the screen is detected using a touch panel, but a method of detecting a position using a laser pointer, such as the conventional technique, may be employed instead of the touch panel.
（第二の実施形態）
第二の実施形態は、メインモニタ２００上でポインティングした箇所に対応するポインタをサブモニタ３００で描画するか否かをユーザが選択できるようにした実施形態である。
(Second embodiment)
The second embodiment is an embodiment in which the user can select whether or not to draw a pointer corresponding to the pointed point on the
図６は、第二の実施形態に係るサブモニタ３００の構成ブロック図である。第二の実施形態では、サブモニタ３００がスイッチ５４０を有しており、当該スイッチを切り替えることで、ポインタ画像を主画像に合成して表示するか否かを選択できる構成となっている。
なお、第二の実施形態に係るサブモニタ５００の構成は、スイッチ５４０を有しているという点を除き、第一の実施形態に係るサブモニタ３００と同等である。
FIG. 6 is a configuration block diagram of the sub-monitor 300 according to the second embodiment. In the second embodiment, the
Note that the configuration of the
第二の実施形態では、スイッチ５４０がＯＮである場合、ポインタ画像出力部３０４から出力されたポインタ画像が、画像合成部３０６に出力される。すなわち、主画像とポインタ画像が合成され、画像表示部３０８に出力される。
一方、スイッチ５４０がＯＦＦである場合、ポインタ画像出力部３０４から出力されたポインタ画像は画像合成部３０６に入力されない。すなわち、画像合成部３０６は、主画像出力部３０５から出力された主画像のみを用いて画像を生成するため、ポインタが画面上に反映されない状態となる。
In the second embodiment, when the
On the other hand, when the
第二の実施形態では、このように、サブモニタ側に、画像を合成するか否かを選択させる機能を持たせることで、利用状況に応じて、ポインタの表示有無を設定することが可能になる。 In the second embodiment, as described above, by providing the sub-monitor side with a function for selecting whether or not to synthesize an image, it is possible to set whether or not to display the pointer according to the use situation. .
なお、本例では、サブモニタ５００側にスイッチを設ける例を挙げたが、スイッチをメインモニタ２００側に持たせてもよい。また、スイッチは必ずしも物理的な手段でなくてもよい。例えば、フラグまたは制御コマンド（合成可否情報）を用いて、ポインタの合成を行うか否かを制御してもよい。更には、当該フラグや制御コマンドを映像信号に含ませ、当該映像信号を受信したモニタが、合成の可否を判断するようにしてもよい。
In this example, the switch is provided on the
（第三の実施形態）
第一および第二の実施形態では、複数のモニタを直列に接続した。これに対し、第三の実施形態は、図７に示したように、複数のモニタ（メインモニタ６００およびサブモニタ７００，８００）をループ状に接続したシステムである。このように構成することで、複数のモニタが互いのポインタ情報を交換できるようになる。第三の実施形態は、特に会議システムなどに好適な実施形態である。
(Third embodiment)
In the first and second embodiments, a plurality of monitors are connected in series. On the other hand, the third embodiment is a system in which a plurality of monitors (
コンピュータ１０１から出力された画像は、主画像としてメインモニタ６００に入力される。モニタ６００がポインティング位置を取得し、マルチストリーム信号を出力する動作は第一の実施形態と同様である。メインモニタ６００から出力されたマルチストリーム信号は、サブモニタ７００に入力される。
An image output from the
サブモニタ７００の機能は、マルチストリーム信号に含まれる主画像とポインタ画像を
合成し、画像表示部に出力するという点において、第一の実施形態におけるサブモニタ３００と同様である。
加えて、第二の実施形態では、サブモニタ７００が画面タッチ検出部を有しており、ポインティング位置を検出して第二のポインタ画像を生成し、主画像と合成して画像表示部に出力する。また、サブモニタ７００は、メインモニタ６００から取得したポインタ画像と、生成した第二のポインタ画像を合成し、第三のポインタ画像を生成し、後段のサブモニタ８００にマルチストリーム出力する。
The function of the
In addition, in the second embodiment, the sub-monitor 700 has a screen touch detection unit, detects the pointing position, generates a second pointer image, combines it with the main image, and outputs it to the image display unit. . Also, the
サブモニタ８００は、サブモニタ７００と同一構成のモニタである。なお、図７の例ではサブモニタは２台だが、サブモニタの数に制限は無い。最終段に位置するサブモニタから出力されたマルチストリーム信号は、再度メインモニタ６００に入力される。このため、メインモニタ６００は、最終段に位置するサブモニタから出力されたマルチストリーム信号を入力するための端子を備えている。
The sub monitor 800 is a monitor having the same configuration as the
図８は、第三の実施形態におけるメインモニタ６００の構成ブロック図である。
第三の実施形態におけるメインモニタ６００は、第一の実施形態におけるメインモニタ２００に、点線で示したブロックを追加したものである。
すなわち、第２の入力端子６９０、マルチストリーム受信部６０１、ポインタ画像抽出部６０２、ポインタ画像合成部６０３、画像合成部６０４の各手段を有するという点において、第一の実施形態に係るメインモニタ２００と相違する。
FIG. 8 is a block diagram showing the configuration of the
The
That is, the
点線で示したブロックは、サブモニタ８００から出力されたポインタ画像を、主画像と、自身のタッチ箇所に対応するポインタとを合成して画像表示部２０４に出力するための機能ブロックである。点線で示したブロック以外の構成は第一の実施形態と同様であるため、説明は省略する。
A block indicated by a dotted line is a functional block for combining the pointer image output from the sub-monitor 800 with the main image and a pointer corresponding to the touch location of the pointer image and outputting the combined image to the
入力端子６９０は、サブモニタ８００から出力されたマルチストリーム信号が入力される端子であり、マルチストリーム受信部６０１は、当該マルチストリーム信号を受信するインタフェースモジュールである。
受信されたマルチストリーム信号は、ポインタ画像抽出部６０２に入力され、ポインタ画像のみが抽出される。抽出されたポインタ画像は、ポインタ画像合成部６０３に入力される。
The
The received multi-stream signal is input to the pointer
ポインタ画像合成部６０３は、ポインタ画像抽出部６０２から取得したポインタ画像と、ポインタ画像生成部２０７から取得したポインタ画像を合成する手段である。前者が、サブモニタ７００および８００で行われたポインティング操作に対応するポインタ画像であり、後者が、自モニタで行われたポインティング操作に対応するポインタ画像である。すなわち、ポインタ画像合成部６０３によって、全てのポインタが合成されたポインタ画像が生成される。
The pointer
合成されたポインタ画像は、画像合成部６０４に送信され、主画像とさらに合成されて表示用の画像となる。合成された画像は、信号処理部２０３で信号処理を施された後、画像表示部２０４に出力される。
The combined pointer image is transmitted to the
図９は、第三の実施形態に係るサブモニタ７００の構成ブロック図である。
第三の実施形態におけるサブモニタ７００は、点線で示したブロックを、第一の実施形態におけるサブモニタ３００に追加したものである。すなわち、第三の実施形態におけるサブモニタ７００は、ポインタ画像合成部７０１、画面タッチ検出部７０２、同期信号抽出部７０３、ポインタ画像生成部７０４の各ブロックを有するという点において、第一の実施形態に係るサブモニタ３００と相違する。
点線で示したブロック以外の構成は第一の実施形態と同様であるため、説明は省略する。
FIG. 9 is a configuration block diagram of a sub-monitor 700 according to the third embodiment.
The sub-monitor 700 in the third embodiment is obtained by adding the blocks indicated by dotted lines to the sub-monitor 300 in the first embodiment. That is, the sub-monitor 700 in the third embodiment is the same as that in the first embodiment in that each of the blocks includes a pointer
Since the configuration other than the blocks indicated by dotted lines is the same as that of the first embodiment, the description thereof is omitted.
サブモニタ７００が、操作者によってポインティングされた箇所を、自身の画像表示部３０８に描画する方法を説明する。
画面タッチ検出部７０２、同期信号抽出部７０３、ポインタ画像生成部７０４は、それぞれ、第一の実施形態における画面タッチ検出部２０５、同期信号抽出部２０６、ポインタ画像生成部２０７と同様の手段である。
A description will be given of a method in which the
The screen
ポインタ画像合成部７０１は、ポインタ画像生成部７０４が生成したポインタ画像と、ポインタ画像出力部３０４から取得したポインタ画像を合成する手段（本発明におけるポインタ合成手段）である。前者が、自モニタで行われたポインティング操作に対応するポインタ画像であり、後者が、他のモニタで行われたポインティング操作に対応するポインタ画像である。合成の結果、新たなポインタ画像（すなわち、全てのポインタが合成されたポインタ画像）が生成され、画像合成部３０６に出力される。
合成されたポインタ画像は、画像合成部３０６に送信され、主画像とさらに合成されて表示用の画像となる。合成された画像は、信号処理部３０７で信号処理を施された後、画像表示部３０８に出力される。
The pointer
The combined pointer image is transmitted to the
また、ストリーム合成部３０９が、ポインタ画像合成部７０１が生成したポインタ画像と、主画像出力部３０５から出力された主画像を受信し、マルチストリーム信号を生成してマルチストリーム送信部３１０に出力する。生成されたマルチストリーム信号は、出力端子３１１を介して後段モニタに送信される。
Also, the
このように、第三の実施形態では、各モニタ６００，７００，８００でポインティングを行うと、対応するポインタ画像が他のモニタに送信され、表示される。すなわち、参加者が行ったポインティングの位置が、全てのモニタで共有される。
例えば、図７のように、メインモニタ６００の画面に表示されているグラフチャートの下方部６５１を操作者がポインティングしたとする。このポインティングした箇所は、後段のサブモニタ７００および８００のグラフチャート下方部（符号６５２）に描画される。
Thus, in the third embodiment, when pointing is performed on each of the
For example, as shown in FIG. 7, it is assumed that the operator points at the
サブモニタ７００および８００の画面表示部がポインティングされた場合も同様である。
例えば、サブモニタ７００の画面に表示されているグラフチャートの上方部７５１を操作者がポインティングしたとする。このポインティングした箇所は、後段のサブモニタ７００およびメインモニタ６００のグラフチャート上方部（符号７５２）に描画される。
The same applies when the screen displays of the
For example, it is assumed that the operator points at the
なお、第二の実施形態で説明した方法を用いて、主画像とポインタ画像を重畳させるか否かを決定するようにしてもよい。
また、本実施形態では、モニタ同士の接続がループしているため、単純にポインタ画像を追加していくと、ポインタが無限に増えてしまう。よって、これを防ぐための処理を行うことが好ましい。例えば、マルチストリーム信号からポインタ画像を抽出する際に、自装置が生成したポインタ画像を抽出しないようにしてもよい。また、ポインタ画像を合成する際に、自装置が以前に生成したポインタ画像をリセットするようにしてもよい。
また、ポインタ画像に、生成元のモニタを識別するための情報を含ませてもよい。例えば、生成元のモニタに応じてポインタの色や形を変更してもよいし、ポインタごとにキャプション（モニタの識別子や利用者名など）を付すようにしてもよい。
Note that it may be determined whether to superimpose the main image and the pointer image using the method described in the second embodiment.
In this embodiment, since the connections between monitors are looped, if a pointer image is simply added, the pointer will increase infinitely. Therefore, it is preferable to perform a process for preventing this. For example, when the pointer image is extracted from the multi-stream signal, the pointer image generated by the own apparatus may not be extracted. Further, when the pointer image is synthesized, the pointer image previously generated by the own apparatus may be reset.
Further, the pointer image may include information for identifying the generation source monitor. For example, the color or shape of the pointer may be changed according to the monitor of the generation source, or a caption (monitor identifier, user name, etc.) may be attached to each pointer.
（第四の実施形態）
第四の実施形態は、ポインタ画像の描画方法を更に改良した実施形態である。
図１０（Ａ）〜（Ｅ）は、センサの配列を模式的に表した図である。各座標の値は、センシング結果を表す（以下、センサ値と称する）。０が非接触状態を表し、２５５が接触状態を表す。
本実施形態では、図１０に示したようなセンサ値の配列をそのままポインタ画像として送信し、ポインタ画像合成部が、当該ポインタ画像に基づいて、実際に画面に表示する画像を生成する。
(Fourth embodiment)
The fourth embodiment is an embodiment in which the pointer image drawing method is further improved.
10A to 10E are diagrams schematically showing the arrangement of sensors. Each coordinate value represents a sensing result (hereinafter referred to as a sensor value). 0 represents a non-contact state, and 255 represents a contact state.
In the present embodiment, the sensor value array as shown in FIG. 10 is transmitted as it is as a pointer image, and the pointer image composition unit generates an image to be actually displayed on the screen based on the pointer image.
まず、図１０（Ａ）において、点線で示したエリア９０１がタッチされたとする。この場合、該当エリアのセンサ値が２５５となる。また、タッチされていない他の領域のセンサ値は０となる。
図１０（Ｂ）は、１フレーム後を表した図である。ここで、タッチ位置がエリア９０２に移動したとすると、当該エリアのセンサ値に新たに２５５が設定される。一方、エリア９０１のセンサ値は、１を減じた値に更新される。結果として、図１０（Ａ）にて２５５が設定されていた、エリア９０１のセンサ値は２５４になる。
First, in FIG. 10A, it is assumed that an
FIG. 10B is a diagram showing one frame later. Here, if the touch position is moved to the
図１０（Ｃ）は、更に１フレーム後を表した図である。ここでは、タッチ位置がエリア９０３に移動し、当該エリアのセンサ値に２５５が設定されるものとする。他のエリアのセンサ値は、同様に１を減じた値に更新される。その結果、エリア９０１のセンサ値は２５３となり、エリア９０２のセンサ値は２５４となる。
FIG. 10C shows a further one frame. Here, it is assumed that the touch position moves to the
このような更新を繰り返すと、１２８フレーム後には、図１０（Ｃ）に示したような状態となり、２５５フレーム後には、図１０（Ｄ）に示したような状態となる。
このようなセンサ値を、そのままポインタを表す画像の明度（以下、単に画素値と称する）として用いると、タッチされた時点で明るく表示され、時間の経過とともに徐々に明度が下がるという効果を得ることができる。本例の場合、２５５フレーム後にポインタが消滅する。すなわち、１フレームが１５Ｈｚである場合、約１７秒かけてポインタが徐々に消える。
When such an update is repeated, the state shown in FIG. 10C is obtained after 128 frames, and the state shown in FIG. 10D is obtained after 255 frames.
When such a sensor value is used as it is as the brightness of an image representing a pointer as it is (hereinafter simply referred to as a pixel value), it is displayed bright when touched and the brightness gradually decreases with time. Can do. In this example, the pointer disappears after 255 frames. That is, when one frame is 15 Hz, the pointer gradually disappears over about 17 seconds.
なお、本例では、センサ値および画素値を２５６段階とし、センサ値が１減るごとに画素値を１段階ずつ減じたが、センサ値と画素値との関係を定義してもよい。例えば、図１１のようなテーブルを作成してもよい。
図１１のテーブルを用いた場合、センサ値が１９１〜２５５である場合において、画素値が最大（２５５）となる。また、センサ値が１減るごとに画素値が２ずつ減少し、センサ値が９６となった時点で画素値が０となる。つまり、６４フレーム（１５Ｈｚの場合約４秒）が経過するまでは画素値が最大となり、その後徐々に明るさが減じて、約６秒が経過した時点でポインタ表示が消滅する。
In this example, the sensor value and the pixel value have 256 levels, and each time the sensor value decreases by 1, the pixel value is decreased by 1 level. However, a relationship between the sensor value and the pixel value may be defined. For example, a table as shown in FIG. 11 may be created.
When the table of FIG. 11 is used, when the sensor value is 191 to 255, the pixel value is the maximum (255). Each time the sensor value decreases by 1, the pixel value decreases by 2. When the sensor value reaches 96, the pixel value becomes 0. That is, the pixel value becomes maximum until 64 frames (about 4 seconds at 15 Hz) elapse, and then the brightness gradually decreases, and the pointer display disappears when about 6 seconds elapse.
このように、第四の実施形態では、センサ値を時間の経過とともに減少させ、かつ、センサ値に対応した画素値でポインタを表示させることで、曳光表示を実現することができる。
例えば、図１２（Ａ）に示したように、グラフチャートの下方部９１１を指でポインティングした後、図１２（Ｂ）に示したように、指をスライドさせたとする。この場合、ポイントされた箇所の明度が所定時間の間、維持されるため、符号９１２で示したような曳光効果を得ることができる。
Thus, in the fourth embodiment, fluorescent display can be realized by reducing the sensor value with the passage of time and displaying the pointer with the pixel value corresponding to the sensor value.
For example, as shown in FIG. 12A, it is assumed that the finger is slid as shown in FIG. 12B after pointing the
なお、本実施形態では画素の明度を用いたが、曳光表示は明度を用いたものに限られない。例えば、色相、色の濃さ、輝度などを用いてもよい。また、カラー表示を行う場合、Ｒ，Ｇ，Ｂのうち、いずれか１色または２色のみを用いて曳光表示を行うようにしてもよい。これにより、ポインタの色を任意の色に設定することができる。また、色の設定は、
不図示のＣＰＵを用いてモニタ上で行うようにしてもよい。
また、曳光表示は、メインモニタ６００に限らず、メインモニタ２００、サブモニタ３００，４００，７００，８００上で行うようにしてもよい。
また、本実施形態ではポインタの明度がフェードアウトする例を挙げたが、ポインタが、所定時間の間表示を継続するものであれば、視覚的な効果は必須ではない。
In this embodiment, the brightness of the pixel is used, but the fluorescent display is not limited to the display using the brightness. For example, hue, color density, luminance, and the like may be used. Further, when performing color display, fluorescent display may be performed using only one or two of R, G, and B. Thereby, the color of the pointer can be set to an arbitrary color. The color setting is
You may make it perform on a monitor using CPU not shown.
The fluorescent display is not limited to the
In this embodiment, the brightness of the pointer fades out. However, if the pointer continues to be displayed for a predetermined time, a visual effect is not essential.
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む画像表示システムとして実施することもできる。また、画像表示装置単体として実施することもできる。また、画像表示システムが行う画像表示方法として実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
(Modification)
The description of each embodiment is an exemplification for explaining the present invention, and the present invention can be implemented with appropriate modifications or combinations without departing from the spirit of the invention. For example, the present invention can be implemented as an image display system including at least a part of the above processing. It can also be implemented as a single image display device. Moreover, it can also implement as an image display method which an image display system performs. The above processes and means can be freely combined and implemented as long as no technical contradiction occurs.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
２００・・・メインモニタ、２０２・・・主画像受信部、２０３・・・信号処理部、２０４・・・画像表示部、２０５・・・画面タッチ検出部、２０７・・・ポインタ画像生成部、２０８・・・ストリーム合成部、３００・・・サブモニタ、３０２・・・マルチストリーム受信部、３０６・・・画像合成部、３０８・・・画像表示部
200 ... main monitor, 202 ... main image receiving unit, 203 ... signal processing unit, 204 ... image display unit, 205 ... screen touch detection unit, 207 ... pointer image generation unit, 208: Stream composition unit, 300: Sub monitor, 302: Multi-stream reception unit, 306: Image composition unit, 308: Image display unit
Claims (12)
前記第一の画像表示装置は、
主画像を含む画像データを取得する第一の取得手段と、
前記主画像を表示する第一の表示手段と、
前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成手段と、
前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力手段と、を有し、
前記第二の画像表示装置は、
前記マルチストリーム信号を取得する第二の取得手段と、
前記マルチストリーム信号に含まれる前記主画像およびポインタ画像を合成した画像である合成画像を生成し表示する第二の表示手段と、
を有することを特徴とする、画像表示システム。 An image display system including a first image display device and a second image display device,
The first image display device includes:
First acquisition means for acquiring image data including a main image;
First display means for displaying the main image;
Generating means for generating a pointer image which is an image representing a position pointed to by a user on a screen on which the main image is displayed;
Output means for generating and outputting a multi-stream signal including the main image and the pointer image,
The second image display device includes:
Second acquisition means for acquiring the multi-stream signal;
Second display means for generating and displaying a composite image that is an image obtained by combining the main image and the pointer image included in the multi-stream signal;
An image display system comprising:
ことを特徴とする、請求項１に記載の画像表示システム。 2. The image display system according to claim 1, wherein the second display unit performs image synthesis such that the same position as the position pointed to by the user is pointed on the main image.
複数の前記第二の画像表示装置が直列に接続可能である
ことを特徴とする、請求項１または２に記載の画像表示システム。 The second image display device has second output means for outputting the acquired multi-stream,
The image display system according to claim 1, wherein a plurality of the second image display devices can be connected in series.
ことを特徴とする、請求項１から３のいずれか１項に記載の画像表示システム。 4. The image display system according to claim 1, wherein a frame rate of the pointer image is lower than a frame rate of the main image. 5.
ことを特徴とする、請求項１から４のいずれか１項に記載の画像表示システム。 The image display system according to claim 1, wherein a resolution of the pointer image is lower than a resolution of the main image.
前記第二の表示手段は、前記合成可否情報に基づいて、前記マルチストリーム信号に含まれる主画像およびポインタ画像を合成するか否かを決定する
ことを特徴とする、請求項１から５のいずれか１項に記載の画像表示システム。 The multi-stream signal further includes compositability information that is information indicating whether or not the main image and the pointer image are to be combined in the second image display device,
6. The display device according to claim 1, wherein the second display unit determines whether to synthesize a main image and a pointer image included in the multi-stream signal based on the synthesizeability information. The image display system according to claim 1.
前記マルチストリーム信号に含まれる主画像およびポインタ画像を合成するか否かを、ユーザの選択に応じて決定する手段をさらに有する
ことを特徴とする、請求項１から５のいずれか１項に記載の画像表示システム。 The second display means includes
6. The apparatus according to claim 1, further comprising: a unit that determines whether to synthesize a main image and a pointer image included in the multi-stream signal according to a user's selection. Image display system.
ことを特徴とする、請求項１から７のいずれか１項に記載の画像表示システム。 The said 2nd display means produces | generates the pointer which continues a display for a predetermined time based on the said pointer image, and synthesize | combines with the said main image, The any one of Claim 1 to 7 characterized by the above-mentioned. The image display system described in 1.
ことを特徴とする、請求項８に記載の画像表示システム。 The image display system according to claim 8, wherein the pointer fades out over a predetermined time.
前記合成画像が表示された画面上において第二のユーザが指し示した位置を表す画像である第二のポインタ画像を生成する第二の生成手段と、
前記マルチストリーム信号に含まれるポインタ画像に、前記第二のポインタ画像を合成するポインタ合成手段と、
前記主画像と前記合成されたポインタ画像をマルチストリーム信号に変換して出力する第二の出力手段と、をさらに有する、
請求項１から１０のいずれか１項に記載の画像表示システム。 The second image display device includes:
Second generation means for generating a second pointer image that is an image representing a position pointed to by a second user on the screen on which the composite image is displayed;
Pointer combining means for combining the second pointer image with the pointer image included in the multi-stream signal;
A second output means for converting the main image and the combined pointer image into a multi-stream signal and outputting the multi-stream signal;
The image display system according to claim 1.
前記主画像を表示する表示手段と、
前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成手段と、
前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力手段と、
を有することを特徴とする画像表示装置。 First acquisition means for acquiring image data including a main image;
Display means for displaying the main image;
Generating means for generating a pointer image which is an image representing a position pointed to by a user on a screen on which the main image is displayed;
Output means for generating and outputting a multi-stream signal including the main image and the pointer image;
An image display device comprising:
前記第一の画像表示装置が、
主画像を含む画像データを取得する第一の取得ステップと、
前記主画像を表示する第一の表示ステップと、
前記主画像が表示された画面上においてユーザが指し示した位置を表す画像であるポインタ画像を生成する生成ステップと、
前記主画像と前記ポインタ画像とを含むマルチストリーム信号を生成して出力する出力ステップと、を実行し、
前記第二の画像表示装置が、
前記マルチストリーム信号を取得する第二の取得ステップと、
前記マルチストリーム信号に含まれる前記主画像およびポインタ画像を合成した画像である合成画像を生成し表示する第二の表示ステップと、
を実行することを特徴とする、画像表示方法。
An image display method performed by a first image display device and a second image display device,
The first image display device is
A first acquisition step of acquiring image data including a main image;
A first display step for displaying the main image;
Generating a pointer image that is an image representing a position pointed to by a user on the screen on which the main image is displayed;
An output step of generating and outputting a multi-stream signal including the main image and the pointer image; and
The second image display device is
A second acquisition step of acquiring the multi-stream signal;
A second display step of generating and displaying a composite image that is an image obtained by combining the main image and the pointer image included in the multi-stream signal;
A method of displaying an image, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015244500A JP2017111251A (en) | 2015-12-15 | 2015-12-15 | Image display system and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015244500A JP2017111251A (en) | 2015-12-15 | 2015-12-15 | Image display system and image display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017111251A true JP2017111251A (en) | 2017-06-22 |
Family
ID=59080649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015244500A Pending JP2017111251A (en) | 2015-12-15 | 2015-12-15 | Image display system and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017111251A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021193306A1 (en) * | 2020-03-27 | 2021-09-30 | パナソニックＩｐマネジメント株式会社 | Display control device and display control system |
-
2015
- 2015-12-15 JP JP2015244500A patent/JP2017111251A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021193306A1 (en) * | 2020-03-27 | 2021-09-30 | パナソニックＩｐマネジメント株式会社 | Display control device and display control system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210082197A1 (en) | Method and device for compositing an image | |
| TWI462585B (en) | Pip display apparatus having a stereoscopic display function and pip display method | |
| CN106528025A (en) | Multi-screen image screen-projection method, terminal, server and system | |
| US8531599B2 (en) | Apparatus, method and system for frame rate conversion of partial image | |
| TWI391905B (en) | Multiple video signals coexisting system and method thereof | |
| US9118903B2 (en) | Device and method for 2D to 3D conversion | |
| CN104349124A (en) | Structure and method for expanding multi-screen display on video recorder | |
| GB2371161A (en) | Synchronising a plurality of independent video signal generators | |
| JP6051521B2 (en) | Image composition system | |
| EP3236423A1 (en) | Method and device for compositing an image | |
| US20160078664A1 (en) | Image synthesizing apparatus and method | |
| JP2014021989A (en) | Video display device, video display method and computer readable recording medium | |
| JP2017111251A (en) | Image display system and image display method | |
| US20110085029A1 (en) | Video display apparatus and video display method | |
| JP2010213254A (en) | Image processing method for three-dimensional display device with multilayer structure | |
| KR101506030B1 (en) | Multi-vision system and picture visualizing method the same | |
| US8289373B2 (en) | Image processing method for multi-depth-of-field 3D-display | |
| KR20140004490A (en) | Display apparatus and control method thereof | |
| JP2013005226A (en) | Video signal processing device, control method thereof and display device | |
| CN112882673A (en) | Collage display system and data processing method thereof | |
| JP2010217966A (en) | Image display system and image data processor | |
| CN108140357B (en) | Information processing apparatus | |
| JP2021076923A (en) | Image processing device, image processing method, and program | |
| JP2019020613A (en) | Display device, display control device, and display method | |
| JP2004085730A (en) | Video display apparatus and synchronization controlling program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |