JP2009230193A - Photographing device achieving function as pointing device, display device and information system - Google Patents
Photographing device achieving function as pointing device, display device and information system Download PDFInfo
- Publication number
- JP2009230193A JP2009230193A JP2008071299A JP2008071299A JP2009230193A JP 2009230193 A JP2009230193 A JP 2009230193A JP 2008071299 A JP2008071299 A JP 2008071299A JP 2008071299 A JP2008071299 A JP 2008071299A JP 2009230193 A JP2009230193 A JP 2009230193A
- Authority
- JP
- Japan
- Prior art keywords
- hot spot
- information
- video
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は撮影装置、表示装置、および情報システムに関し、特にポインティング装置としての機能を実現する撮影装置、表示装置、および情報システムに関する。 The present invention relates to an imaging device, a display device, and an information system, and more particularly to an imaging device, a display device, and an information system that realize a function as a pointing device.
近年の高度情報化社会において、情報を取得する際の操作を簡略化することが求められている。パーソナルコンピュータ等の情報処理装置をユーザが扱う際の操作性を向上させるマン・マシン・インターフェースとしてマウス（コンピュータマウス）やトラックボール、あるいはペンタブレットなどが知られている。これらのマン・マシン・インターフェースは、机の上等で使用することが前提となっている。また、他の機器においても、必ずしも十分なインターフェースが提供されている訳ではなかった。ユーザにとってより快適なインターフェースを提供するべく、多くのシステムが提案されているが、固定カメラを設置する必要がある等の制約があった。 In an advanced information society in recent years, it is required to simplify an operation when acquiring information. A mouse (computer mouse), a trackball, a pen tablet, and the like are known as man-machine interfaces that improve operability when a user handles an information processing apparatus such as a personal computer. These man-machine interfaces are assumed to be used on a desk or the like. Also, other devices do not necessarily provide a sufficient interface. Many systems have been proposed to provide a more comfortable interface for the user, but there are limitations such as the need to install a fixed camera.
特許文献１には、カメラ付き携帯電話をポインティング装置として用い、このポインティング装置により撮影された撮影画像を用いて、ポインティングする位置を決める情報を取得し、ポインタマークを表示する技術が開示されている。この技術では、コンピュータに接続されるデータプロジェクタを用いて投影スクリーンに投影される画面を、カメラ付き携帯電話（ポインティング装置）で撮影する。撮影して得られた撮影画像は、携帯電話の基地局、インターネットを経由して上記コンピュータに送られる。上記コンピュータは送られてきた撮影画像をもとにポインティング装置が投影スクリーン上のどこに向けられているかを判定し、その位置にカーソル等を表示する。
特許文献１に開示されるものでは、一人のユーザがポインティング装置を投影スクリーンに向けてコンピュータを操作することを前提としており、一つの画面に対して複数のユーザがポインティング装置を向けて操作することは難しい。
In what is disclosed in
本発明は上記の問題に鑑みなされたもので、一つの画面や表示物等に対して複数のユーザが操作可能なインターフェースを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an interface that can be operated by a plurality of users on a single screen, display object, or the like.
（１） 本発明は外部情報装置のディスプレイに表示された表示画面を撮影可能な撮影装置に適用される。そしてこの撮影装置が、
前記表示画面を撮影して映像を生成する撮影部と、
前記映像を前記撮影装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記外部情報装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記撮影装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記撮影装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記外部情報装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記撮影装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記撮影装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記外部情報装置に送信するユーザ選択ホットスポット情報送信部と
を有することにより、上述した課題を解決する。
（２） 本発明はまた、映像を表示可能な表示部を有する表示装置に適用される。この表示装置は、
前記表示部に表示される表示映像を撮影し、得られた映像をモニタ部に表示するとともに当該の映像を前記表示装置に送信する端末装置から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中で、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づき、前記端末装置の前記モニタ部に表示される前記映像中において前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の使用者が前記端末装置の前記モニタに表示される映像中において選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報が前記端末装置から送信されるのに応じて当該のユーザ選択ホットスポット情報を受信する、ユーザ選択ホットスポット情報受信部と
を有する。
（３） 本発明はさらに、映像を表示可能な表示部を有する表示装置と、端末装置とを有する情報システムに適用される。この情報システムにおいて、
前記端末装置は、
前記表示装置の前記表示部に表示される表示画面を撮影し、映像を生成する撮影部と、
前記映像を前記端末装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記表示装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記端末装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記表示装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記端末装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記表示装置に送信するユーザ選択ホットスポット情報送信部と
を有し、
前記表示装置は、
前記端末装置の前記映像送信部から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中において、前記ホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づいて前記ホットスポット特定情報を生成するホットスポット特定情報生成部と、
前記ホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の前記ユーザ選択ホットスポット情報送信部から送信される前記ユーザ選択ホットスポット情報を受信するユーザ選択ホットスポット情報受信部と
を有する。
(1) The present invention is applied to a photographing apparatus capable of photographing a display screen displayed on a display of an external information device. And this photographic device
A photographing unit for photographing the display screen and generating a video;
A display control unit for displaying the video on a monitor of the photographing apparatus;
A video transmission unit that transmits the video generated by the imaging unit to the external information device;
A selection operation unit that allows a user of the imaging apparatus to perform an operation of selecting a hot spot that is a part capable of accepting a selection operation by the user of the imaging apparatus in an image displayed on the monitor; ,
An information receiving unit that receives the hot spot specifying information in response to the hot spot specifying information specifying the portion that can be set as the hot spot in the video is transmitted from the external information device;
Based on the hot spot identification information received by the information receiving unit, a hot spot that enables the user of the imaging apparatus to recognize that the part is the hot spot can be set as the hot spot. A video composition processing unit for performing processing to superimpose and display video on the video displayed on the monitor;
A user-selected hot spot information transmitting unit that transmits user-selected hot spot information, which is information related to the hot spot selected by the user of the photographing apparatus by operating the selection operation unit, to the external information device; The above-described problems are solved.
(2) The present invention is also applied to a display device having a display unit capable of displaying an image. This display device
A video receiving unit that captures a display video displayed on the display unit, displays the obtained video on a monitor unit, and receives the video transmitted from a terminal device that transmits the video to the display device;
A hot spot detection unit that detects a display position of a hot spot that is a part capable of accepting a selection operation by a user of the terminal device in the video received from the terminal device by the video reception unit;
Hot spot specifying information for specifying a portion that can be set as the hot spot in the video displayed on the monitor unit of the terminal device based on the display position of the hot spot detected by the hot spot detecting unit. Hot spot identification information transmitting unit for transmitting to the terminal device and user-selected hot spot information which is information related to the hot spot selected in the video displayed on the monitor of the terminal device by the user of the terminal device And a user-selected hot spot information receiving unit that receives the user-selected hot spot information in response to transmission from the terminal device.
(3) The present invention is further applied to an information system having a display device having a display unit capable of displaying video and a terminal device. In this information system,
The terminal device
A photographing unit that photographs a display screen displayed on the display unit of the display device and generates a video;
A display control unit for displaying the video on a monitor of the terminal device;
A video transmission unit configured to transmit the video generated by photographing with the photographing unit to the display device;
A selection operation unit that allows the user of the terminal device to perform an operation of selecting a hot spot, which is a part that can accept a selection operation by the user of the terminal device, in the video displayed on the monitor; ,
An information receiving unit that receives the hot spot specifying information in response to the hot spot specifying information specifying the portion that can be set as the hot spot in the video is transmitted from the display device;
Based on the hot spot identification information received by the information receiving unit, a hot spot clarification that allows a user of the terminal device to recognize that the part is the hot spot is set as the hot spot. A video composition processing unit for performing processing to superimpose and display video on the video displayed on the monitor;
A user-selected hotspot information transmission unit that transmits user-selected hotspot information that is information related to a hotspot selected by a user of the terminal device by operating the selection operation unit;
The display device
A video receiver that receives the video transmitted from the video transmitter of the terminal device;
A hot spot detection unit for detecting a display position of the hot spot in the video received from the terminal device by the video reception unit;
A hot spot specifying information generating unit that generates the hot spot specifying information based on the display position of the hot spot detected by the hot spot detecting unit;
A hot spot identification information transmission unit that transmits the hot spot identification information to the terminal device, and a user selection hot spot that receives the user selection hot spot information transmitted from the user selection hot spot information transmission unit of the terminal device And an information receiving unit.
本発明によれば、撮影装置（端末装置）で撮影された映像中のホットスポットとなりうる部分が外部情報装置（表示装置）の側でパターン認識によって見いだされ、その結果としてホットスポット特定情報が外部情報装置（表示装置）から撮影装置（端末装置）に送信されて、そのホットスポット特定情報に基づいてホットスポット明示映像が撮影装置（端末装置）のモニタ上に表示される映像に重ね合わせて表示されるので、ユーザが撮影装置（端末装置）を向ける先を変えるのに応じて異なるホットスポットを明示することが可能となる。このとき、ユーザの操作に応じて外部情報装置（表示装置）の側にカーソルなどのポインタを表示する必要が無い。また、ユーザが撮影装置（端末装置）を向ける先を変えるのに応じて異なるホットスポットをモニタ上の映像に明示することが可能となり、ユーザが撮影装置（端末装置）の向きを変えるのに応じて異なるユーザ操作を受け付け可能となる。このとき、外部情報装置（表示装置）に表示される表示画面上には上述のようにカーソルなどのポインタを表示する必要が無いので、一つの表示画面を複数のユーザが持つ撮影装置（端末装置）によって撮影することも可能である。そのため、外部情報装置（表示装置）上で表示される一つの表示画面で複数のクライアントに対応可能なユーザインターフェースを実現可能であり、したがって複数のクライアントに対してほぼ同時にサービスを提供することも可能となる。 According to the present invention, a portion that can be a hot spot in an image captured by an imaging device (terminal device) is found by pattern recognition on the side of an external information device (display device), and as a result, hot spot specifying information is externally detected. A hotspot explicit image transmitted from the information device (display device) to the photographing device (terminal device) and displayed on the monitor of the photographing device (terminal device) based on the hotspot identification information is displayed. Therefore, different hot spots can be clearly indicated according to the user changing the destination of the photographing device (terminal device). At this time, it is not necessary to display a pointer such as a cursor on the external information device (display device) side in accordance with a user operation. Further, it becomes possible to clearly indicate different hot spots on the video on the monitor as the user changes the destination of the photographing device (terminal device), and as the user changes the orientation of the photographing device (terminal device). Different user operations can be accepted. At this time, since it is not necessary to display a pointer such as a cursor on the display screen displayed on the external information device (display device), an imaging device (terminal device) having a single display screen by a plurality of users. ) Is also possible. Therefore, it is possible to realize a user interface that can support a plurality of clients on a single display screen displayed on an external information device (display device), and therefore it is possible to provide services to a plurality of clients almost simultaneously. It becomes.
図１は、本発明が適用される情報システム１００の概略的構成を示すブロック図である。情報システム１００は、ポインティング装置あるいは端末装置としてのカメラ１１０と、表示装置１３０と、固定表示物１４０と、情報処理装置１５０とを有する。
FIG. 1 is a block diagram showing a schematic configuration of an
カメラ１１０は、操作部１１２と、コントローラ１１４と、撮影部１１６と、処理部１１８と、モニタ１２０と、画像データ記憶部１２２と、一時メモリ１２４と、通信部１２６とを有する。
The
表示装置１３０は、１または複数の表示部１３２を有する。図１においては、表示装置１３０が表示部１３２Ａおよび表示部１３２Ｂを有するものとして描かれているが、以下の説明中でこれら複数の表示部を区別する必要が無い場合には単に表示部１３２と称する。表示装置１３０はまた、個々の表示部１３２Ａ、１３２Ｂに対応して通信部１３４Ａ、１３４Ｂを有している。この表示装置１３０は、例えば複数の表示部１３２を配列して構成される大型表示装置とすることも可能である。
The
固定表示物１４０は、１または複数の固定表示部１４２を有する。図１においては、固定表示部１４２Ａ、固定表示部１４２Ｂを有する例が示されているが、以下の説明中でこれら複数の固定表示部を区別する必要が無い場合には単に固定表示部１４２と称する。これらの固定表示部１４２は一例として、ポスターや看板等を用いたものとすることが可能である。
The
情報処理装置１５０は、通信部１５２と、処理部１５４と、一時メモリ１５６と、画像データ記憶部１５８とを有する。本実施の形態において、情報処理装置１５０は、ポインティング装置（端末装置）としてのカメラ１１０から発せられる要求に対して種々のサービスを提供するサーバとしての機能を有する。
The
カメラ１１０について説明する。操作部１１２は、プッシュスイッチ、シーソー型のスイッチ、ダイヤル、タッチパネル、さらには十字キーなどと称される上下左右に揺動させるようにして押下可能なスイッチ等のうちのいずれか一つまたは複数を含むものとすることが可能である。コントローラ１１４はＣＰＵなどで構成され、カメラ１１０の動作を全体的に統括して制御する。撮影部１１６は、撮影レンズ、絞り、シャッタ、撮像素子等を含み、撮影レンズによって撮像素子の受光面上に形成された被写体の像から映像信号を生成する。
The
モニタ１２０は、ＴＦＴ液晶表示素子、ドライバ、バックライトユニット等で構成され、撮影部１１６で撮影されて得られた映像や各種設定メニュー等を表示することが可能に構成される。あるいは、モニタ１２０は有機ＥＬ等の表示素子とドライバ等で構成されるものであってもよい。
The
通信部１２６は、無線、あるいは有線の形態で情報処理装置１５０と通信するためのものである。通信部１２６は無線の形態で情報処理装置１５０と通信可能であることが望ましい。無線の形態での通信を可能とするものとしては、光、電波を用いる通信のいずれでもよい。光を用いる通信方法としては、一例としてＩｒＤＡの規格に準拠したものを利用可能である。また、電波を用いる通信方法としては、ブルートゥース（登録商標）、ＩＥＥＥ８０２．１１、無線ＵＳＢ等の規格に準拠したものを利用することが可能である。また、カメラ１１０がいわゆるカメラ付き携帯電話である場合には、移動体通信網、インターネットを経由して情報処理装置１５０との通信が可能である。
The
通信部１２６はまた、表示装置１３０が有する複数の表示部１３２のそれぞれに備えられる通信部１３４Ａ、１３４Ｂと通信可能に構成されていてもよい。なお、通信部１２６が通信部１３４Ａ、１３４Ｂと通信可能に構成される例については図２、図３を参照して後で説明する。
The
処理部１１８は、カメラ１１０が記録モード、再生モード、また、後述するポインティングモードに設定されるのに応じて種々の処理を行う。一時メモリ１２４はＳＤ−ＲＡＭ等のアクセス速度が比較的高速の記憶素子で構成されることが望ましく、撮影部１１６で生成された映像信号を処理部１１８が処理する際のワークエリア等として用いられる。画像データ記憶部１２２はフラッシュメモリ等で構成され、内蔵式のメモリであっても、着脱可能なカード式のメモリであってもよい。
The
カメラ１１０が記録モードに設定されている場合、処理部１１８は撮影部で生成された映像信号を処理し、モニタ１２０に映像（スルー画）を表示する。また、カメラ１１０のユーザが撮影操作をするのに応じて撮影部１１６から出力される映像信号を処理し、画像データを生成し、カラーバランス調整、階調補正、輪郭強調、ｊｐｅｇ圧縮等の処理をして画像データ記憶部１２２に記憶する。
When the
カメラ１１０が再生モードに設定されている場合、処理部１１８は画像データ記憶部１２２に記憶されている画像データを一時メモリ１２４上に読み出してモニタ１２０に映像を表示する処理を行う。
When the
カメラ１１０がポインティングモードに設定されている場合、コントローラ１１４による管理のもとで、通信部１２６を介して情報処理装置１５０、あるいは図２、図３を参照して後で説明するように表示装置１３０と通信を行い、撮影部１１６で得られた映像をモニタ１２０に表示するとともに情報処理装置１５０に映像（画像データ）を送信する。処理部１１８はまた、情報処理装置１５０との間で、後で詳しく説明する各種情報の授受を行う。
When the
情報処理装置１５０について説明する。通信部１５２は、カメラ１１０の通信部１２６との間で通信を行い、情報の授受を行う。この通信部１５２は、カメラ１１０が有する上述した通信部１２６と同様の構成とすることができる。カメラ１１０がカメラ付き携帯電話の場合、通信部１５２はインターネットに接続可能なものとすることができる。通信部１５２はさらに、後述する表示装置１３０とも通信可能に構成される。
The
処理部１５４は、ＣＰＵなどで構成される。画像データ記憶部１５８はハードディスクドライブなどで構成され、後述する表示装置１３０の表示部に映像を表示するための画像データや処理部１５４で実行される処理プログラム、オペレーティングシステム等が記憶されている。一時メモリ１５６は、ＳＤ−ＲＡＭ等で構成され、画像データ記憶部１５８から読み出したプログラムや画像データが一時的に記憶される。
The
表示装置１３０について説明する。表示部１３２は、ＣＲＴ、液晶表示パネル、プラズマディスプレイパネル、あるいはリアプロジェクション式のスクリーンなどを用いたもので構成することが可能である。この場合、複数の表示パネルを隣接して配列し、１枚の大型ディスプレイとして機能させることもできる。また、多数の高輝度ＬＥＤを二次元配列し、ビルの壁面等に設置されるような大型の表示装置で表示部１３２を構成してもよい。さらに、電光掲示板のようなものも表示部１３２として利用可能である。
The
通信部１３４Ａ、１３４Ｂは、複数の表示部１３２Ａ、１３２Ｂのそれぞれに対応して設けることが可能である。通信部１３４Ａ、１３４Ｂは、情報処理装置の通信部１５２と相互に通信可能に構成される。そして、通信部１５２から送信される映像を受信し、表示部１３２に表示する。
The
固定表示物１４０について説明する。１または複数の固定表示部１４２に表示される内容は、画像データ記憶部１５８に記憶されている。例えば、固定表示部１４２がレストランを紹介する宣伝広告ポスターである場合、その表示内容を後で説明するパターン認識処理によって認識するためのテンプレートデータが画像データ記憶部１５８に記憶されている。
The fixed
以下の説明を理解しやすくするために、以上に説明した情報システム１００の作用の概略について先に説明する。表示部１３２や固定表示物１４２には、一例としてレストランを紹介する内容などが表示される。表示部１３２や固定表示物１４２には、レストランの特色や提供される料理メニュー等を紹介する表示とともに、「カメラ付き携帯電話等でこの部分の画像を携帯電話のモニタに映し出し、決定ボタンを押すと地図と割引クーポンが得られます。」といった趣旨のことが記載されている。
In order to facilitate understanding of the following description, an outline of the operation of the
カメラ１１０のユーザは、カメラ１１０を表示部１３２上の例えば「ここで地図とクーポン券を取得」などと表示される部分に向けて撮影操作をすると、得られた映像がモニタ１２０に表示されるとともに、当該の映像が情報処理装置１５０に送信される。
When the user of the
情報処理装置１５０は、受信した映像に対していわゆるテンプレートマッチングのアルゴリズム等を用いたパターン認識の処理を行い、カメラ１１０で撮影されたのが表示部１３２中のどの部分であるかを探索する。そして、カメラ１１０で撮影された部分の映像中に上述した「ここで地図とクーポン券を取得」といった表示部分が含まれていることを認識する。このような、ユーザがカメラ１１０で撮影してモニタ１２０に表示される映像内において、ユーザによる選択操作を受け付け可能な部位を本明細書では「ホットスポット」と称する。
The
情報処理装置１５０は、上述したパターン認識処理の結果に基づき、カメラ１１０に表示される映像内のホットスポットの映像部分を囲う枠の映像を生成し、カメラ１１０に送信する。カメラ１１０の処理部１１８は、情報処理装置１５０から受信したホットスポットの映像部分を囲う枠の映像を、撮影部１１６で生成された映像に重ねてモニタ１２０に表示する。
Based on the result of the pattern recognition process described above, the
カメラ１１０のユーザは、モニタ１２０上に表示される枠の内部がホットスポットであることを認識し、操作部１１２を操作して例えば「決定」に類する操作をする。その操作内容がカメラ１１０から情報処理装置１５０に送信される。情報処理装置１５０は、カメラ１１０のユーザが撮影した映像および上記操作に応じて地図やクーポン券の映像、あるいはＵＲＬや音楽データ等をカメラ１１０に送信する。
The user of the
上記のパターン認識に関しては、解析する対象の映像がカメラ１１０から送信されるものであることから、高い処理能力を有するアルゴリズムを有するものが望ましい。すなわち、カメラ１１０が傾いた状態で撮影が行われていることもあるし、カメラ１１０と表示部１３２とが必ずしも正対した状態で撮影されているとは限らず、映像にいわゆるキーストン歪みを生じている場合もある。また、撮影倍率も一定ではない。さらに、ブレ、合焦不良、レンズの結像性能（収差）等の影響を受けて映像は劣化し、パターン認識処理に際しての認識率を高い状態に維持するのは困難となる可能性がある。
Regarding the above pattern recognition, since the video to be analyzed is transmitted from the
上述した問題に対処するためのパターン認識として、特開２００５−１７３６４９号公報に開示される技術等が利用可能である。上記公報に開示される技術は、テンプレートマッチング処理において、解析対象の画像がテンプレートと比較して大きさが異なっていたり、回転していたりして変形している場合に、その変形によって生じる検出性能の低下を防ぐためのものである。 As a pattern recognition for coping with the above-mentioned problem, a technique disclosed in Japanese Patent Laid-Open No. 2005-173649 can be used. In the technique disclosed in the above publication, in the template matching process, when the image to be analyzed is different in size compared to the template or rotated and deformed, the detection performance caused by the deformation is detected. This is to prevent a decrease in the temperature.
ここで、カメラ１１０の通信部１２６と表示装置１３０の通信部１３４との間で通信を可能とする例について、図１とともに図２、図３を参照して説明する。表示装置１３０が複数の表示部１３２を有するものである場合、加えて、これら複数の表示部１３２に表示される表示内容が表示部１３２ごとに異なるものである場合、情報処理装置１５０のパターン認識に係る処理負荷が増すことが予想される。例えば、街頭に設置されるような大型の表示装置では、表示装置全体を構成する表示部の数が非常に多くなり、これに伴って情報処理装置１５０の処理負荷も飛躍的に増す。また、情報処理装置が複数のクライアントからの要求に応えて処理をするサーバである場合、クライアント数の増加に伴って情報処理装置の処理負荷が増し、クライアントからのデータ要求に対して適切なタイミングでデータを送り出すことができない、といった不都合を生じることもある。
Here, an example of enabling communication between the
上述した点を改善するため、カメラ１１０（通信部１２６）、表示部１３２、通信部１３４を図２、図３に示されるような構成とすることが可能である。図２および図３は、表示装置１３０が複数の表示部１３２Ａ、１３２Ｂ、１３２Ｃ、…を有していて、個々の表示部１３２Ａ、１３２Ｂに対応して通信部１３４Ａ、１３４Ｂ、…が設けられる例を示している。
In order to improve the points described above, the camera 110 (communication unit 126), the
図２において、カメラ１１０は表示部１３２Ｂに向けられている。また、カメラ１１０の通信部１２６は無線の形態で通信部１３４のいずれかと通信可能に構成されるとともに、通信部１２６から送信される信号が指向性を有するように構成されている。このため、図２のようにカメラ１１０が表示部１３２Ｂに向けられている場合には、通信部１２６から送信される信号は表示部１３２Ｂの近傍に設置される通信部１３４Ｂでのみ受信可能となる。通信部１３４Ｂで受信された信号中の情報は情報処理装置１５０に送られる。ことのき、情報装置１５０に送られる情報は通信部１３４Ｂ（表示部１３２Ｂ）を経由したものであることを示す情報（本明細書中ではこの情報を「画面識別情報」と称する）も付加される。
In FIG. 2, the
情報処理装置１５０がパターン認識の処理をする際に、上記画面識別情報を参照することにより、複数の表示部１３２のうち、どの表示部に表示される映像に対応するテンプレートを用いてパターン認識をすれば良いのかが事前に判るので、パターン認識に係る処理に際してテンプレートの数を事前に絞り込むことができる。したがって、パターン認識に係る負荷を大幅に低減することが可能となる。
When the
通信部１３４が送信部として機能する状態を示している図３を参照して説明すると、通信部１３４もまた送信される信号が指向性を有するように構成されている。その結果、図３に例示されるように、表示部１３２Ｂと対向するように位置するカメラ１１０の通信部１２６でのみ通信部１３４Ｂから送信された信号を受信可能に構成されている。このような構成を有することにより、表示部１３２Ｂの表示画面を撮影して生成された映像を送信したカメラ１１０に対して上述した情報を確実に送信することが可能となる。
Referring to FIG. 3 showing a state where the communication unit 134 functions as a transmission unit, the communication unit 134 is also configured so that a signal to be transmitted has directivity. As a result, as illustrated in FIG. 3, the signal transmitted from the
上述した通信部１２６、１３４から送信される信号に指向性を与えるためには、様々な技術が利用可能である。例えば、両者の間で光通信が行われる場合には、信号を搬送するための光を出射する発光デバイスと、当該の発光デバイスから放射される光を集光するための集光レンズとを通信部１２６、１３４に備え、集光レンズを経て出射される光が所望のビームプロファイルとなるように集光レンズの焦点距離を定めれば良い。同様に、受光デバイスの受光面近傍にも集光レンズを備え、所望の入射角度で受光デバイスが光を受けることが可能となるように集光レンズの焦点距離を定めればよい。また、両者の間で電波による情報の送受信が行われる場合には、所望の指向性特性を有するチップアンテナ等を通信部１２６、１３４に備えればよい。
Various techniques can be used to provide directivity to the signals transmitted from the
図４は、図２および図３を参照して説明した技術を用いてカメラ１１０と情報処理装置１５０との間で各種の情報が授受される様子を概念的に示すブロック図である。図４において、ポインティングモードに設定されたカメラ１１０が表示部１３２Ａに向けられていて、表示部１３２Ａ中に表示される表示映像中でホットスポットとなりうる表示部分１３６Ａ、１３６Ｂを含む部分が撮影され、その映像がカメラ１１０のモニタ１２０に表示されているものとする。
FIG. 4 is a block diagram conceptually showing how various types of information are exchanged between the
カメラ１１０のユーザが操作部１１２を操作するのに応じて、カメラ１１０から情報処理装置１５０に、映像（スルー画）１８２と送信元特定情報１８３とが送信される。この送信元特定情報１８３は、カメラ１１０の個体を一意に特定可能な情報であり、例えばメーカコード、機種コードおよびシリアルナンバーを含むものとすることが可能である。あるいは、カメラ１１０にＩＰアドレスやＭＡＣアドレス等が割り振られている場合にはこのようなアドレス情報を用いることも可能である。
In response to the user of the
情報処理装置１５０は、受信した映像を処理し、映像中に含まれている、ホットスポットとなりうる部位をパターン認識によって検出する処理を行う。情報処理装置１５０はカメラ１１０に対し、ホットスポット特定情報１８０Ａまたは１８０Ｂ、画面識別情報１８０Ｄ、選択領域情報１８０Ｅを送信する。また、上記パターン認識による検出処理の結果、ホットスポットとなりうる表示部分に対応してカメラ１１０の表示部１２０に表示すべき説明文等に対応するテキスト情報がある場合には、そのテキスト情報１８０Ｃも送信する。
The
情報処理装置１５０からカメラ１１０に送信される上記の情報について説明する。ホットスポット特定情報とは、カメラ１１０のモニタ１２０に表示されている映像中でホットスポットとして設定可能な部分を特定するための情報である。このうち、ホットスポット特定情報１８０Ａは、モニタ１２０に表示される映像に重畳して表示することにより、カメラ１１０のユーザがモニタ１２０に表示される映像中のホットスポットを認識可能とする、ホットスポット明示映像である。このホットスポット明示映像としては、例えばモニタ１２０に表示される映像中のホットスポットを囲う枠の映像とすることが可能である。図４には、ホットスポット明示映像の例として符号Ｆ１が付された枠の画像が示されている。
The above information transmitted from the
ホットスポット特定情報１８０Ｂは、モニタ１２０に表示される映像中におけるホットスポットの位置と範囲を特定可能な、ホットスポット位置情報である。このホットスポット位置情報としては、モニタ１２０に表示される映像中でホットスポットとして設定可能な矩形領域の対角に位置する二つの頂点の座標（Ｘ１、Ｙ１）−（Ｘ２、Ｙ２）とすることが可能である。カメラ１１０がホットスポット特定情報としてホットスポット明示映像ではなく、ホットスポット位置情報を受信した場合には、このホットスポット位置情報をもとにカメラ１１０の処理部１１８がホットスポット明示映像を生成し、モニタ１２０に表示される映像に重畳して表示する。あるいは、上記のホットスポット位置情報で特定される領域の映像のコントラストを変化させたり、明暗を反転させた表示としたり、カラーバランスを変えたりする処理をするものであってもよい。
The hot
画面識別情報１８０Ｄは、複数ある表示部１３２のうち、映像はどの表示部を撮影したものであるかを示す情報である。選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。この選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中の座標値を含んでいてもよいし、上記ホットスポットとなる部分が、どのようなユーザ要求を受け付ける部分であるのかを示す情報を含んでいても良い。
The screen identification information 180 </ b> D is information indicating which display unit is imaged among the plurality of
情報処理装置１５０からカメラ１１０に上述した情報が送信されるのに応じて、カメラ１１０のモニタ１２０上に表示される映像にはホットスポット明示用の枠Ｆ１が重畳して表示される。また、情報処理装置１５０からカメラ１１０にテキスト情報１８０Ｃが送信された場合には、そのテキスト情報１８０Ｃに基づく文字表示Ｔ１が表示される。
In response to the transmission of the above-described information from the
モニタ１２０に表示されるホットスポットが目的の操作をするためのものであると認識したカメラ１１０のユーザは、操作部１１２を用いて、例えば「決定」等の意志決定をカメラ１１０に伝える操作（本明細書中ではこれを「ユーザ選択操作」と称する）を行う。このユーザ選択操作を受け、図４には示されていないが、カメラ１１０から情報処理装置１５０に、送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅに加えて、上記ユーザ選択操作に関連する情報が送信される。
The user of the
情報処理装置１５０は、これらの送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅ、そして上記ユーザ選択操作に関連する情報を受信する。すなわち、情報処理装置１５０が受信するのはカメラ１１０で撮影して得られた映像ではなく、画面識別情報１８０Ｄ、選択領域情報１８０Ｅである。これにより、情報処理装置１５０はパターン認識を再度行う必要が無い。なぜならば、ユーザ選択操作の対象となったホットスポットに対応する映像は、複数の表示部１３２のうちのどの表示部に表示されるものであるかを、情報処理装置１５０は画面識別情報１８０Ｄから判別可能であるからである。また、当該の表示部のどこに表示されるものか、あるいはどのようなコマンドに対応する表示であるのかを上記の選択領域情報１８０Ｅから情報処理装置１５０は判別可能であるからである。このようにして、パターン認識を繰り返し行う必要が無くなり、情報処理装置１５０の処理負荷を減じることが可能となる。
The
情報処理装置１５０は、上述したユーザ選択操作がなされたホットスポットに対応する情報をカメラ１１０に向けて送信する。カメラ１１０のユーザは、情報処理装置１５０から受信した情報に基づく文字情報、グラフィック情報等をモニタ１２０上で閲覧することが可能となる。あるいは、情報処理装置１５０から受信した情報が音声データである場合には、カメラ１１０に内蔵されるスピーカや接続されるイヤホン等を介してユーザは音楽や音声案内等を聴くことが可能となる。
The
図４に示す例では、表示部１３２Ａ中に表示される表示映像中でホットスポットとなりうる表示部分１３６Ａ、１３６Ｂを含む部分が撮影されている例が示されている。そしてホットスポットであることを明示する枠Ｆ１は、表示部分１３６Ａに対応する映像部分に重畳してモニタ１２０上に表示されている。このように枠Ｆ１を表示するためには、情報処理装置１５０でパターン認識の処理をする際に、抽出された表示部分１３６Ａ、１３６Ｂのうち、モニタ１２０に表示される映像中のより中心側に表示されるものをユーザ選択操作の対象となるホットスポットであるとするアルゴリズムを適用することで実現可能である。この場合、ユーザはカメラ１１０を表示部１３２に向けてモニタ１２０に表示される映像を観察し、所望の操作対象に枠Ｆ１が重畳して表示されるようになるようにカメラ１１０のアングル（構図）を調節すればよい。そして、所望の操作対象に枠Ｆ１が重畳して表示されたら操作部１１２によって選択操作を行うことができる。
In the example shown in FIG. 4, an example is shown in which a portion including
図５は、図４に示すのとは異なる方式でユーザが選択操作可能とする例を示す図である。図５において図４に示すものと同様の構成要素には同じ符号を付してその説明を省略し、図４との差異を中心に説明をする。 FIG. 5 is a diagram illustrating an example in which the user can perform a selection operation using a method different from that illustrated in FIG. 4. In FIG. 5, the same components as those shown in FIG. 4 are denoted by the same reference numerals, description thereof is omitted, and description will be made focusing on differences from FIG.
カメラ１１０のユーザが操作部１１２を操作するのに応じて、カメラ１１０から情報処理装置１５０に映像（スルー画）１８２と送信元特定情報１８３とが送信される。
In response to the user of the
情報処理装置１５０が、受信した映像を処理し、ホットスポットとなりうる表示部分１３６Ａ、１３６Ｂが含まれていることをパターン認識によって検出したものとする。情報処理装置１５０はカメラ１１０に対し、ホットスポット特定情報１８０Ａまたは１８０Ｂ、画面識別情報１８０Ｄ、選択領域情報１８０Ｅを送信する。また、図４に示すものと同様、ホットスポットとなりうる表示部分に対応してカメラ１１０の表示部１２０に表示すべき説明文に対応するテキスト情報がある場合には、そのテキスト情報１８０Ｃも送信する。
It is assumed that the
図５に例示されるように、上記ホットスポット特定情報１８０Ａは、表示部分１３６Ａ、１３６Ｂのそれぞれを囲う枠の映像が含まれたものとすることができる。また、ホットスポット特定情報１８０Ｂには、表示部分１３６Ａ、１３６Ｂがモニタ１２０上で表示される領域を囲う二つの矩形領域それぞれの対角に位置する二つの頂点の座標（Ｘ１、Ｙ１）−（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）−（Ｘ４、Ｙ４）とすることができる。
As illustrated in FIG. 5, the hot
画面識別情報１８０Ｄは、複数ある表示部１３２のうち、映像はどの表示部を撮影したものであるかを示す情報である。また、選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。図４に示されるものと異なるのは、選択領域情報１８０Ｅ中には表示部分１３６Ａ、１３６Ｂに対応する情報が含まれる点である。
The screen identification information 180 </ b> D is information indicating which display unit is imaged among the plurality of
情報処理装置１５０からカメラ１１０に上述した情報が送信されるのに応じて、カメラ１１０のモニタ１２０上に表示される映像にはホットスポット明示用の枠Ｆ１、Ｆ２が重畳して表示される。また、情報処理装置１５０からカメラ１１０にテキスト情報１８０Ｃが送信された場合には、そのテキスト情報１８０Ｃに基づく文字表示Ｔ１が表示される。
As the information described above is transmitted from the
ユーザは、カメラ１１０の操作部１１２（モニタ１２０の表面に設けられるタッチパネルも含む）を操作し、二つのホットスポットのうちのいずれかを選択する操作を行う。図５に示す例では、「データ取得」のホットスポットが選択操作されたものとする。そのような操作に応じて、モニタ１２０に表示される枠Ｆ１、Ｆ２の線のパターンや色が変化し、現状でどちらのホットスポットが選択されている状態にあるのかをユーザが認識可能に構成されている。なお、枠Ｆ１、Ｆ２の線のパターンや色が変化するのに代えて、枠Ｆ１、Ｆ２内のホットスポット部分の映像のコントラストを両者の間で異なるものとしたり、選択されたホットスポットを明暗反転表示、あるいは通常表示と明暗反転表示とを交互に繰り返してブリンク表示させたりするように構成されていてもよい。
The user operates the
モニタ１２０に表示される複数のホットスポットのうち、所望のホットスポットが選択されていることを認識したカメラ１１０のユーザは、操作部１１２を用いて、例えば「決定」等の意志決定をカメラ１１０に伝える操作（ユーザ選択操作）をする。このユーザ選択操作を受け、図５には示されていないが、カメラ１１０から情報処理装置１５０に、送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅ、上記ユーザ選択操作に関連する情報が送信される。このうち、選択領域情報１８０Ｅ中には、モニタ１２０に表示される複数のホットスポットのうち、ユーザが選択したホットスポットに対応する表示部分１３６Ａまたは１３６Ｂは、表示部１３２のどこに表示されるものか、あるいはどのようなコマンドに対応する表示であるのかを示す情報が含まれる。
The user of the
情報処理装置１５０は、これらの送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅに加えて、上記ユーザ選択操作に関連する情報を受信する。情報処理装置１５０は、上述したユーザ選択操作がなされたホットスポットに対応する情報をカメラ１１０に向けて送信する。カメラ１１０のユーザは、情報処理装置１５０から受信した情報に基づく文字情報、グラフィック情報等をモニタ１２０上で閲覧することが可能となる。
The
以上に説明したカメラ１１０、情報処理装置１５０による処理について図６から図８に示されるフローチャートを参照して説明する。図６から図８には、カメラ１１０と情報処理装置１５０との間で実行される以上に説明した処理を行うための手順が示されている。そして、図６、図７の左側にはカメラ１１０のコントローラ１１４により実行される情報取得操作の処理手順が示され、右側には情報処理装置１５０の処理部１５４で実行されるパターン認識の処理手順が示されている。また、図８には情報処理装置１５０の処理部１５４で実行されるユーザ選択操作受付の処理手順が示されている。図６から図８において、カメラ１１０と情報処理装置１５０との間で情報（図６から図８中では「情報１」から「情報６」として示されている）が授受される様子が太い破線で示されている。
Processing performed by the
まず図６を参照してカメラ１１０のコントローラ１１４により実行される処理手順を説明する。Ｓ６００においてコントローラ１１４は、撮影して得られた映像（スルー画）を送信元特定情報とともに情報処理装置１５０に送信する処理を行う。このときカメラ１１０のユーザは、カメラ１１０を図１に示す表示部１３２Ａ、１３２Ｂ、…、あるいは固定表示部１４２Ａ、１４２Ｂ、…のいずれかに向けているものとする。図６においては、映像および送信元特定情報が「情報１」として示されている。この情報１は、図４、図５において符号１８２、１８３を付した情報に対応する。
First, the processing procedure executed by the
Ｓ６０２においてコントローラ１１４は、情報処理装置１５０からホットスポット特定情報を取得する処理を行う。図６、図７において、ホットスポット特定情報は「情報２」として示されている。この情報２は、図４、図５において符号１８０Ａまたは１８０Ｂを付した情報に対応する。
In step S <b> 602, the
Ｓ６０４においてコントローラ１１４は、テキスト情報を取得する処理を行う。図６、図７において、テキスト情報は「情報３」として示されている。この情報３は、図４、図５において符号１８０Ｃを付した情報に対応する。
In step S604, the
Ｓ６０６においてコントローラ１１４は、情報処理装置１５０から画面識別情報および選択領域情報を取得する処理を行う。図６、図７において、画面識別情報および選択領域情報は「情報４」として示される。この情報４は、図４、図５において符号１８０Ｄ、１８０Ｅを付した情報に対応する。
In step S <b> 606, the
Ｓ６０８においてコントローラ１１４は、Ｓ６０２で取得したホットスポット特定情報中にホットスポット明示映像が含まれるか、すなわちホットスポット情報が図４、図５に示されるホットスポット情報１８０Ａであるか否かを判定する。この判定が肯定されるとＳ６１０に進み、コントローラ１１４は、モニタ１２０に表示される映像にホットスポット明示映像を重ね合わせる処理をし、モニタ１２０に表示するように、処理部１１８にコマンドを発する。この処理により、モニタ１２０には図４に例示されるように枠Ｆ１の映像がスルー画像に重ね合わせて表示される。
In S608, the
一方、Ｓ６０８での判定が否定された場合の分岐先であるＳ６２６においてコントローラ１１４は、Ｓ６０２で取得したホットスポット特定情報、すなわち図４に示されるホットスポット特定情報１８０Ｂで指定される領域を囲う枠の映像を生成し、モニタ１２０に表示される映像に重ね合わせる処理をし、モニタ１２０に表示するように、処理部１１８にコマンドを発する。
On the other hand, in S626, which is a branch destination when the determination in S608 is negative, the
Ｓ６１０またはＳ６２６の処理に続き、Ｓ６１２（図７）の処理が実行される。Ｓ６１２においてコントローラ１１４は、Ｓ６０４でのテキスト情報を取得する処理でテキスト情報を取得したか否かを判定する。Ｓ６１２での判定が肯定された場合にはＳ６１４に進み、コントローラ１１４はモニタ１２０の表示される映像内のテキスト表示領域にテキスト情報を表示する。このテキスト情報が図４、図５において符号Ｔ１が示されるものに対応する。
Following the process of S610 or S626, the process of S612 (FIG. 7) is executed. In S612, the
Ｓ６１２での判定が否定された場合にはＳ６１４の処理をスキップしてＳ６１６に進む。Ｓ６１６においてコントローラ１１４は、ユーザ操作を受け付ける処理を行う。続くＳ６１８においてコントローラ１１４は、ユーザによる選択操作の有無を判定し、選択操作ありと判定した場合にはＳ６２０に進む一方、否定されるとＳ６２４に進む。
If the determination in S612 is negative, the process of S614 is skipped and the process proceeds to S616. In S616, the
Ｓ６２０においてコントローラ１１４は、送信元特定情報、画面識別情報、選択領域情報、そしてＳ６１６で受け付けたユーザ選択操作に関連する情報を情報処理装置１５０に送信する。図７、図８においては、これらの情報が「情報５」として示されている。
In S620, the
Ｓ６２２においてコントローラ１１４は、情報処理装置１５０から情報を取得する。この情報とは、画像データ、文字データ、音声データ等、ユーザが欲している情報である。図７、図８においては、この情報が「情報６」として示されている。
In S <b> 622, the
Ｓ６２４においてコントローラ６２４は、ユーザがポインティングモードでの情報取得操作を終了することを望んでいるか否かを判定し、この判定が肯定されるとユーザによる情報取得操作を受け付ける処理を終了する。一方、Ｓ６２４における判定が否定されるとＳ６００に戻り、ユーザによる情報取得操作を受け付ける処理を継続する。 In S624, the controller 624 determines whether or not the user desires to end the information acquisition operation in the pointing mode. If the determination is affirmative, the process of accepting the information acquisition operation by the user is ended. On the other hand, if the determination in S624 is negative, the process returns to S600, and the process of accepting the information acquisition operation by the user is continued.
続いて情報処理装置１５０の処理部１５４により実行される処理手順を説明する。Ｓ６５０（図６）において処理部１５４は、カメラ１１０から映像（スルー画）を送信元特定情報とともに受信する処理を行う。Ｓ６５２において処理部１５４は、１フレーム分の映像をカメラ１１０から受信し終えたか否かを判定し、この判定が肯定されるとＳ６５４に進む。一方、Ｓ６５２の判定が否定されると、Ｓ６５０に戻り、引き続き映像受信処理を継続する。
Next, a processing procedure executed by the
Ｓ６５４において処理部１５４は、パターン認識処理を行い、Ｓ６５０、Ｓ６５２で受信した映像中においてテンプレートと合致するパターンを探索する。このとき、図２を参照して説明したように、表示装置１３０が有する複数の表示部１３２のそれぞれに対応して通信部１３４が設けられていて、カメラ１１０からの映像がそれらの通信部１３４を介して受信される場合には、処理部１５４は画面識別情報を通信部１３４から受けることができる。この場合には、画像識別情報をもとにマッチング処理すべきテンプレートを事前に絞り込むことができるので、パターン認識に係る処理負荷を低減することが可能となる。反対に、複数の表示部１３２のそれぞれに対応して通信部１３４を有していない場合、処理部１５４はマッチする可能性のあるテンプレートすべてを用いてパターン認識処理を行うことになる。その場合、マッチするテンプレートが確定すると、どの表示部の表示画面がカメラ１１０で撮影されているのかを知ることができ、画面識別情報を処理部１５４が確定可能となる。
In S654, the
Ｓ６５６で処理部１５４は、Ｓ６５４で行われたパターンマッチング処理の結果、マッチするパターンがあったか否かの判定を行う。この判定が肯定されるとＳ６５８に進む一方、否定されるとＳ６７０に進む。
In S656, the
Ｓ６５８において処理部１５４は、選択領域を確定する。続くＳ６６０において処理部１５４は、Ｓ６５８で確定された選択領域がホットスポットとなりうるものであるか否かを判定する。そしてＳ６６０での判定が肯定されるとＳ６６２に進む一方、否定されるとＳ６６４に進む。
In S658, the
Ｓ６６２（図７）において処理部１５４は、図４、図５を参照して説明したホットスポット特定情報１８０Ａまたは１８０Ｂをカメラ１１０に送信する。このホットスポット特定情報、すなわち図６、図７で情報２として示される情報はカメラ１１０の処理部１１８によるＳ６０２での処理が行われてカメラ１１０の側で受信される。
In S662 (FIG. 7), the
Ｓ６６４において処理部１５４は、Ｓ６５８で確定した選択領域に対応するテキスト情報が有るか否かを判定し、肯定されるとＳ６６６に進む一方、否定されるとＳ６６８に進む。Ｓ６６６において処理部１５４は、図４、図５を参照して説明したテキスト情報１８０Ｃをカメラ１１０に送信する。このテキスト情報１８０Ｃが図６、図７において情報３として示されている。このテキスト情報１８０Ｃは、カメラ１１０の処理部１１８によるＳ６０４での処理が行われてカメラ１１０の側で受信される。
In S664, the
Ｓ６６８において処理部１５４は、図４、図５を参照して説明した画面識別情報１８０Ｄ、選択領域情報１８０Ｅをカメラ１１０に送信する。この画面識別情報１８０Ｄ、選択領域情報１８０Ｅが図６、図７において情報４として示されている。この画面識別情報１８０Ｄ、選択領域情報１８０Ｅは、カメラ１１０の処理部１１８によるＳ６０６での処理が行われてカメラ１１０の側で受信される。
In S668, the
Ｓ６７０において処理部１５４は、情報処理装置１５０をシャットダウンするコマンドの有無を判定し、この判定が肯定されると情報処理装置１５０をシャットダウンする処理を行ってパターン認識処理を終える。一方、Ｓ６７０での判定が否定されると、処理部１５４はＳ６５０に戻ってパターン認識処理を継続する。
In S670, the
続いて、情報処理装置１５０の処理部１５４によって上述したＳ６５０からＳ６７０の処理と並行して実行されるユーザ選択操作受付処理について図８を参照して説明する。
Next, a user selection operation reception process executed in parallel with the processes from S650 to S670 described above by the
Ｓ８００において処理部１５４は、送信元特定情報、画面識別情報、選択領域情報、そしてユーザ選択操作に関連した情報をカメラ１１０から受信する処理を行う。これらの情報は図８において情報５として示されており、カメラ１１０の処理部１１８によるＳ６２０での処理が行われてカメラ１１０から送信される。
In S800, the
Ｓ８０２において処理部１５４は上記の送信元特定情報、画面識別情報、選択領域情報、ユーザ選択操作に関連した情報をカメラ１１０から受信し終えたか否かを判定し、この判定が否定されるとＳ８００に戻り、引き続き上記情報の受信処理を継続する。
In S802, the
Ｓ８０２での判定が肯定されると処理部１５４はＳ８０４に進み、Ｓ８００で受信した情報をもとにユーザが選択した処理内容（ユーザが希望する処理内容）を特定する。Ｓ８０６において処理部１５４は、ユーザが選択した処理内容に対応する情報を取得する処理を行う。ユーザが選択した処理内容に対応する情報は、画像データ記憶部１５８、あるいは一時メモリ１５６に記憶されていてもよいし、あるいは情報処理装置１５０にＬＡＮ、ＷＡＮを介して接続される別の情報処理装置内に記憶されるものであってもよい。
If the determination in S802 is affirmed, the
Ｓ８０８において処理部１５４は、Ｓ８０６で取得した、ユーザが選択した処理内容に対応する情報をカメラ１１０に送信する。この、ユーザが選択した処理内容に対応する情報が図８においては情報６として示されており、カメラ１１０の処理部１１８によるＳ６２２での処理が行われてカメラ１１０側で受信される。
In step S <b> 808, the
Ｓ８１０において処理部１５４は、情報処理装置１５０をシャットダウンするコマンドの有無を判定し、この判定が肯定されると情報処理装置１５０をシャットダウンする処理を行ってユーザ選択操作受付処理を終える。一方、Ｓ８１０での判定が否定されると、処理部１５４はＳ８００に戻ってユーザ選択操作受付処理を継続する。
In S810, the
以上で説明した情報システム１００は、例えば街頭やビル内、駅構内等の広場に設置される表示装置として実施することが可能である。その際に、複数の表示部１３２が互いに隣接配置されて大型の表示装置を形成するものであってもよいし、複数の表示部１３２が街頭や広場内の複数の箇所に分散配置されるものであってもよい。そして、複数の表示部１３２に加えてポスター、看板等の固定表示部１４２を設けることも可能であるし、複数の表示部１３２は設けずに固定表示部１４２のみを設けることも可能である。カメラ１１０は、無線通信機能付きのデジタルカメラ、カメラ付き携帯電話、無線通信機能およびカメラを有する携帯情報端末（ＰＤＡ）や可搬型のコンピュータ等とすることが可能である。
The
複数の表示部１３２のそれぞれに表示される表示内容は、情報処理装置１５０によって適宜の時間間隔をおいて変更（更新）することが可能であり、カメラ１１０のユーザ、すなわちクライアントに対して昼夜等の状況に応じて様々な情報をタイムリーに提供することが可能となる。固定表示部１４２については、それがポスターである場合、貼り替えられたときに貼り替え後のポスターの表示内容に対応するテンプレート情報を画像データ記憶部１５８に記憶する必要はあるが、表示に際して電力を必要とせず、屋外に設置する際に耐候性をあまり考慮する必要が無い。
The display content displayed on each of the plurality of
固定表示部１４２の近傍には、図２、図３を参照して説明したような通信部１３４と同様のものを備えることが可能である。これに代えて、情報処理装置１５０が有する通信部１５２が無線通信機能を有していて、そのカバーエリア内に固定表示部１４２が設置されていてもよい。複数の表示部１３２についても、それぞれが図２、図３を参照して説明したような通信部１３４を有していてもよいし、情報処理装置１５０が有する通信部１５２が無線通信機能を有していて、そのカバーエリア内に複数の表示部１３２が配置されるものであってもよい。
In the vicinity of the fixed display unit 142, the same unit as the communication unit 134 described with reference to FIGS. 2 and 3 can be provided. Instead, the
図９には、図１に示される情報システム１００の規模を縮小した情報システム１００Ａのブロック図が示されている。図１に示される情報システム１００は、上述したように街頭や広場等に設置することが可能なものであったが、図９に示される情報システム１００Ａは、例えば家庭内や宿泊施設内の各客室に設置されるものとして実施可能である。図９に示す情報システム１００Ａにおいて、図１に示す情報システム１００が有するのと同様の構成要素には図１に示される各構成要素に付された符号を同じ符号を付し、その説明を省略する。
FIG. 9 shows a block diagram of an
情報システム１００Ａは、カメラ１１０と表示装置付き情報処理装置１５０Ａとを有する。カメラ１１０は、無線通信機能付きのデジタルカメラ、カメラ付き携帯電話、カメラ付きの携帯情報端末（ＰＤＡ）や可搬型のコンピュータ等、あるいは撮影機能、映像表示機能を有するリモコンとすることも可能である。
The
表示装置付き情報処理装置１５０Ａ（以下、単に「情報処理装置１５０Ａ」と称する）は、一または複数の表示部（図９では表示部１３２Ａ、１３２Ｂとして示されている）を有している点が図１の情報システム１００と異なる点である。このような情報処理装置１５０Ａとしては、テレビジョン受像器やビデオモニタとして実施可能である。
情報システム１００Ａが家庭内に設置されるものでは、情報処理装置１５０Ａ自体の動作モードや受信チャンネルを変える操作、あるいは情報処理装置１５０Ａが別の映像配信サーバに接続されていて、ユーザが閲覧を希望するコンテンツを選択する操作を受け付け可能とすることが可能である。また、情報システム１００Ａが宿泊施設内の客室に設置されるものでは、館内案内、ルームサービス、フロントからのメッセージ開封等の操作を受け付けることが可能となる。また、情報処理装置１５０Ａが別の映像配信サーバに接続されていて、ユーザが閲覧を希望するコンテンツを選択する操作を受け付け可能とすることも可能である。
When the
上記の情報システム１００Ａにおいては、カメラ１１０、すなわちクライアントは複数であってもよいが、通常は１台であることが想定される。そのような場合、カメラ１１０のユーザによるホットスポット選択操作に応じて表示部１３２に表示される内容を情報処理装置１５０Ａの処理部１５４が随時更新して、階層化されたメニュー中で選択された内容に応じてさらに詳しい選択肢を表示する、といったことも可能となる。近年のテレビジョン受像器やビデオモニタの多機能化に伴って、リモコンに配置される押しボタンスイッチの数が増し、ユーザにとって便利な機能が追加されている反面、操作が煩雑でわかりにくくなることがある。これに対し、本発明によれば、ユーザは表示部１３２に表示される映像を見ながら必要とする機能に対応するホットスポットを選択する操作をすることが可能となり、より分かりやすいユーザインターフェースを提供することが可能となる。
In the
次に、図１に示される情報システムを、さらに広域のエリアで運用される実施形態について、図１０、図１１を参照して説明する。図１０は、比較的大きな規模を有する情報システム１００Ｂの構成を概略的に示すブロック図である。この情報システム１００Ｂは、例えばテーマパーク等の遊園地、動物園、あるいは水族館等の、比較的大規模なレジャー施設等に設置することが可能である。
Next, an embodiment in which the information system shown in FIG. 1 is operated in a wider area will be described with reference to FIGS. FIG. 10 is a block diagram schematically showing the configuration of an
図１０に例示される情報システム１００Ｂは、ホストサーバ３００と、複数に分割されたエリア（図１０ではエリア１、エリア２、エリア３が示される）のそれぞれに配設された情報処理装置としてのサーバ１５０−１、１５０−２、１５０−３と、中継部２１０−１、２１０−２、２１０−３とを有し、さらにこれらのエリア内に存在する端末装置としてのカメラ１１０を１台または複数台有する。図１０では１台のカメラ１１０がエリア１内にあるものとして描かれている。
An
サーバ１５０−１、１５０−２、１５０−３のそれぞれには１または複数の表示部が接続される。図１０においては、サーバ１５０−１には表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃが接続され、サーバ１５０−２には表示部１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃが接続され、そしてサーバ１５０−３には表示部１３２−３Ａ、１３２−３Ｂ、１３２−３Ｃが接続される例が示されている。 One or more display units are connected to each of the servers 150-1, 150-2, and 150-3. In FIG. 10, display units 132-1A, 132-1B, and 132-1C are connected to the server 150-1, and display units 132-2A, 132-2B, and 132-2C are connected to the server 150-2. In addition, an example in which display units 132-3A, 132-3B, and 132-3C are connected to the server 150-3 is shown.
なお、サーバ１５０−１、１５０−２、１５０−３については、必ずしもそれぞれのエリア内に配設される必要はなく、これらのサーバ１５０−１、１５０−２、１５０−３のそれぞれと表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）とが遠隔接続可能に構成される場合には、これらのサーバ１５０−１、１５０−２、１５０−３の設置場所は任意の場所とすることが可能で、ホストサーバ３００の設置場所と同じ場所に設置されるものであってもよい。あるいは、ホストサーバ３００の設置場所とは別の場所に配置されるものであってもよく、その場合、分散配置されるものであっても集中配置されるものであってもよい。また、サーバ１５０−１、１５０−２、１５０−３が表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）と接続されていなくても、これらのサーバ１５０−１、１５０−２、１５０−３が表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）に表示されている表示内容を把握できるように構成されていれば、サーバ１５０−１、１５０−２、１５０−３の設置場所は任意の場所とすることが可能である。
Note that the servers 150-1, 150-2, and 150-3 are not necessarily arranged in the respective areas, and each of the servers 150-1, 150-2, and 150-3 and a display unit. (132-1A, 132-1B,... 132-3C) are configured to be remotely connectable, the installation locations of these servers 150-1, 150-2, 150-3 are arbitrary locations. The
中継部２１０−１には無線通信部２００−１が、中継部２１０−２には無線通信部２００−２が、そして中継部２１０−３には無線通信部２００−３が、それぞれ接続される。これらの無線通信部２００−１、２００−２、２００−３はそれぞれ、図１０で概念的に示したエリア１、エリア２、エリア３の中に存在するカメラ１１０と通信できるように無線通信のカバーエリアが設定されている。すなわち、カメラ１１０がエリア１内に存在する間は、カメラ１１０は無線通信部２００−１と無線通信を行うことが可能に構成されている。
The relay unit 210-1 is connected to the radio communication unit 200-1, the relay unit 210-2 is connected to the radio communication unit 200-2, and the relay unit 210-3 is connected to the radio communication unit 200-3. . These wireless communication units 200-1, 200-2, and 200-3 are capable of wireless communication so that they can communicate with the
サーバ１５０−１と中継部２１０−１とホストサーバ３００とは、ＬＡＮ、ＷＡＮ、あるいはインターネットを介して接続される。また、サーバ１５０−２と中継部２１０−２とホストサーバ３００、そしてサーバ１５０−３と中継部２１０−３とホストサーバ３００についても同様に接続される。図１０において、両端に矢印を付した太線が上述した構成要素間の接続状態を示している。
Server 150-1, relay unit 210-1, and
また、図１０中において一端に矢印を付した破線が示されており、それらの破線に丸囲いの数字が付されているが、これらは情報の伝達方向および伝達順序を示している。番号の若い数字から昇順に情報が伝達される。本明細書中および図１１のフローチャート中では丸囲いの数字に代えて括弧付きの数字で表す。 Further, in FIG. 10, a broken line with an arrow attached to one end is shown, and these broken lines are circled, and these indicate the transmission direction and transmission order of information. Information is transmitted in ascending order from the lowest number. In the present specification and the flowchart of FIG. 11, numbers in parentheses are used instead of circled numbers.
カメラ１１０は、当該のカメラ１１０が存在するエリア内の表示部（例：エリア１においては表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃ）を管轄するサーバ（例：エリア１においてはサーバ１５０−１）と、図１から図９を参照して説明した方法と基本的に同様の手順に従って情報の授受を行う。このときにホストサーバ３００は、振り分けサーバとして機能する。また、カメラ１１０とサーバ１５０−１、１５０−２、または１５０−３とは、中継部２１０−１、２１０−２、または２１０−３を経由して情報の授受を行う。
The
すなわち、先に図１から図９を参照して説明した情報システム中のカメラ１１０と情報処理装置１５０とが、図１０におけるカメラ１１０とサーバ１５０−１、１５０−２、１５０−３のうちのいずれかとに対応する。サーバ１５０−１、１５０−２、１５０−３のいずれかとカメラ１１０が通信を開始するにあたって、カメラ１１０はそれ自体がどこに存在しているのかを認識しておらず、したがってどのサーバと交信をすればよいのかを把握できない。そこでカメラ１１０は後述する情報を一度ホストサーバ３００に送信する。ホストサーバ３００は受信した情報をもとにカメラ１１０の存在するエリアを判定し、カメラ１１０がどのサーバと交信すればよいのかを特定する。そしてホストサーバ３００は、カメラ１１０がどのサーバと交信すればよいのかを特定する通信先情報をカメラ１１０に送信する。以後、この通信先情報で特定されるサーバ１５０−１、１５０−２、または１５０−３とカメラ１１０とは、中継部２１０−１、２１０−２、または２１０−３を介して情報の授受を行う。
That is, the
以下では、図１０に例示されるように、エリア１内に存在するカメラ１１０と、同じくエリア１内に存在する表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃを管轄するサーバ１５０−１との間で情報の授受が行われる場合を例にとり、図１１のフローチャートを参照して説明をする。以下、ホストサーバ３００とサーバ１５０−１との区別が明確になるように、サーバ１５０−１をエリア管轄サーバと称する。
In the following, as illustrated in FIG. 10, the
図１１は、情報システム１００Ｂ内においてカメラ１１０とエリア管轄サーバ１５０−１とが情報の授受を行う際の、カメラ１１０、中継部２１０−１、ホストサーバ３００、そしてエリア管轄サーバ１５０−１で実行される処理手順を示す概略フローチャートである。カメラ１１０とエリア管轄サーバ１５０−１との間で行われる送受信の手順、送受信される映像、送信元特定情報、ホットスポット特定情報などについては図１から図９を参照して説明したのと同様であるのでその説明を省略する。そしてホストサーバ３００および中継部２１０−１の動作と、情報の送信元、送信先、送信順序等を中心に説明をする。図１１中、カメラ１１０、エリア管轄サーバ１５０−１で実行される処理手順のそれぞれに対しては、図６から図８に示されるフローチャート中において対応する処理ステップのステップ番号が付されている。
FIG. 11 is executed by the
最初に、カメラ１１０ではＳ６００の処理が実行され、表示部１３２−１Ａの表示画面を撮影して得られた映像と送信元情報とを中継部２１０−１に向けて送信される。これが情報（１）である。送信元情報は、先に説明したように、カメラ１１０のメーカ、機種、シリアル番号等を含むものやＩＰアドレス、ＭＡＣアドレス等とすることができる。それに加えて、送信元情報がＧＰＳ情報、すなわちカメラ１１０に内蔵するＧＰＳレシーバが受信したＧＰＳ衛星からの電波に基づいて特定されるカメラ１１０の位置情報を送信元情報中に含むことが望ましい。あるいは、中継部２１０−１が、カメラ１１０から受信した送信元情報中に、カメラ１１０はエリア１に存在することを特定する情報を付加するようにしてもよい。上記いずれかの情報は、ホストサーバ３００がカメラ１１０の位置するエリアを特定する際に参照される。以下では、送信元情報中にＧＰＳ情報を含むものとして説明をする。
First, the process of S600 is executed in the
中継部２１０−１はＳ１１００において、カメラ１１０から受信した映像および送信元情報に中継部特定情報を付加してホストサーバ３００に送信する。これが情報（２）である。中継部特定情報は、ホストサーバ３００が後で情報を返送する際の返送先を特定するために参照される情報である。
In step S <b> 1100, the relay unit 210-1 adds the relay unit specifying information to the video and transmission source information received from the
ホストサーバ３００はＳ１１５０において、受信した上記情報（２）中の送信元特定情報内のＧＰＳ情報と中継部特定情報とを参照して、カメラ１１０にサービスを提供すべきエリア管轄サーバを特定する。続くＳ１１５２においてホストサーバ３００は、映像および送信元特定情報を、中継部２１０−１に送信する。これが情報（３）である。
In step S <b> 1150, the
中継部２１０−１はＳ１１０２において映像および送信元特定情報をエリア管轄サーバ１５０−１に転送する。これが情報（４）である。この情報（４）を受け、エリア管轄サーバ１５０は図６を参照して説明したＳ６５０からＳ６６０のパターン認識に係る一連の処理を実行する。続いてエリア管轄サーバ１５０は、図７を参照して説明したＳ６６２からＳ６６８の、ホットスポット特定情報、テキスト情報、画面識別情報、選択領域情報等を送信する一連の処理を実行し、これらの情報が中継部２１０−１に送信される。これが情報（５）である。
In step S1102, the relay unit 210-1 transfers the video and the transmission source identification information to the area management server 150-1. This is information (4). Receiving this information (4), the
中継部２１０−１はＳ１１０４において、ホットスポット特定情報、テキスト情報、画面識別情報、選択領域情報等をカメラ１１０に向けて転送する。これが情報（６）である。カメラ１１０では、図６、図７を参照して説明したＳ６０２からＳ６１４の、スルー画像にホットスポット明示映像を重ね合わせて表示する一連の処理が行われる。カメラ１１０内では引き続いて、図７を参照して説明したＳ６１６からＳ６２０の、ユーザ操作を受け付けて送信元特定情報、画面識別情報、選択領域情報、受け付けたユーザ選択操作に関連する情報を送信する一連の処理が行われ、これらの情報が中継部２１０−１に送信される。これが情報（７）である。
In step S <b> 1104, the relay unit 210-1 transfers hot spot identification information, text information, screen identification information, selection area information, and the like toward the
中継部２１０−１はＳ１１０６において、カメラ１１０から受信した上記情報（７）に対応する情報をエリア管轄サーバ１５０−１に転送する。これが情報（８）である。この情報をエリア管轄サーバ１５０−１は受信し、図８を参照して説明したＳ８００からＳ８０６の、ユーザ選択操作を受け付けてユーザが選択した処理内容に対応する情報を取得する一連の処理がエリア管轄サーバ１５０内で実行される。続いてエリア管轄サーバ１５０内では、図８を参照して説明したＳ８０８の、ユーザが選択した処理内容に対応する情報をカメラ１１０に送信する処理が行われ、この情報がエリア管轄サーバ１５０−１から中継部２１０−１に送信される。これが情報（９）である。
In step S1106, the relay unit 210-1 transfers information corresponding to the information (7) received from the
中継部２１０−１はＳ１１０８において、受信した上記の情報をカメラ１１０に転送する。これが情報（１０）である。カメラ１１０内では、図７を参照して説明したＳ６２２における情報を取得する処理が実行される。
In step S <b> 1108, the relay unit 210-1 transfers the received information to the
図１０において、カメラ１１０を持ったユーザがエリア１からエリア２に移動したものとする。そしてユーザが、表示部１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃのいずれかに、ポインティングモードに設定されたカメラ１１０を向けてカメラ１１０を操作したとする。このようなユーザ操作に応じて、カメラ１１０からの情報は無線通信部２００−２を経由して中継部２１０−２に送信される。後は上述した手順と同様の手順を経て、カメラ１１０とエリア管轄サーバ１５０−２との通信セッションが開始される。
In FIG. 10, it is assumed that the user who has the
以上のように、カメラ１１０のユーザが所在位置をサーバ等に知らせる特別の操作をすることなく、カメラ１１０と、カメラ１１０が存在するエリアを管轄するサーバ１５０−１との間の通信セッションを自動的に開始することができる。サーバ１５０−１は、上述したパターン認識の処理に際して、同エリア内に存在する表示部に表示される映像に対応するテンプレートのみを用いれば良いので、特に図１０に示されるような、多数の表示部を有する情報システム１００Ｂにおいて、パターン認識に係る処理負荷を大幅に低減することが可能となる。
As described above, a communication session between the
図１０においては、各エリアのそれぞれに無線通信部２００−１、２００−２、２００−３および中継部２１０−１、２１０−２、２１０−３を有する例について説明したが、カメラ１１０がカメラ付き携帯電話や広域無線インターネット網に接続可能なカメラ付きの機器である場合には、これらの無線通信部２００−１、２００−２、２００−３および中継部２１０−１、２１０−２、２１０−３を無くしてもよい。この場合、カメラ１１０は図１０に示されるエリア１、エリア２、エリア３とは直接関連しないカバーエリアを有する基地局と交信可能である。そのような場合には、携帯電話の番号やＩＰアドレスを用いて、カメラ１１０とエリア管轄サーバ１５０−１、１５０−２、１５０−３のそれぞれとは基地局を介して通信を行うことが可能となる。また、ホストサーバ３００はカメラ１１０から送信された映像を処理してパターン認識し、カメラ１１０がどの表示部を撮影して得た映像なのかを決定することができる。したがって、ホストサーバ３００はカメラ１１０がどのエリア内に存在するのかを把握することができ、上述した通信先情報をカメラ１１０に送信することができる。以降、カメラ１１０は、この通信先情報で特定されるエリア管轄サーバと情報の授受を行うことが可能となる。
In FIG. 10, although the example which has the radio | wireless communication part 200-1,200-2,200-3 and the relay part 210-1,210-2,210-3 in each of each area was demonstrated, the
本発明は、外部機器との通信機能を有するデジタルスチルカメラ、デジタルムービーカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末（ＰＤＡ）、あるいは撮影機能、映像表示機能を有するリモートコントローラ等に適用可能である。 The present invention can be applied to a digital still camera, a digital movie camera, a camera-equipped mobile phone, a camera-equipped personal digital assistant (PDA) having a communication function with an external device, or a remote controller having a photographing function and a video display function. is there.
１００、１００Ａ、１００Ｂ … 情報システム
１１０ … カメラ（端末装置）
１１２ … 操作部
１１４ … コントローラ
１１６ … 撮影部
１１８、１５４ … 処理部
１２０ … モニタ
１２２、１５８ … 画像データ記憶部
１２４、１５６ … 一時メモリ
１２６、１３４Ａ、１３４Ｂ、１５２ … 通信部
１３０ … 表示装置
１３２Ａ、１３２Ｂ、１３２Ｃ … 表示部
１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃ … 表示部
１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃ … 表示部
１３２−３Ａ、１３２−３Ｂ、１３２−３Ｃ … 表示部
１３６Ａ、１３６Ｂ … 表示部分
１４０ … 固定表示物
１４２Ａ、１４２Ｂ … 固定表示部
１５０ … 情報処理装置
１５０−１、１５０−２、１５０−３ … エリア管轄サーバ（情報処理装置）
１８０Ａ、１８０Ｂ … ホットスポット特定情報
１８０Ｃ … テキスト情報
１８０Ｄ … 画面識別情報
１８０Ｅ … 選択領域情報
１８２ … 映像
１８３ … 送信元特定情報
２００−１、２００−２、２００−３ … 無線通信部
２１０−１、２１０−２、２１０−３ … 中継部
３００ … ホストサーバ
Ｆ１、Ｆ２ … 枠
Ｔ１ … テキスト情報
100, 100A, 100B ...
DESCRIPTION OF
180A, 180B ... Hot
Claims (16)
前記表示画面を撮影して映像を生成する撮影部と、
前記映像を前記撮影装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記外部情報装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記撮影装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記撮影装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記外部情報装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記撮影装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記撮影装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記外部情報装置に送信するユーザ選択ホットスポット情報送信部と
を有することを特徴とする撮影装置。 A photographing device capable of photographing a display screen displayed on a display of an external information device, wherein the photographing unit shoots the display screen and generates a video;
A display control unit for displaying the video on a monitor of the photographing apparatus;
A video transmission unit that transmits the video generated by the imaging unit to the external information device;
A selection operation unit that allows a user of the imaging apparatus to perform an operation of selecting a hot spot that is a part capable of accepting a selection operation by the user of the imaging apparatus in an image displayed on the monitor; ,
An information receiving unit that receives the hot spot specifying information in response to the hot spot specifying information specifying the portion that can be set as the hot spot in the video is transmitted from the external information device;
Based on the hot spot identification information received by the information receiving unit, a hot spot that enables the user of the imaging apparatus to recognize that the part is the hot spot can be set as the hot spot. A video composition processing unit for performing processing to superimpose and display video on the video displayed on the monitor;
A user-selected hot spot information transmission unit that transmits user-selected hot spot information, which is information related to a hot spot selected by a user of the photographing apparatus by operating the selection operation unit, to the external information device. An imaging device as a feature.
前記映像合成部は、前記ホットスポット特定情報から得られる前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１に記載の撮影装置。 In the hot spot identification information transmitted from the external information device, the hot spot explicit video is included,
The video synthesizing unit is configured to perform a process of superimposing and displaying the hot spot explicit video obtained from the hot spot specifying information on the video displayed on the monitor. The imaging device described in 1.
前記映像合成部は、前記ホットスポット特定情報から得られる前記ホットスポット位置情報に基づいて前記ホットスポット明示映像を生成し、前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１に記載の撮影装置。 The hot spot specifying information transmitted from the external information device includes hot spot position information that can specify the position and range of the hot spot in the video displayed on the monitor,
The video synthesizing unit generates the hot spot explicit video based on the hot spot position information obtained from the hot spot specifying information, and performs a process of displaying the hot spot explicit video superimposed on the video displayed on the monitor. The photographing apparatus according to claim 1, wherein the photographing apparatus is configured.
前記情報受信部は、前記撮影装置識別情報で特定される当該の撮影装置宛に前記外部情報装置から送信される前記ホットスポット特定情報を受信し、
前記ユーザ選択ホットスポット情報とともに前記撮影装置識別情報を前記外部情報装置に送信するように構成される
ことを特徴とする請求項１から３のいずれか一つに記載の撮影装置。 The video transmission unit transmits, to the external information device, imaging device identification information that can identify the imaging device together with the video generated by the imaging unit,
The information receiving unit receives the hot spot identification information transmitted from the external information device to the imaging device specified by the imaging device identification information;
The imaging device according to claim 1, wherein the imaging device identification information is transmitted to the external information device together with the user-selected hot spot information.
前記映像合成処理部は、前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする際に、前記合成映像内の所定位置に前記テキスト情報に基づく文字情報を表示する処理もするように構成されることを特徴とする請求項１から４のいずれか一つに記載の撮影装置。 Text information is further transmitted together with the hot spot identification information transmitted from the external information device,
The video composition processing unit displays character information based on the text information at a predetermined position in the composite video when the hot spot explicit video is displayed on the video displayed on the monitor. The photographing apparatus according to claim 1, wherein the photographing apparatus is configured to also perform processing.
前記表示部に表示される表示映像を撮影し、得られた映像をモニタ部に表示するとともに当該の映像を前記表示装置に送信する端末装置から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中で、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づき、前記端末装置の前記モニタ部に表示される前記映像中において前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の使用者が前記端末装置の前記モニタに表示される映像中において選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報が前記端末装置から送信されるのに応じて当該のユーザ選択ホットスポット情報を受信する、ユーザ選択ホットスポット情報受信部と
を有することを特徴とする表示装置。 A display device having a display unit capable of displaying video,
A video receiving unit that captures a display video displayed on the display unit, displays the obtained video on a monitor unit, and receives the video transmitted from a terminal device that transmits the video to the display device;
A hot spot detection unit that detects a display position of a hot spot that is a part capable of accepting a selection operation by a user of the terminal device in the video received from the terminal device by the video reception unit;
Hot spot specifying information for specifying a portion that can be set as the hot spot in the video displayed on the monitor unit of the terminal device based on the display position of the hot spot detected by the hot spot detecting unit. Hot spot identification information transmitting unit for transmitting to the terminal device and user-selected hot spot information which is information related to the hot spot selected in the video displayed on the monitor of the terminal device by the user of the terminal device And a user-selected hotspot information receiving unit that receives the user-selected hotspot information in response to being transmitted from the terminal device.
前記ホットスポット明示映像は、前記端末装置の前記モニタ部に表示される映像中で、前記ホットスポットとして設定可能な部分に当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識できるように、前記モニタに表示される前記映像に重畳させて表示するためのものであることを特徴とする請求項６に記載の表示装置。 The hot spot specifying information transmitted from the hot spot specifying information transmitting unit includes a hot spot explicit video,
The user of the terminal device recognizes that the hot spot explicit video is a portion that can be set as the hot spot in the video displayed on the monitor unit of the terminal device. The display device according to claim 6, wherein the display device is for superimposing and displaying the video displayed on the monitor.
ホットスポット位置情報が含まれ、
前記ホットスポット位置情報は、前記モニタに表示されている映像中における前記ホットスポットの位置と範囲を特定可能な情報であり、また、前記端末装置の前記モニタ部に表示される映像中で、前記ホットスポットとして設定可能な部分に当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識できるように、前記モニタに表示される前記映像に重畳させて表示するためのホットスポット明示映像を生成するためのものであることを特徴とする請求項６に記載の表示装置。 In the hot spot identification information transmitted from the hot spot identification information transmission unit,
Hotspot location information is included,
The hot spot position information is information that can specify the position and range of the hot spot in the video displayed on the monitor, and in the video displayed on the monitor unit of the terminal device, Explicit hot spot for superimposing and displaying on the video displayed on the monitor so that the user of the terminal device can recognize that the part is a hot spot in a part that can be set as a hot spot The display device according to claim 6, wherein the display device is for generating an image.
前記複数の表示部に対応して個々の表示部の近傍に設けられる複数の映像受信部および複数のホットスポット特定情報送信部と
をさらに有することを特徴とする請求項６から８のいずれか一つに記載の表示装置。 A plurality of display units capable of displaying the same video or displaying different videos independently of each other;
9. The apparatus according to claim 6, further comprising a plurality of video reception units and a plurality of hot spot specifying information transmission units provided in the vicinity of the individual display units corresponding to the plurality of display units. The display device described in one.
前記端末装置から前記複数の映像受信部のいずれかに前記映像を送信するためのものとして前記端末装置に設けられる映像送信部から送信される前記無線信号の指向性が高められていて、前記端末装置と、前記端末装置が向けられた表示部の近傍に設けられた映像受信部との間でのみ前記映像の送受信が可能となるように構成されることを特徴とする請求項１０に記載の表示装置。 The plurality of video reception units and the plurality of hot spot identification information transmission units are each configured to transmit and receive the video and hot spot identification information to and from the terminal device using radio signals,
Directivity of the radio signal transmitted from a video transmission unit provided in the terminal device for transmitting the video from the terminal device to any of the plurality of video reception units is enhanced, and the terminal The apparatus according to claim 10, wherein the video can be transmitted and received only between a device and a video receiving unit provided in the vicinity of a display unit to which the terminal device is directed. Display device.
前記複数の表示部識別情報送信部から送信される前記無線信号の指向性が高められていて、前記端末装置と、前記端末装置が向けられたディスプレイの近傍に設けられた表示部識別情報送信部との間でのみ前記識別情報の送受信が可能となるように構成されることを特徴とする請求項９から１１のいずれか一項に記載の表示装置。 A plurality of display unit identification information transmitting units provided in the vicinity of each display unit corresponding to the plurality of display units, each specifying a display unit provided in the vicinity of the display unit identification information transmitting unit A display unit identification information transmitter configured to transmit possible identification information to the terminal device using a radio signal;
Directivity of the radio signal transmitted from the plurality of display unit identification information transmission units is enhanced, and the terminal unit and a display unit identification information transmission unit provided in the vicinity of the display to which the terminal device is directed The display device according to claim 9, wherein the display device is configured to be able to transmit and receive the identification information only between the display device and the device.
前記端末装置は、
前記表示装置の前記表示部に表示される表示画面を撮影し、映像を生成する撮影部と、
前記映像を前記端末装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記表示装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記端末装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記表示装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記端末装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記表示装置に送信するユーザ選択ホットスポット情報送信部と
を有し、
前記表示装置は、
前記端末装置の前記映像送信部から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中において、前記ホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づいて前記ホットスポット特定情報を生成するホットスポット特定情報生成部と、
前記ホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の前記ユーザ選択ホットスポット情報送信部から送信される前記ユーザ選択ホットスポット情報を受信するユーザ選択ホットスポット情報受信部と
を有する
ことを特徴とする情報システム。 An information system having a display device having a display unit capable of displaying video and a terminal device,
The terminal device
A photographing unit that photographs a display screen displayed on the display unit of the display device and generates a video;
A display control unit for displaying the video on a monitor of the terminal device;
A video transmission unit configured to transmit the video generated by photographing with the photographing unit to the display device;
A selection operation unit that allows the user of the terminal device to perform an operation of selecting a hot spot, which is a part that can accept a selection operation by the user of the terminal device, in the video displayed on the monitor; ,
An information receiving unit that receives the hot spot specifying information in response to the hot spot specifying information specifying the portion that can be set as the hot spot in the video is transmitted from the display device;
Based on the hot spot identification information received by the information receiving unit, a hot spot clarification that allows a user of the terminal device to recognize that the part is the hot spot is set as the hot spot. A video composition processing unit for performing processing to superimpose and display video on the video displayed on the monitor;
A user-selected hotspot information transmission unit that transmits user-selected hotspot information that is information related to a hotspot selected by a user of the terminal device by operating the selection operation unit;
The display device
A video receiver that receives the video transmitted from the video transmitter of the terminal device;
A hot spot detection unit for detecting a display position of the hot spot in the video received from the terminal device by the video reception unit;
A hot spot specifying information generating unit that generates the hot spot specifying information based on the display position of the hot spot detected by the hot spot detecting unit;
A hot spot identification information transmission unit that transmits the hot spot identification information to the terminal device, and a user selection hot spot that receives the user selection hot spot information transmitted from the user selection hot spot information transmission unit of the terminal device An information system comprising an information receiving unit.
前記端末装置の前記映像合成処理部は、前記ホットスポット特定情報から得られる前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１３に記載の情報システム。 The hot spot identification information transmitted from the display device includes the hot spot explicit video,
The video composition processing unit of the terminal device is configured to perform a process of superimposing and displaying the hot spot explicit video obtained from the hot spot specifying information on a video displayed on the monitor. The information system according to claim 13.
前記端末装置の前記映像合成処理部は、前記ホットスポット特定情報から得られる前記ホットスポット位置情報に基づいて前記ホットスポット明示映像を生成し、前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１３に記載の情報システム。 The hot spot specifying information transmitted from the display device includes hot spot position information that can specify the position and range of the hot spot in the video displayed on the monitor,
The video composition processing unit of the terminal device generates the hot spot explicit video based on the hot spot position information obtained from the hot spot specifying information, and displays the hot spot explicit video superimposed on the video displayed on the monitor. The information system of claim 13, wherein the information system is configured to perform processing.
前記表示装置の前記映像受信部は、前記端末装置の前記映像送信部から送信される前記映像および前記撮影装置識別情報を受信し、
前記表示装置の前記ホットスポット特定情報送信部は、前記ホットスポット特定情報を前記撮影装置識別情報で特定される端末装置に送信し、
前記端末装置の前記情報受信部は、前記撮影装置識別情報で特定される端末装置宛に前記表示装置の前記ホットスポット特定情報送信部から送信される前記ホットスポット特定情報を受信し、
前記端末装置の前記表示位置情報送信部は、前記端末装置の前記表示位置検出部で検出した前記表示位置に関連する情報とともに前記撮影装置識別情報を前記表示装置に送信するように構成される
ことを特徴とする請求項１３から１５のいずれか一つに記載の情報システム。 The video transmission unit of the terminal device transmits imaging device identification information that can identify the imaging device together with the video generated by the imaging unit to the display device,
The video reception unit of the display device receives the video and the imaging device identification information transmitted from the video transmission unit of the terminal device,
The hot spot specifying information transmitting unit of the display device transmits the hot spot specifying information to a terminal device specified by the photographing device identification information,
The information receiving unit of the terminal device receives the hot spot specifying information transmitted from the hot spot specifying information transmitting unit of the display device to the terminal device specified by the imaging device identification information,
The display position information transmission unit of the terminal device is configured to transmit the imaging device identification information to the display device together with information related to the display position detected by the display position detection unit of the terminal device. The information system according to any one of claims 13 to 15, characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008071299A JP2009230193A (en) | 2008-03-19 | 2008-03-19 | Photographing device achieving function as pointing device, display device and information system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008071299A JP2009230193A (en) | 2008-03-19 | 2008-03-19 | Photographing device achieving function as pointing device, display device and information system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009230193A true JP2009230193A (en) | 2009-10-08 |
Family
ID=41245559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008071299A Pending JP2009230193A (en) | 2008-03-19 | 2008-03-19 | Photographing device achieving function as pointing device, display device and information system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009230193A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013037411A (en) * | 2011-08-04 | 2013-02-21 | Casio Comput Co Ltd | Image processing device, image processing method, and program |
| KR101240166B1 (en) | 2012-09-05 | 2013-03-18 | 유환아이텍(주) | Combination-separating camera type visual presenter based on wusb, and method for real-time transmitting image using combination-separating camera type visual presenter based on wusb |
| JP2014026675A (en) * | 2012-06-15 | 2014-02-06 | Sharp Corp | Information distribution system |
| US9584854B2 (en) | 2012-06-15 | 2017-02-28 | Sharp Kabushiki Kaisha | Information distribution method, computer program, information distribution apparatus and mobile communication device |
| CN115361495A (en) * | 2022-03-31 | 2022-11-18 | 阿里巴巴（中国）有限公司 | Transmission method, management method, device and system of real-time shooting information |
-
2008
- 2008-03-19 JP JP2008071299A patent/JP2009230193A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013037411A (en) * | 2011-08-04 | 2013-02-21 | Casio Comput Co Ltd | Image processing device, image processing method, and program |
| US8744170B2 (en) | 2011-08-04 | 2014-06-03 | Casio Computer Co., Ltd. | Image processing apparatus detecting quadrilateral region from picked-up image |
| JP2014026675A (en) * | 2012-06-15 | 2014-02-06 | Sharp Corp | Information distribution system |
| US9584854B2 (en) | 2012-06-15 | 2017-02-28 | Sharp Kabushiki Kaisha | Information distribution method, computer program, information distribution apparatus and mobile communication device |
| KR101240166B1 (en) | 2012-09-05 | 2013-03-18 | 유환아이텍(주) | Combination-separating camera type visual presenter based on wusb, and method for real-time transmitting image using combination-separating camera type visual presenter based on wusb |
| CN115361495A (en) * | 2022-03-31 | 2022-11-18 | 阿里巴巴（中国）有限公司 | Transmission method, management method, device and system of real-time shooting information |
| CN115361495B (en) * | 2022-03-31 | 2024-04-26 | 阿里巴巴（中国）有限公司 | Real-time shooting information transmission method, management method, device and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4805022B2 (en) | Display device, terminal device, image pasting system and methods thereof | |
| US9652144B2 (en) | Method and apparatus for providing POI information in portable terminal | |
| US9986204B2 (en) | Transmission terminal, program, image display method and transmission system | |
| JP5421762B2 (en) | Display device, control method thereof, and display system | |
| WO2004079558A1 (en) | Projector system | |
| KR20120051209A (en) | Method for providing display image in multimedia device and thereof | |
| JP2005122100A (en) | Image displaying system, image displaying apparatus, and program | |
| US9225420B2 (en) | Communication method | |
| JP2009020390A (en) | Display system, display device and display method | |
| WO2018070672A1 (en) | Electronic device and method for controlling the electronic device | |
| EP3076587A1 (en) | Communication terminal, communication system, communication method, and carrier means | |
| CN101616258A (en) | Image processing equipment and image processing method | |
| US10068546B2 (en) | Information terminal, system, control method and recording medium | |
| US20140210941A1 (en) | Image capture apparatus, image capture method, and image capture program | |
| JP2015011360A (en) | Information processing device and program | |
| JP2009230193A (en) | Photographing device achieving function as pointing device, display device and information system | |
| US10185387B2 (en) | Communication apparatus, communication method, and computer readable recording medium | |
| US7762670B2 (en) | Projector and image generating method thereof | |
| JP2009075593A (en) | Display device, display system and display method | |
| US20160117553A1 (en) | Method, device and system for realizing visual identification | |
| EP3125494B1 (en) | Terminal, communication method, and carrier means | |
| JP2020057329A (en) | Guide system | |
| US20070213093A1 (en) | Mobile terminal having wide viewing function digital broadcasting | |
| JP7307392B1 (en) | Information processing system, its control method, and program | |
| CN110996115A (en) | Live video playing method, device, equipment, storage medium and program product |