JP2015119339A - Information processing device, control device of the same, information processing system, information processing method, and program - Google Patents
Information processing device, control device of the same, information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP2015119339A JP2015119339A JP2013261499A JP2013261499A JP2015119339A JP 2015119339 A JP2015119339 A JP 2015119339A JP 2013261499 A JP2013261499 A JP 2013261499A JP 2013261499 A JP2013261499 A JP 2013261499A JP 2015119339 A JP2015119339 A JP 2015119339A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- information processing
- processing apparatus
- projecting
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、複数の情報処理装置の連携動作を制御する技術に関する。 The present invention relates to a technique for controlling a cooperative operation of a plurality of information processing apparatuses.
近年、プロジェクタをコンピュータのディスプレイ代わりに用いる機会が増加している。液晶等のディスプレイに対し、プロジェクタは、壁や机など任意の平面上にデジタル画像を投影し表示可能であること、また投影面との距離やズーム機能により、投影面の大きさを変更可能であること、といった利点を持つ。一方、投影面を大きくすると、そのぶん投影の解像度が落ちるという欠点がある。 In recent years, opportunities to use projectors instead of computer displays have increased. In contrast to liquid crystal displays, the projector can project and display digital images on any plane such as a wall or desk, and the projection surface can be resized by the distance to the projection surface or the zoom function. It has the advantage of being. On the other hand, when the projection surface is enlarged, there is a drawback that the resolution of the projection is lowered.
そこで、複数のプロジェクタを連携し、精細度を落さずに広範囲に投影する技術があった。例えば、特許文献1では、複数のプロジェクタを合わせてより大きい画像を投影する際、各々のプロジェクタが自らの投影画像の位置を認識し、当該位置に応じた各々のプロジェクタの処理を実行することで連携を実行している。この際、各プロジェクタが投影したキャリブレーション画像を撮像し、各々の投影画像の位置を認識していた。
Therefore, there has been a technology for projecting a wide range without losing definition by linking multiple projectors. For example, in
特許文献1において、複数のプロジェクタが一つの画像の異なる部分を分担して投影する方法を開示している。その投影方法によれば、複数のプロジェクタの相対位置を固定して、それぞれのプロジェクタの投影領域が重ならないように決定される。そのために、プロジェクタを移動した場合、再度キャリブレーション画像を投影し、位置関係を再認識する過程が必要だった。
上記特許文献1では、投影されたコンテンツの状況に応じて複数のプロジェクタを連携して、多様な状況に適応して投影を分担することはできない。
In
本発明は上記課題に鑑みてなされたものであり、多様な状況に適応して投影を分担し、ユーザーにとって好適な投影ができる複数の情報処理装置を制御する情報処理装置を提供することを目的とする。また、その制御装置、システム、方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an information processing apparatus that controls a plurality of information processing apparatuses that can share projections in various situations and can perform projections suitable for users. And Moreover, it aims at providing the control apparatus, system, method, and program.
かかる課題を解決するため、本発明の情報処理装置は以下の構成を備える。即ち、第一投影範囲に投影する第一の投影手段を備える情報処理装置であって、前記第一投影範囲と重なる領域を持つ第二投影範囲に投影する第二の投影手段を備える他の情報処理装置と通信可能な前記情報処理装置は、前記重なる領域に前記第一投影手段により投影する条件を満たす場合に、前記他の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求手段と、前記第一の投影手段に、前記重なる領域に投影させる制御手段と、を備えることを特徴とする。 In order to solve this problem, the information processing apparatus of the present invention has the following configuration. That is, the information processing apparatus includes a first projection unit that projects onto the first projection range, and includes other information including a second projection unit that projects onto the second projection range having an area overlapping the first projection range. The information processing device capable of communicating with the processing device projects the projection onto the overlapping region of the second projection unit on the other information processing device when the condition for projection by the first projection unit on the overlapping region is satisfied. Requesting means for requesting to stop the control, and control means for causing the first projecting means to project onto the overlapping area.
本発明によれば、多様な状況に適応して投影を分担し、ユーザーにとって好適な投影をすることができる。 ADVANTAGE OF THE INVENTION According to this invention, a projection can be shared according to various situations, and a projection suitable for a user can be performed.
<第1の実施形態>
以下、本発明を実施する好適な形態について図面を用いて説明する。
<First Embodiment>
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described with reference to the drawings.
本実施形態の情報処理装置は、投影装置及び撮像装置と一体的に構成されている。図1のブロック図を用いて、本実施形態の情報処理装置の構成例を説明する。 The information processing apparatus of this embodiment is configured integrally with a projection apparatus and an imaging apparatus. A configuration example of the information processing apparatus according to the present embodiment will be described with reference to the block diagram of FIG.
投影部101は、デジタル画像を机やスクリーン等の投影面へと投影する。撮像部102は、投影部101による投影範囲を少なくとも含むように撮像し、デジタルの画像へと変換するデジタルカメラ、あるいはビデオカメラである。UI部103は、ユーザーが図1の情報処理装置への投影内容や投影方法の指示を行う。UI部103は、例えば情報処理装置に備えられたボタン等である。UI部103はまた、後述するようにユーザーのジェスチャーを認識する仕組みを備えていてもよい。制御部104は、UI部103から得たユーザー指示に基づき、投影部101への画像データを提供したり、撮像部102から得た画像データに対して処理を行ったりする。制御部104による制御は、情報処理装置に搭載されているCPU又はGPU等が制御用プログラムを実行することによって実現される。記憶部105は、制御部104の制御用プログラムや、動作のためのデータ、投影内容のデータ等を記憶するメモリ、HDD等である。通信部106は、図1の情報処理装置と他の情報処理装置や非図示のファイルサーバー、アプリケーションサーバー等と通信を行う。
The
図2は、図1の情報処理装置の一形態の外観、およびその使用の一例を示す図である。図1の情報処理装置に相当する図2中の情報処理装置200は、投影部101に相当するプロジェクタ201、撮像部102に相当するカメラ202を有す。情報処理装置200は、机等の投影面210上に画像を投影するよう配置される。カメラ202は撮像部102の一部として、プロジェクタ201の投影範囲211内の状態、例えば投影範囲211への投影状況や、投影範囲211に置かれた紙等の撮像画像を制御部104に提供する。撮像部102は、カメラ202が投影面に正対しない場合に生じるひずみを補正し、直上から撮像したように画像を補正する仕組みを備えていてもよい。カメラ202の撮像周期は投影位置等の変動やジェスチャーを確認できる程度に設定されている。また撮像部102は、情報処理装置200に対するユーザー指示のジェスチャーを認識するためのビデオカメラなどを更に備えていてもよい。
FIG. 2 is a diagram illustrating an appearance of one form of the information processing apparatus in FIG. 1 and an example of its use. An
図2の例では、撮像部102、UI部103、制御部104、記憶部105および通信部106はすべて情報処理装置200内に一体化されているものとする。ただし、これはあくまで一例であって、前述の部分は情報処理装置200から分離されていてもよい。例えば、情報処理装置200は非図示のパーソナルコンピュータと接続され、103〜106は前記パーソナルコンピュータ内に存在していてもよい。あるいは記憶部105のうち、投影内容のデータを記憶する部分のみがイントラネットやインターネット上のサーバーにあって、情報処理装置200は通信部106を介した有線や無線通信でそのデータを取得してもよい。また同様に制御部104の一部プログラムあるいは全部はサーバー上で動作してもよい。
In the example of FIG. 2, it is assumed that the
情報処理装置200が投影するオブジェクトを特定するデータの一例を図10に示す。第1の実施形態では、投影データ1000は一つまたは複数のオブジェクトにより構成される。オブジェクトとは、ページ表現される電子ドキュメントや、画像データなど、情報処理装置200がひとつの単位として投影するものを指す。一つの単位として投影可能であれば、複数の画像データを並べたり重ねたりしたグループを1オブジェクトとして扱ってもよい。例えば複数ページの電子ドキュメントであって、ユーザーのページめくり指示に従って任意の1ページを投影するようなオブジェクトであってもよい。
An example of data specifying the object projected by the
図10の例では、投影データ1000内に2つのオブジェクト1001、1002が記述されている。オブジェクト1001は、PDF形式のデータ1011からなる電子ドキュメントファイル、オブジェクト1002はJPEG形式のデータ1021からなる画像ファイルである。これら各データ1011、1021の実体は、前述のとおり情報処理装置200の記憶部105としての同装置内のHDDに保存されていたり、あるいは外部のサーバーに保存されていたりしてもよい。特徴量の記述1012、1022は各オブジェクトを画像特徴量で検索するためのものである。これらのオブジェクト1001、1002を包含する投影データ1000を記述した電子ドキュメントは、情報処理装置200が投影可能なオブジェクトに関するインデックスの役割を果たすものとして、例えば情報処理装置200内の記憶部105に保存される。もちろんインターネット上のサーバー等に保存されていてもよい。
In the example of FIG. 10, two
図2に戻り、情報処理装置200が投影面210上に投影した、投影オブジェクト212の例を示す。例えば投影オブジェクト212は、オブジェクト1001が指すPDFデータ1011の1頁分を制御部104が画像へと変換し、同画像を投影部101が投影したものである。この投影オブジェクト212の投影位置は固定であっても、ユーザーが指定した位置であってもよい。この位置指定方法は、公知のいかなる指定方法によっておこなわれてよい。例えば、情報処理装置200が位置指定ボタンをUI部103として有す場合、ユーザーは実際の投影状況を確認しながら所望の位置へと投影オブジェクトを移動してもよい。あるいは、情報処理装置200にマウス等の位置入力装置(非図示)を付与し、あたかもGUIを持つコンピュータのディスプレイが投影面210に投影されているものとして、ユーザーが投影オブジェクトを移動できるようにしてもよい。更に、情報処理装置200は、ユーザーが投影面210上に出した手や指の動きをジェスチャーと認識して、投影オブジェクト212の投影位置指定指示と解釈するようにしてもよい。このような位置指定ジェスチャーを認識する技術は、特許文献2に開示されている。
Returning to FIG. 2, an example of the
情報処理装置200は、このジェスチャー認識に、撮像部102から得られる撮像画像を用いることができる。さらに、このジェスチャー認識をより正確に行う為に、3次元認識可能な複数カメラや、距離測定のための赤外センサーや超音波センサー等を撮像部102は備えていてもよい。
The
投影オブジェクトの別の例を図2の点線213に示す。投影オブジェクト213は、投影面210上に載せられた紙片214の内への投影である。このように、ユーザーが投影面210上の任意位置に紙片214をおくことで、情報処理装置200は紙片位置を投影位置と解釈し投影を行うようにしてもよい。ここで、紙片の全体をひとつの投影オブジェクトの投影範囲としても、その一部を投影範囲としてもよい。例えば、紙片214の一部にあらかじめ文章を印刷しておき、残りの白紙部分に図10の画像データ1021の内容を投影してもよい。さらに、ユーザーがこの紙片214を移動した場合、投影オブジェクト213の投影位置も紙の動きにあわせて移動するようにしてもよい。例えば特許文献3では、紙片の置かれた台上の撮像画像を解析し、ビジュアルマーカーの印刷された紙片のマーカー位置および向きに従って、前記紙片上の適切な位置へと投影を行う技術が開示されている。ビジュアルマーカーなどを用いずに、紙片の四辺を公知のエッジ検出技術で抽出することで、同紙片の位置を検出してもよい。
Another example of the projection object is shown by a dotted
図3は、図1の情報処理装置2台を用いて本発明を好適に実施する状況の一構成例を示す図である。情報処理装置200および300は投影面210上に配置され、それぞれの投影範囲211および311が一部の投影範囲を共有している状態である。
FIG. 3 is a diagram showing a configuration example of a situation in which the present invention is preferably implemented using the two information processing apparatuses in FIG. The
情報処理装置200および情報処理装置300は、それぞれ図1に示す通信部106を備えている。通信部106を通じて、各種の指示やデータの送信又は受信を行って、一つの情報処理システムを構成している。
Each of the
図3の構成例では、情報処理装置300は投影面210の大部分をカバーする投影範囲311を持ち、情報処理装置200は投影範囲311の一部をカバーする投影範囲211を持っている。情報処理装置300は広範囲に投影可能なように設置するので、以下の説明では「広範囲情報処理装置300」という。また、情報処理装置200はより狭い範囲のみを投影可能なように設置するので、以下の説明では「狭範囲情報処理装置200」という。
In the configuration example of FIG. 3, the
本構成例において、狭範囲情報処理装置200の投影範囲211には、投影部101の光学ズーム機能を用いて投影範囲を狭めることで、解像度やコントラスト等からなる投影の画質を高める意図がある。一方、広範囲情報処理装置300は、投影面全体を投影可能とすることを意図している。即ち、狭範囲情報処理装置200の投影範囲211は広範囲情報処理装置300の投影範囲311より狭いが、高精細な投影が可能である。
In the present configuration example, the
なお、以下の説明では、狭範囲情報処理装置200と広範囲情報処理装置300が同等な構成・性能を持つ図1の情報処理装置であることを前提に説明している。これはあくまで一例であって、以下の説明にある機能を提供できるものであれば、広範囲情報処理装置300は狭範囲情報処理装置200とは別の構成・性能をもつものであって構わない。
In the following description, it is assumed that the narrow-range
図4は、図1の情報処理装置の動作モード遷移を説明する図である。図1の情報処理装置は動作選択モード401からスタートする。動作選択モード401では、ユーザーが情報処理装置の動作として、通常投影と代替投影のいずれかを選択する。通常投影が選択された場合、通常投影モード402に遷移してユーザー指示による終了まで動作を継続する。代替投影が選択された場合、代替待機モード403に遷移し、状況に応じて代替待機モード403と代替投影モード404の間を遷移しながら、ユーザーの終了指示まで動作を継続する。
FIG. 4 is a diagram for explaining the operation mode transition of the information processing apparatus of FIG. The information processing apparatus in FIG. 1 starts from an
図3の構成例では、ユーザーが通常投影を選択した場合に、情報処理装置が通常投影モード402に遷移し、広範囲情報処理装置300による投影を開始する。即ち、広範囲情報処理装置300による投影を通常投影とする。すると前述図4のとおり、広範囲情報処理装置300の通常投影モード402での投影はユーザー指示による終了まで動作を継続する。
In the configuration example of FIG. 3, when the user selects normal projection, the information processing apparatus transitions to the
以下図5のフローチャートを用いてその通常投影モード402の動作例を説明する。以下に説明するフローチャートは、制御部104のCPUが制御プログラムを実行することにより実現されるものとする。
Hereinafter, an operation example of the
ステップS501では、広範囲情報処理装置300が、ユーザーによる投影対象オブジェクトの選択結果を取得する。具体的には、広範囲情報処理装置300の記憶部105に記憶されているオブジェクトの中から、ユーザーが投影対象として選択したオブジェクトのデータを取得する。ここで選択されたオブジェクトを以下オブジェクトAと呼ぶ。この選択は例えば、広範囲情報処理装置300が有する図10の投影オブジェクトを特定するデータ1010の内容より、各オブジェクトのファイル名や画像内容をインデックスとして投影面210に一覧表示し、ユーザーが投影対象オブジェクトを指示して行う。指示手段として、例えば広範囲情報処理装置300のUI部103としてボタンやマウスが備わっていれば、それを使用すればよい。あるいは投影部101が更にオブジェクト指定のためのGUIを投影し、それらに対するタッチ等のジェスチャーをユーザーの選択として認識してもよい。または、広範囲情報処理装置300にパーソナルコンピュータが接続されている場合は、同パーソナルコンピュータのUIを用いて選択してもよい。
In step S501, the wide range
ステップS502では、広範囲情報処理装置300が、オブジェクトAの投影位置としてユーザーが指定した位置を取得する。ステップS501同様、ユーザーは広範囲情報処理装置300のUI部103として備わったボタン・マウスや、あるいはジェスチャーなどを用いて投影位置を指定するものとする。投影位置指定の別例として、前述のとおり、ユーザーが投影面210上に紙片を置き、広範囲情報処理装置300は同紙片内をオブジェクトAの投影位置と解釈するようにしてもよい。
In step S <b> 502, the wide range
ステップS503では、広範囲情報処理装置300が、ステップS502で指定された位置に、オブジェクトAの投影を行う。具体的には、オブジェクトのデータを画像へと展開し、その画像が投影面210上の指定位置に配置されるような投影画像を投影部101により投影する。ここで、オブジェクトのデータを画像へと展開するのは、広範囲情報処理装置300内にある制御部104であってもいいし、インターネット上のプログラムにオブジェクトのデータを指定し、同プログラムによって展開された画像を受けとるようにしてもよい。なお、広範囲情報処理装置300は、ユーザーから何らかの指示がないかぎり本ステップ以降も同じ投影を続けるものとする。
In step S503, the wide range
ステップS504では、広範囲情報処理装置300が、オブジェクトAの投影を停止する指示がでているか否かを検知する。指示が出ていない場合はステップS505に進む。指示が出ている場合は、ステップS507に進む。ここで停止指示は、ユーザーがUI部103を用いて行う指示のほか、狭範囲情報処理装置200からの指示の場合がある。後者の場合に関しては、ステップS507以降の内容とあわせ後で説明する。ここでは停止の指示が出ていないものとしてステップS505に進む。
In step S504, the wide-area
ステップS505では、広範囲情報処理装置300が、ユーザーがオブジェクトAの投影位置を移動する指示をおこなったか否かを検知する。指示が検知された場合はステップS506に進む。検知されない場合はステップS503に戻ってステップS504以降の処理を繰り返す。
In step S505, the wide-area
ステップS506では、広範囲情報処理装置300が、ユーザーが指定するオブジェクトAの移動先位置を取得する。その後ステップS503に戻り、新たな位置へオブジェクトAを投影し、以降の処理を繰り返す。
In step S506, the wide-area
ステップS505およびS506における指示の取得は、ステップS502同様、広範囲情報処理装置300のボタン・マウスへの指示取得、あるいはジェスチャーによる指示の認識として行えばよい。あるいは紙面内にオブジェクトAが投影されている場合は、ユーザーが移動した紙面の位置を再検知して取得すればよい。
The acquisition of instructions in steps S505 and S506 may be performed as acquisition of instructions to the buttons / mouse of the wide-range
以上説明した図5のステップS501〜S506の動作により、ユーザーは広範囲情報処理装置300を用いて、所望のオブジェクトを投影面210上の所望位置に投影することができる。さらにユーザーは、その投影を投影範囲311内で指示して移動することができる。図5中のステップS507〜S508の動作に関しては後で説明する。
The user can project a desired object to a desired position on the
図3の例に戻り、ユーザーは、広範囲情報処理装置300に通常投影の動作をさせている最中に、狭範囲情報処理装置200に対し代替投影の動作を選択したものとする。その結果、前述図4に従って、狭範囲情報処理装置200の動作モードは代替待機モード403へと遷移する。
Returning to the example of FIG. 3, assume that the user selects the alternative projection operation for the narrow-range
以下、図6のフローチャートを用いて代替待機モード403の動作例を説明する。
Hereinafter, an operation example of the
ステップS601では、狭範囲情報処理装置200が、撮像部102により自身の投影範囲211を撮像する。図3の例では、投影範囲211は広範囲情報処理装置300の投影範囲311の一部である。
In step S <b> 601, the narrow range
ステップS602では、狭範囲情報処理装置200が、ステップS601で得た撮像画像内に、広範囲情報処理装置によるオブジェクトの投影(以下、現在の投影と呼ぶ)が存在するか否かを検知する。現在の投影が存在していなければ、ステップS601に戻って以降の処理を繰り返す。存在していればステップS603に進む。現在の投影が存在するか否かの判定は、例えば無投影の状態では投影面210が無地であることを前提に、投影によって生じた輝度差のエッジを抽出することで判定すればよい。
In step S602, the narrow area
第1の実施形態では、図5のステップS503にて、広範囲情報処理装置300がユーザー指示にもとづいて広範囲情報処理装置300が行うオブジェクトAの現在の投影が、狭範囲情報処理装置200の投影範囲211内にある場合、ステップS603へと進む。または、図5のステップS506にて、ユーザーの移動指示に基づいて、広範囲情報処理装置300が現在の投影を移動し狭範囲情報処理装置200の投影範囲211内に入った場合も、ステップS603に進むことになる。
In the first embodiment, in step S503 of FIG. 5, the current projection of the object A performed by the wide-range
ステップS603では、狭範囲情報処理装置200が、ステップS602で検知した現在の投影オブジェクトのデータを特定する。第1の実施形態では、具体的には、広範囲情報処理装置300が投影のソースとして用いた電子データを特定する。
In step S603, the narrow area
この特定のために、狭範囲情報処理装置200と広範囲情報処理装置300は、投影可能なオブジェクトに関する情報をあらかじめ共有しているものとする。例えば、広範囲情報処理装置300が図10の投影データ1000を、投影可能なオブジェクトのインデックスとして機器内に保持している場合、狭範囲情報処理装置200は機器間通信により同インデックスを取得すればよい。あるいは、狭範囲情報処理装置200と広範囲情報処理装置300に共通の記憶領域として、インターネット上に投影データ1000を配置し双方からインデックスとして参照するようにしてもよい。
For this specification, it is assumed that the narrow-range
または、投影データ1000と、それを投影する情報処理装置とを管理するようなプログラムがインターネット上で動作していて、狭範囲情報処理装置200と広範囲情報処理装置300は前記プログラムと通信することで、それぞれ投影データ1000を得るようにしてもよい。もちろん前記プログラムはイントラネット内や、広範囲情報処理装置300あるいは200の内部で動作していてもよい。
Alternatively, a program that manages the
第1の実施形態では、現在の投影が投影データ1000のインデックス中どのオブジェクトに対応するかの判断に画像特徴量を利用する。現在の投影の撮像画像から公知の画像特徴量抽出技術にて得た特徴量を、図10の特徴量1012、1022と各々比較して、現在の投影オブジェクトがオブジェクト1001、1002のいずれかであるかを判定する。一致度が閾値以上のオブジェクトがあった場合は、そのデータを現在の投影オブジェクトのデータと特定しステップS603に進む。いずれのオブジェクトとも特徴量の一致度が低い場合は特定失敗とし、ステップS601に戻って以下の処理を繰り返す。上記判断は一例であって、別の判断を用いてもよい。例えば、各オブジェクトのデータを画像に展開し、それら各画像と撮像された現在の投影の画像との間の一致度から上記判断を行ってもよい。
In the first embodiment, the image feature amount is used to determine which object in the index of the
ステップS604では、狭範囲情報処理装置200が、ステップS603で特定した現在の投影オブジェクトのデータを用いて、現在の投影が狭範囲情報処理装置200の投影範囲に包含されているか否かを調べる。包含されていると判断した場合はステップS605に、包含されていないと判断した場合はステップS601に戻る。
In step S604, the narrow area
上記判定は例えば、特定された現在の投影オブジェクトのデータを展開して、元のオブジェクト画像とし、その画像内容と撮像された投影画像を比較することにより判断すればよい。図8(a)は、狭範囲情報処理装置200による撮像画像の例で、投影範囲211内に現在の投影801の一部のみが含まれている状態である。ここで、撮像部102が狭範囲情報処理装置200の投影範囲211よりもやや大き目の範囲を撮像している。前記比較の際には、投影範囲211内で切りとられた現在の投影801の一部が比較対象となり、前記元のオブジェクト画像とは画像的に一致しないので、現在の投影801は投影範囲211に包含されていないと判断される。一方、図9(b)の現在の投影802は、投影範囲211内に包含されていると判断される場合の例である。
For example, the determination may be performed by expanding the data of the specified current projection object to obtain an original object image, and comparing the image content with the captured projection image. FIG. 8A shows an example of a captured image obtained by the narrow-range
ステップS605では、狭範囲情報処理装置200が、ステップS603で特定した現在の投影のオブジェクトを、自分(狭範囲情報処理装置200)で投影するか否かを判断する。この判断は、特定されたオブジェクトに関し、広範囲情報処理装置300による現在の投影よりも、自分(狭範囲情報処理装置200)が行う投影のほうがユーザーにとって高解像度であるか否かという判断規準に基づいて行われる。
In step S605, the narrow area
ステップS605における判断処理内容の一例を図9(a)のフローチャートに示す。 An example of the content of determination processing in step S605 is shown in the flowchart of FIG.
ステップS901では、狭範囲情報処理装置200が、前述図6のステップ601で得た撮像画像から、現在の投影の投影上での解像度を算出する。ここで投影上での解像度とは、情報処理装置が実際にデジタル画像を投影面上に投影する際、1インチなどの単位長さを何ピクセルで表現するかを示す値である。この値が大きいほど、投影面積あたりのピクセル数が増えて高精細となり、ユーザーにとって好適な投影を提供していると言える。
In step S901, the narrow area
解像度算出方法の例としては、現在の投影を構成する投影ピクセルの1矩形を撮像画像から抽出し、そのサイズを基に計算すればよい。あらかじめ、撮像画像上では1インチがm画素相当になることがわかっている場合、投影ピクセルが撮像画像上でn×n画素の正方形を構成しているとき、解像度はm/n dpi(dot per inch)と算出される。 As an example of the resolution calculation method, one rectangle of projection pixels constituting the current projection may be extracted from the captured image and calculated based on the size. When it is known in advance that 1 inch corresponds to m pixels on the captured image, when the projected pixel forms a square of n × n pixels on the captured image, the resolution is m / n dpi (dot per). inch).
ステップS902では、狭範囲情報処理装置200が、前述図6のステップS603で特定したオブジェクトを、自身で現在の投影と同位置に投影した場合の投影上の解像度を算出する。この算出は、装置仕様として投影上の解像度があらかじめ定められていれば、その値を用いればよい。投影範囲が投影部101の光学ズーム機能で可変の場合、ズーム設定と投影上の解像度との関係をあらかじめ記憶しおくことで、現ズーム設定における解像度値を求めればよい。あるいは、狭範囲情報処理装置200が現在の投影とは別の場所に自身の投影ピクセルが観測できるような投影を行って、前述のように撮像画像上から自身の投影の解像度を動的に算出するようにしてもよい。
In step S902, the narrow area
ステップS903では、狭範囲情報処理装置200が、ステップS901で算出した現在の投影の解像度と、ステップS902で算出した自身が投影する場合の解像度を比較する。自身が投影する場合の解像度が高い場合、自分(狭範囲情報処理装置200)で投影することをステップS605における判断とする。そうでない場合、自分で投影しないことをステップS605における判断とする。
In step S903, the narrow-range
この図9(a)の判断処理例は、投影上の解像度を指標として、より高解像度の投影を提供することがユーザーにとって好適であると判断している。図3では、狭範囲情報処理装置200は光学的なズーム機能により広範囲情報処理装置300よりも狭い範囲で投影を行っている。現在一般的な液晶プロジェクタでは、投影の分解能は液晶部分の画素数で決まっており、広い範囲に投影すれば解像度はそのぶん下がる。ゆえに、狭範囲情報処理装置200と広範囲情報処理装置300が同じ分解能の液晶プロジェクタであれば、投影範囲211内に関しては、狭範囲情報処理装置200のほうがより解像度の高い投影が可能な投影条件にある。一方、両装置の分解能に差があった場合、実際の投影解像度の優劣は場合によって異なる。本判断処理は後者のケースにおいても、実際の投影結果を用いて、ユーザーに実際に好適となる投影が狭範囲情報処理装置200により可能か否かを判断できる。
In the determination processing example of FIG. 9A, it is determined that it is preferable for the user to provide a higher resolution projection using the projection resolution as an index. In FIG. 3, the narrow-range
なお、前述の解像度算出は一例であり、他の方法を用いてもよい。例えば、投影上のエッジの再現力を解像度とみなし、撮像画像上でオブジェクト中のエッジ部分の勾配量を算出することで解像度の値としてもよい。ここで、狭範囲情報処理装置200は現在の投影のオブジェクトのデータを特定しているので、同データ中にあって比較に適切なエッジが投影にあらわれるような部分を選択し、解像度算出に用いるようにしてもよい。例えば、直線が等間隔で並んでいる部分等を選ぶことで、前記エッジの勾配量を安定して抽出できる。あるいは、狭範囲情報処理装置200は、現在の投影のとなり等空いた場所に、自分で実際に同オブジェクトの投影を行って撮像し、撮像画像上で広範囲情報処理装置の投影と自身の投影を比較するようにしてもよい。例えば、FFT等の公知技術により画像に対する周波数変換を行い、より高周波が存在するほうを高解像度と判断してもよい。
Note that the resolution calculation described above is an example, and other methods may be used. For example, the reproducibility of the edge on the projection may be regarded as the resolution, and the resolution value may be obtained by calculating the gradient amount of the edge portion in the object on the captured image. Here, since the narrow-range
また、解像度以外を判断の条件としての指標に用いてもよい。例えば、投影のコントラストもしくは最大の輝度、色再現度などの指標をひとつ、あるいは解像度も含めて複数を組み合わせて用いてもよい。これら指標もまた、同性能の投影装置であれば、投影範囲を狭めた状態の投影条件のほうが高い値、すなわちユーザーにとって好ましい投影を提供できると判断できる。性能が異なる場合でも、現在の投影の撮像画像から求めた指標値と自身の投影条件に基づく指標値との比較により、同様にどちらが好ましいか判断できる。 Further, other than the resolution may be used as an index as a determination condition. For example, one index such as projection contrast or maximum brightness, color reproducibility, or a combination of a plurality of indices including resolution may be used. It can be determined that the projection conditions having the same performance can provide a higher value for the projection condition with the projection range narrowed, that is, a projection preferable for the user. Even when the performance is different, it is possible to determine which is preferable by comparing the index value obtained from the captured image of the current projection with the index value based on the projection condition of the current projection.
更に、オブジェクトのデータ内容に応じて、上記判断規準を変えるようにしてもよい。例えば、オブジェクトのデータ毎にその投影において好ましい解像度等の条件を画質要求として関連付けておき、図9のステップS903における判定の条件に加えてもよい。 Furthermore, the above criteria may be changed according to the data content of the object. For example, a condition such as a resolution preferable for projection of each object data may be associated as an image quality request, and may be added to the determination condition in step S903 in FIG.
例として、図10のオブジェクト1001には、同オブジェクトの投影において好ましい解像度としてpreferred_dpi=“100”という属性1031が記述されている。図9のフローチャートにおいて説明した、このオブジェクトの現在の投影を狭範囲情報処理装置200が自分で投影するかの判断において、ステップS902で算出した解像度が前記好ましい値である100を超えていることを、ステップS903でYesに分岐する条件に追加してもよい。このようにすることで、狭範囲情報処理装置200は、自分が投影した場合の投影上の解像度が、要求される値より高いときのみ代替投影を行うようになる。
As an example, an
なお、ステップS901においては、広範囲情報処理装置300の投影した現在の投影の解像度は、撮像画像から算出しているが、ステップS902における狭範囲情報処理装置200の解像度の算出方法と同様な方法を用いて、撮像画像に頼らずに広範囲情報処理装置300の解像度を算出することはできる。また、本実施形態では、広範囲情報処理装置300と狭範囲情報処理装置200の投影性能が同等であるため、投影範囲の大きさから狭範囲情報処理装置200の解像度が高いと推定することもできる。
In step S901, the resolution of the current projection projected by the wide-range
図6のステップS605の説明に戻り、上述のような判断にて自身で投影すると判断された場合は、ステップS606に進む。判断されなかった場合はステップS601に戻る。 Returning to the description of step S605 in FIG. 6, if it is determined by the above-described determination that projection is performed by itself, the process proceeds to step S606. If not determined, the process returns to step S601.
ステップS606では、狭範囲情報処理装置200が、ステップS603で特定したオブジェクトを現在の投影とほぼ同じ位置に投影する。このとき現在の投影と位置、サイズがともに略同一となるよう変形等を施して投影してもよい。
In step S606, the narrow area
ステップS607では、狭範囲情報処理装置200が、広範囲情報処理装置300に現在の投影の停止を要求する。具体的には、両装置間で直接、通信部106を用いて、オブジェクトの特定と停止の指示をやりとりすればよい。あるいは前述のように、投影データ1000とそれを投影する情報処理装置とを管理するようなプログラムがある場合、同プログラムを介して指示をやりとりすればよい。具体的には、狭範囲情報処理装置200が、特定されたオブジェクトを現在投影している広範囲情報処理装置300の投影停止を同プログラムに要求する。同プログラムはこの要求に基づき広範囲情報処理装置300に同オブジェクトの投影停止を指示する。
In step S607, the narrow area
以上、図6のフローチャートの処理により、図3の例における狭範囲情報処理装置200は、自投影範囲211内に、広範囲情報処理装置300によるオブジェクトAの現在の投影を発見し、かつそれを自身で投影すると判断すると、現在の投影を代替する投影を開始する。そして狭範囲情報処理装置200は代替投影モード404へと遷移する。
As described above, the narrow-range
代替投影モード404における狭範囲情報処理装置200の動作を、図7のフローチャートを用いて説明する。
The operation of the narrow area
ステップS701では、狭範囲情報処理装置200が、現位置にオブジェクトAを投影する。ここでオブジェクトAは、前述図6のステップS606で、広範囲情報処理装置300による現在の投影を代替し投影開始したオブジェクトである。現位置とは、最初のステップS701の処理においては、図6のステップS606で投影を開始した際の位置である。最初以外の繰り返しの中では、ユーザーによって移動した位置の場合もある。
In step S701, the narrow area
ステップS702では、狭範囲情報処理装置200が、オブジェクトAの投影位置を移動する指示をユーザーが行ったか否かを検知する。指示が検知された場合はステップS703に進む。検知されない場合はステップS704に進む。
In step S702, the narrow area
ステップS703では、狭範囲情報処理装置200が、ユーザーが指定するオブジェクトAの移動先位置を取得する。
In step S703, the narrow-range
ステップS702およびS703における指示の取得は、前述図5のステップS505およびS506における指示の取得と同様であるとして、説明は省略する。 The instruction acquisition in steps S702 and S703 is the same as the instruction acquisition in steps S505 and S506 of FIG.
ステップS704では、狭範囲情報処理装置200が、ステップS703の移動先指示によって、オブジェトAが投影範囲211の外に移動したか否かを調べる。投影範囲211の外に移動したか否かは、例えば投影の4隅の座標がいずれかが投影範囲211の外に出ているか否かで判断できる。または自投影を撮像し、前述図6のステップS604とは逆に、自投影によるオブジェクトA全体が投影範囲211に含まれていない場合、投影範囲211の外に移動したと判断してもよい。
In step S704, the narrow area
投影範囲211の外に移動した場合はステップS705に進む。それ以外の場合はステップS701に戻って以下の処理を繰り返す。
If it has moved outside the
ステップS705では、狭範囲情報処理装置200が、オブジェクトAの投影を停止する。
In step S705, the narrow area
ステップS706では、狭範囲情報処理装置200が、広範囲情報処理装置300にオブジェクトAの投影再開を要求する。図6のステップS607と同様に、両装置間で通信部106を用いて、オブジェクトの特定と再開の指示をやりとりすればよい。あるいは、前述の投影データ1000とそれを投影する情報処理装置とを管理するようなプログラムを介して行ってもよい。このとき、現在の投影位置をあわせて広範囲情報処理装置300に指示してもよい。
In step S706, the narrow area
以上、図7のフローチャートの処理により、図3の例における狭範囲情報処理装置200は、自分の投影範囲211内においてオブジェクトAの代替投影を行う。ユーザーが投影を投影範囲211外に移動すると、情報処理装置は代替投影を終了し、広範囲情報処理装置300は、代替以前に行っていたオブジェクトAへの投影を再開する。そして、狭範囲情報処理装置200は再び代替待機モード403へと遷移する。
As described above, the narrow area
以上説明したように、本発明第1の実施形態によれば、広範囲情報処理装置の投影範囲の少なくとも一部範囲を投影可能なように設置された情報処理装置が、広範囲情報処理装置が投影するオブジェクトを撮像し、その現在の投影が狭範囲情報処理装置の投影範囲内にあることを検知する。 As described above, according to the first embodiment of the present invention, the information processing apparatus installed so as to project at least a part of the projection range of the wide-range information processing apparatus projects the wide-area information processing apparatus. The object is imaged, and it is detected that the current projection is within the projection range of the narrow range information processing apparatus.
そしてこの撮像画像をもとに、広範囲情報処理装置が行う現在の投影よりも、同オブジェクトを狭範囲情報処理装置で投影したほうがユーザーにとって好適な投影を提供できると判断すると、同オブジェクトの投影を開始する。 Then, based on this captured image, if it is determined that it is possible to provide a projection more suitable for the user by projecting the object with the narrow-range information processing device than the current projection performed by the wide-range information processing device, the projection of the object is performed. Start.
この情報処理装置が同オブジェクトの投影を行っている間、広範囲情報処理装置はその投影を停止する。その結果、複数の情報処理装置の連携動作として、ユーザーにとって好適な投影を提供可能な情報処理装置が、投影オブジェクト単位で選択されて投影を行うという動作が提供される。 While the information processing apparatus projects the object, the wide-area information processing apparatus stops the projection. As a result, as a cooperative operation of a plurality of information processing apparatuses, an operation is performed in which an information processing apparatus capable of providing projection suitable for the user is selected and projected in units of projection objects.
このときユーザーがオブジェクトの投影位置を移動しても、移動後の位置に対応して前記連携動作が提供される。また前記連携は、情報処理装置間で互いの投影内容および投影位置を認識して行うので、情報処理装置間の位置合わせ等の準備作業が必要なく、動作中に情報処理装置を移動したとしても連携動作を継続可能である、といった効果がある。 At this time, even if the user moves the projection position of the object, the cooperation operation is provided corresponding to the moved position. In addition, since the cooperation is performed by recognizing each other's projection contents and projection positions between the information processing apparatuses, preparation work such as alignment between the information processing apparatuses is not necessary, and even if the information processing apparatus is moved during operation There is an effect that the cooperative operation can be continued.
これらの効果は、図3のような配置例で顕著となる。全面投影用に設置された広範囲情報処理装置300よりも投影範囲を狭めて設置された狭範囲情報処理装置200は、その投影範囲211において、同じオブジェクトを解像度やコントラスト等の画質で広範囲情報処理装置300よりも好適に投影可能な状態となる。
These effects become remarkable in the arrangement example as shown in FIG. A narrow-range
例えばユーザーが広範囲情報処理装置300によりオブジェクトを投影している状態で、現在の投影を投影範囲内に含むよう情報処理装置200を設置したとする。すると狭範囲情報処理装置200は現在の投影を代替するように投影を開始するので、ユーザーはより好適な投影を得ることができる。
For example, it is assumed that the
あるいは、ユーザーは最初投影範囲211外に投影されたオブジェクトを、投影範囲211内に移動することで、狭範囲情報処理装置200による好適な代替投影を得ることができる。本実施形態では、このように二つの情報処理装置を連携させる為の位置合わせ等の準備の手間がないことも特徴である。さらに、狭範囲情報処理装置200は自分で投影することが適切と判断したときのみ動作するので、投影の消費電力を節減する効果もある。
Alternatively, the user can obtain a suitable alternative projection by the narrow-range
なお、図3は一例であって、別の配置や、その他の投影範囲の設定であってもよい。例えば、3台以上の情報処理装置を用いて、うち一台を通常投影の動作とし、その投影範囲の一部あるいは全部を分割した各部分を、代替投影の動作とした複数の情報処理装置がカバーするよう設置してもよい。あるいは、投影性能の異なる2つの情報処理装置が略同一の投影範囲を持つように設置してもよい。その場合、性能が高くより好適な投影が可能な一台に代替投影の動作、それ以外に通常投影の動作を指定する。いずれの例においても、代替動作を指定された情報処理装置は、自身の投影範囲にある広範囲情報処理装置の現在の投影を、代替するか否かを自動的に判定して代替投影を行う。ここで、代替するか否かの判断が、撮像した現在の投影と自身が投影した場合の投影の比較によって行われるので、ユーザーにとって好適な代替投影が可能な場合のみ代替投影を行うことができる。 Note that FIG. 3 is an example, and other arrangements and other projection range settings may be used. For example, there are a plurality of information processing apparatuses that use three or more information processing apparatuses, one of which is a normal projection operation, and a part or all of the projection range is divided into alternative projection operations. You may install so that it may cover. Alternatively, two information processing apparatuses having different projection performances may be installed so as to have substantially the same projection range. In that case, an alternative projection operation is specified for one unit that can perform a more favorable projection with high performance, and a normal projection operation is specified for the other unit. In any example, the information processing apparatus to which the alternative operation is designated automatically determines whether or not to replace the current projection of the wide-area information processing apparatus in its own projection range and performs the alternative projection. Here, the determination as to whether or not to substitute is made by comparing the captured current projection with the projection when projected by itself, so that the alternative projection can be performed only when an alternative projection suitable for the user is possible. .
<第2の実施形態>
図11の(a)は、図3の狭範囲情報処理装置200と広範囲情報処理装置300の第2の実施形態における配置である、狭範囲情報処理装置200と広範囲情報処理装置300のそれぞれの投影範囲211と311はほぼ同じであるか、第1の実施形態と同様に投影範囲211が投影範囲311より狭い。広範囲情報処理装置300は通常投影の動作により現在の投影1110を行っている。ここで、ユーザー1101が現在の投影1110の右側に手や腕などの立体的な障害物1102を置くことで、現在の投影1110に影が発生する場合がある。図12の(a)はその様子を示す。現在の投影1110上にかかる影1210が発生している。
<Second Embodiment>
FIG. 11A shows the respective projections of the narrow-range
代替投影の動作を指定された狭範囲情報処理装置200が、このような状況に対応し、現在の投影を自身で投影すると判断するための、前述図6のステップS605の動作例について、図9(b)のフローチャートで説明する。
For the operation example of step S605 in FIG. 6 described above, the narrow-range
ステップS911では、狭範囲情報処理装置200が、ステップS603で特定された現在の投影オブジェクトのデータを展開し、元のオブジェクト画像を生成する。前述ステップS603あるいはS604の処理においてすでに特定されたデータから画像への展開が行われていれば、その画像を用いればよい。
In step S911, the narrow area
ステップS912では、撮像された現在の投影部分の画像と、ステップS911で生成した元のオブジェクト画像との比較を行い、一致度を計算する。この一致度は例えば、両画像の大きさ、向きが一致するようにどちらかを拡大・縮小したうえで、両者の対応する画素値の二乗和を積算して求めればよい。他の公知の一致度算出方法を用いてもよい。 In step S912, the captured image of the current projection portion is compared with the original object image generated in step S911, and the degree of coincidence is calculated. The degree of coincidence may be obtained, for example, by enlarging or reducing one of the two images so that the sizes and orientations of the two images coincide with each other and integrating the square sums of the corresponding pixel values of both. Other known coincidence calculation methods may be used.
ステップS913では、狭範囲情報処理装置200が、ステップS912で計算した一致度があらかじめ定められた閾値Nより小さいか否かを調べる。小さい場合は、自身で投影することをステップS605における判断とする。そうでない場合、自身で投影しないことを同判断とする。
In step S913, the narrow-range
図12(a)の例の場合、現在の投影1110にかかる影1210の影響により、上記一致度は小さい値となる。判定の規準となる閾値はあらかじめ決められたものでもよいし、影1210が発生していないときの現在の投影1110と元のオブジェクト画像の一致度を基に決定したものであってもよい。その結果、狭範囲情報処理装置200は自分でオブジェクトの投影を行うことを判断する。そして、第1の実施形態で説明したように代替投影を開始するので、以降ユーザー1101は影のない投影を得ることが出来る。
In the case of the example in FIG. 12A, the degree of coincidence becomes a small value due to the influence of the
なお、前述ステップS913の処理において、一致度が閾値Nより小さいとともに、影の形状や方向、障害物との関係から、狭範囲情報処理装置200は自分の投影によって解消できる影であることを推定し判定条件に加えてもよい。例えば、撮像画像において、狭範囲情報処理装置200の投影方向と逆方向に対し影が発生していると判定したときのみ、自身で投影すると判断するようにしてもよい。
In the process of step S913 described above, the degree of coincidence is smaller than the threshold value N, and it is estimated from the relationship between the shape and direction of the shadow and the obstacle that the narrow area
図11の(b)は、図3の狭範囲情報処理装置200と広範囲情報処理装置300の、第2の実施形態における別の配置例である。広範囲情報処理装置300は通常投影の動作、狭範囲情報処理装置200は代替投影の動作を行うものとする。
FIG. 11B is another arrangement example of the narrow-range
第2の実施形態では、ユーザー1103とユーザー1104が投影面210を狭むような位置にいて投影を観察している。ユーザー1104は、投影を行う広範囲情報処理装置300に対面しているため、投影の反射光をまぶしく感じることがある。特に、投影面210上に光沢のある紙を置いてその上に投影を行う場合、ユーザー1104には投影の一部や全体が白飛びして見える可能性がある。
In the second embodiment, the
この時、ユーザー1104と視線方向が近い狭範囲情報処理装置200の撮像部102からは、図12(b)の現在の投影1206のように白飛びした現在の投影の画像が得られる。よって、図9のフローチャートの処理において、現在の投影と元のオブジェクト画像の一致度が低下するため、狭範囲情報処理装置200は自分で投影すると判断し、代替投影を開始する。ユーザー1104にとっては、視線と同方向をなす狭範囲情報処理装置200からの投影を見るようになるので、反射光の影響のない投影を観察できるようになる。すなわち、観察者に近い観点で好適な投影を行えるか否かを判断して動作することができる。
At this time, from the
その他のハードウエア部分及びその処理の説明については、第1の実施形態と同様であるので省略する。また、第2の実施形態の処理を第1の実施形態の処理と組み合わせて実施してもよい。 Description of other hardware parts and processing thereof is omitted because it is the same as in the first embodiment. Moreover, you may implement the process of 2nd Embodiment combining the process of 1st Embodiment.
以上説明したように、本発明第2の実施形態によれば、代替投影の動作を指定された狭範囲情報処理装置200は、広範囲情報処理装置300によるオブジェクトの現在の投影が自分の投影範囲内に含まれることを検知する。ここで障害物による影や、光沢による反射などが発生した場合、狭範囲情報処理装置200は、現在の投影の撮像画像と元のオブジェクト画像との一致度の低さから、現在の投影の異常を検知する。そして狭範囲情報処理装置200は代替投影を開始する。
As described above, according to the second embodiment of the present invention, the narrow-range
ユーザーはその代替投影により、影や光沢のない投影を引き続き得られるようになる。第1の実施形態同様にこの連携動作は、広範囲情報処理装置の投影内容および投影の位置を撮像した画像を認識して行うので、位置合わせ等の準備の手間がない。例えば、障害物の位置や反射光の影響を考慮して狭範囲情報処理装置200の設置場所を随時変更したとしても、ただちに連携して投影を代替させることができる。さらに、狭範囲情報処理装置200は自分で投影することが適切と判断したときのみ動作するので、投影の消費電力を節減する効果もある。ユーザーは代替投影でもより広範囲の投影を望むのであれば、狭範囲情報処理装置200の投影範囲を、広範囲情報処理装置300の投影範囲に合わせて拡大する調整を行ってもいい。
The alternative projection allows the user to continue to obtain a projection with no shadows or gloss. As in the first embodiment, this cooperative operation is performed by recognizing an image obtained by capturing the projection contents and the projection position of the wide-area information processing apparatus, so that there is no need for preparations such as alignment. For example, even if the installation location of the narrow-range
<第3の実施形態>
本発明第1、第2の実施形態の説明において、狭範囲情報処理装置200と広範囲情報処理装置300の間で投影オブジェクトの指示やデータをやりとりする部分に、両装置間直接あるいは仲介プログラムを通した機器間通信を用いる例を示した。
<Third Embodiment>
In the description of the first and second embodiments of the present invention, a direct or intermediary program between the two devices is passed to a part where projection object instructions and data are exchanged between the narrow-range
投影オブジェクトの指示やデータをやりとりする部分とは具体的に、情報処理装置200の代替待機モード403の動作では、広範囲情報処理装置300による現在の投影オブジェクトのデータを特定する部分(ステップS603)、狭範囲情報処理装置200から広範囲情報処理装置300に現在の投影の投影停止を要求する部分(ステップS607)である。狭範囲情報処理装置200の代替投影モード404の動作では、広範囲情報処理装置300に投影再開を要求する部分(ステップS706)である。
Specifically, in the operation of the
その他のハードウエア部分及びその処理の説明については、第1の実施形態と同様であるので省略する。 Description of other hardware parts and processing thereof is omitted because it is the same as in the first embodiment.
本発明第3の実施形態では、上記のような指示やデータをコード化して埋め込んだコード画像に変換し、狭範囲情報処理装置200および広範囲情報処理装置300がオブジェクトを投影する際このコード画像を付加することで広範囲情報処理装置への情報伝達を行う。ここで、コード画像としては、例えば一次元バーコードであればCODE39、二次元バーコードであればPDF417といった公知技術を用いる。狭範囲情報処理装置200および広範囲情報処理装置300の動作の流れは本発明第1の実施形態と同等で図4〜図7に対応するものとし、以下に相異点のみ説明する。
In the third embodiment of the present invention, the instructions and data as described above are encoded and embedded into a code image, and when the narrow area
まず、通常投影モード402の動作にある広範囲情報処理装置300が、図10のオブジェクト1001を投影する場合の例を図13(a)に示す。図13(a)の1301は、広範囲情報処理装置300によるオブジェクト1001の現在の投影、すなわち電子ドキュメントのデータ1011を画像化して投影したものである。1302は、投影1301に付加されたコード画像である。コード画像1302には少なくともオブジェクトのデータを特定するための情報として文字列“http://storage/document1.pdf”がコード化され埋め込まれている。もちろんオブジェクト1001の記述文字列全体を含んでいてもよい。
First, FIG. 13A shows an example in which the wide-area
一方、代替待機モード403の動作にある狭範囲情報処理装置200は、投影範囲211内にある現在の投影1301を撮像画像から検出したのち、現在の投影オブジェクトのデータを特定する図6ステップS603の処理において、このコード画像の情報を用いる。つまり撮像画像中から投影オブジェクトの近傍にあるコード画像を抽出し、デコードしてオブジェクトのデータを特定する情報を取り出す。コード画像の抽出には公知のバーコード抽出技術を用いればよい。図13(a)の例では、オブジェクトのデータが格納されたアドレス文字列“http://storage/document1.pdf”を得る。このアドレスをアクセスすることにより、狭範囲情報処理装置200は現在の投影オブジェクトのデータを得ることができる。これにより、オブジェクトのデータの特定に画像検索等の手段を用いる必要が無くなり、特定の誤りも無くなる。特に、本発明第2の実施形態で説明したように、現在の投影に影や光沢などの異常があり、画像検索の精度が期待どおりに得られない場合に効果がある。異常への耐性を強くするため、コード画像を投影の四辺など二箇所以上に付加してもよい。
On the other hand, the narrow-range
次に、代替待機モード403にある狭範囲情報処理装置200が、広範囲情報処理装置に現在の投影の投影停止を要求する場合を図13(b)により説明する。図13(b)にて、広範囲情報処理装置300が行う現在の投影1301、付随するコード画像1302に関しては図13(a)と同じである。ここで、図6のステップS607にある狭範囲情報処理装置200は、広範囲情報処理装置300に現在の投影1301の投影停止を指示するための停止指示マーク(パターン)1303をコード画像1302の隣に投影している。停止指示マーク1303の形状は一例であって、他の形状や、あるいはコード画像の形式をとっていてもよい。またその位置は停止指示対象となる現在の投影との関連がわかる位置であれば別の位置であってもよい。
Next, a case where the narrow area
一方、通常投影モード402にある広範囲情報処理装置300は、図5のステップS504にてこの停止指示マーク1303による停止指示を検知する。具体的には、広範囲情報処理装置300が撮像部102で得た投影範囲311の撮像画像から、現在の投影1301の近傍に停止指示マーク1303を抽出することによって検知する。検知した場合広範囲情報処理装置300は、ステップS507に進んで現在の投影1301の投影を停止する。このとき、投影停止を了解したことを狭範囲情報処理装置200に知らせるために、広範囲情報処理装置300が別の指示マーク(パターン)を現在の投影1301の近傍に投影してもよい。
On the other hand, the wide range
最後に、代替投影モード404にある狭範囲情報処理装置200が、広範囲情報処理装置に現在の投影の投影再開を要求する場合を図13(c)により説明する。図13(c)では、広範囲情報処理装置300に代替して狭範囲情報処理装置200が行う投影1304が示されている。投影1304に付随して、そのオブジェクトのデータを特定するコード画像1305が投影されてもよい。ここで、図7のステップS706にある狭範囲情報処理装置200は、広範囲情報処理装置300に図10のオブジェクト1001の投影再開を指示するための再開指示マーク1306(パターン)を投影する。停止指示マーク1303同様、再開指示マーク1306の形状や位置は別のものであってよい。
Finally, a case where the narrow area
一方、通常投影モード402にある広範囲情報処理装置300は、図5のステップS508にてこの再開指示マーク1306による停止指示を検知する。具体的には、広範囲情報処理装置300が撮像部102で得た投影範囲311の撮像画像から、再開指示マーク1306を抽出することによって検知する。検知した場合広範囲情報処理装置300は、ステップS503に進んで、停止していた投影を再開する。このとき広範囲情報処理装置300は、再開指示マーク1306の近傍にあるコード画像1305を抽出し、コード化された内容をデコードすることで、投影再開するオブジェクトのデータを特定するようにしてもよい。また、再開指示マーク1306は、投影再開時の投影位置や向きなどの指示情報を含むコード画像であってもよい。そうすることにより、同じ投影オブジェクトに対する情報処理装置の切り換えで生じる差を目立たないようにすることが可能である。
On the other hand, the wide range
以上説明したように、本発明第3の実施形態によれば、広範囲情報処理装置の投影範囲の少なくとも一部範囲を投影可能なように設置された情報処理装置が、広範囲情報処理装置が投影するオブジェクトを撮像し、その現在の投影が狭範囲情報処理装置の投影範囲内にあることを検知する。このとき、オブジェクトに付随して投影されたコード画像から、オブジェクトのデータを特定する。そして広範囲情報処理装置が行う現在の投影よりも、同オブジェクトを狭範囲情報処理装置で投影したほうがユーザーにとって好適な投影を提供できると判断すると、同オブジェクトの投影を開始する。 As described above, according to the third embodiment of the present invention, the information processing apparatus installed so as to project at least a part of the projection range of the wide-area information processing apparatus projects the wide-area information processing apparatus. The object is imaged, and it is detected that the current projection is within the projection range of the narrow range information processing apparatus. At this time, the data of the object is specified from the code image projected along with the object. Then, when it is determined that it is possible to provide a projection more suitable for the user by projecting the object with the narrow-range information processing device than the current projection performed by the wide-range information processing device, projection of the object is started.
この情報処理装置が同オブジェクトの投影を行っている間のみ、広範囲情報処理装置にその投影を停止させる目的で、停止あるいは再開指示を埋め込んだコード画像をオブジェクトに付随して投影する。その結果、複数の情報処理装置の連携動作として、ユーザーにとって好適な投影を提供可能な情報処理装置が、投影オブジェクト単位で選択されて投影を行うという動作が提供される。このときユーザーがオブジェクトの投影位置を移動しても、移動後の位置に対応して前記連携動作が提供される。また前記連携は、情報処理装置間で互いの投影内容および投影位置を認識して行うので、情報処理装置間の位置合わせ等の準備作業が必要なく、動作中に情報処理装置を移動したとしても連携動作を継続可能である、といった効果がある。 Only while the information processing apparatus is projecting the object, a code image in which a stop or restart instruction is embedded is projected along with the object for the purpose of stopping the projection of the wide area information processing apparatus. As a result, as a cooperative operation of a plurality of information processing apparatuses, an operation is performed in which an information processing apparatus capable of providing projection suitable for the user is selected and projected in units of projection objects. At this time, even if the user moves the projection position of the object, the cooperation operation is provided corresponding to the moved position. In addition, since the cooperation is performed by recognizing each other's projection contents and projection positions between the information processing apparatuses, preparation work such as alignment between the information processing apparatuses is not necessary, and even if the information processing apparatus is moved during operation There is an effect that the cooperative operation can be continued.
<その他の実施形態>
第1の実施形態の複数の情報処理装置は基本的に同じ構成となっている。第1の実施形態〜第3の実施形態で説明した投影制御を行うためのプログラムはいずれの情報処理装置においても格納されて、実行されることができる。つまり、すべての情報処理装置が該プログラムの実行環境を備える。そのために、該プログラムを格納する情報処理装置であれば、投影制御を行うことができる。また、複数の情報処理装置にそれぞれ該プログラムを格納した場合は、該プログラムを実行する情報処理装置はユーザーが設定することができる。
<Other embodiments>
The plurality of information processing apparatuses according to the first embodiment have basically the same configuration. The program for performing the projection control described in the first to third embodiments can be stored and executed in any information processing apparatus. That is, all information processing apparatuses have an execution environment for the program. Therefore, projection control can be performed with any information processing apparatus that stores the program. When the program is stored in each of a plurality of information processing apparatuses, the information processing apparatus that executes the program can be set by the user.
その他の実施形態として、該プログラムの実行環境を備える投影制御装置を情報処理装置から物理的に切り離した構成がある。つまり、共通のプログラム実行環境を情報処理装置の外部に設けることができる。 As another embodiment, there is a configuration in which a projection control apparatus having an execution environment for the program is physically separated from the information processing apparatus. That is, a common program execution environment can be provided outside the information processing apparatus.
その他の実施形態の構成の一例として、図14を用いて説明する。情報処理装置200、300はそれぞれ投影部201、301及び撮像部202、302、指示やデータをやりとりするための通信部206、306をそれぞれ備える。
An example of the configuration of another embodiment will be described with reference to FIG. The
制御装置400は、情報処理装置200、300の投影及び撮像を制御するためのプログラムや投影データを格納する記憶部405、該プログラムを実行するためのCPU401、指示やデータをやりとりするための通信部406、ユーザーの指示を受けるUI部403を備える。
The
以上に説明した構成では、制御装置400と情報処理装置200、300を切り離したことにより、情報処理装置200、300自体はよりシンプルな構成にできる。
In the configuration described above, by separating the
さらに、その他の実施形態の別の構成例として、情報処理装置200にある投影部201と撮像部202、及び/又は情報処理装置300にある投影部301と撮像部302をさらに分離して、それぞれ投影装置及び撮像装置として構成することもできる。分離されたそれぞれの投影装置及び撮像装置では、互いに連携して動作するための通信部を備える。
Furthermore, as another configuration example of the other embodiments, the
また、本発明の各実施形態において用いられるプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明の実施形態に含まれる。 Further, the program used in each embodiment of the present invention and a computer-readable recording medium storing the program are included in the embodiment of the present invention.
200 代替投影を行う情報処理装置
210 投影面
211 情報処理装置200の投影範囲
300 通常投影を行う情報処理装置
311 情報処理装置300の投影範囲
200 Information Processing Device that Performs
Claims (16)
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記他の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求手段と、
前記第一の投影手段に、前記重なる領域に投影させる制御手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus including a first projection unit that projects an image onto a first projection range, the information processing apparatus including a second projection unit that projects an image onto a second projection range having an area overlapping the first projection range The information processing apparatus capable of communicating with the information processing apparatus of
Requesting means for requesting the other information processing apparatus to stop projecting the overlapping region of the second projecting unit when the condition for projecting onto the overlapping region by the first projecting unit is satisfied,
Control means for causing the first projecting means to project onto the overlapping area;
An information processing apparatus comprising:
前記制御手段は、前記第一の投影手段による投影を停止させて、
前記要求手段は、前記他の情報処理装置に、前記第二の投影手段による投影の再開を要求することを特徴とする請求項1記載の情報処理装置。 When the condition is not satisfied after the first projecting means projects,
The control means stops the projection by the first projection means,
The information processing apparatus according to claim 1, wherein the request unit requests the other information processing apparatus to resume projection by the second projection unit.
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の投影手段による前記重なる領域に対する投影を停止させる制御手段と、
前記他の情報処理装置に、前記重なる領域に対する前記第一の投影手段による投影を要求する要求手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising second projection means for projecting an image onto the second projection range, comprising: first projection means for projecting an image onto the first projection range having an area overlapping the second projection range The information processing apparatus capable of communicating with the information processing apparatus of
Control means for stopping projection of the overlapping region by the second projecting unit when a condition for projecting to the overlapping region by the first projecting unit is satisfied;
Request means for requesting the other information processing apparatus to perform projection by the first projection means for the overlapping area;
An information processing apparatus comprising:
前記要求手段は、前記他の情報処理装置に、前記第一の投影手段による投影の停止を要求し、
前記制御手段は、前記第二の投影手段による投影を再開することを特徴とする請求項9記載の情報処理装置。 When the condition is not satisfied after the first projecting means projects,
The request unit requests the other information processing apparatus to stop projection by the first projection unit,
The information processing apparatus according to claim 9, wherein the control unit resumes projection by the second projection unit.
前記重なる領域に前記第一投影手段により投影する条件を満たす場合に、前記第二情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影を停止することを要求し、前記第一情報処理装置に、前記重なる領域に対する投影を要求する要求手段と、
を備えることを特徴とする制御装置。 A first information processing apparatus comprising a first projection means for projecting an image onto the first projection range; and a second projection means for projecting an image onto a second projection range having a region overlapping the first projection range. A control device capable of communicating with the two information processing devices,
When the condition for projecting onto the overlapping area by the first projecting unit is satisfied, the second information processing apparatus is requested to stop the projection on the overlapping area of the second projecting unit, and the first information Request means for requesting the processing device to project the overlapping area;
A control device comprising:
第一の情報処理装置は、第一投影範囲に画像を投影する第一の投影手段を備え、
第二の情報処理装置は、前記第一投影範囲と重なる領域を持つ第二投影範囲に画像を投影する第二の投影手段を備え、
前記制御装置は、前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影を停止することを要求し、前記第一の情報処理装置に、前記重なる領域に投影を要求する要求手段を備えることを特徴とする情報処理システム。 In an information processing system comprising a plurality of information processing devices and a control device capable of communicating with the information processing devices,
The first information processing apparatus includes first projection means for projecting an image to the first projection range,
The second information processing apparatus includes a second projecting unit that projects an image onto a second projection range having an area overlapping the first projection range,
The control device causes the second information processing apparatus to stop projecting the overlapping region of the second projecting unit when the condition for projecting by the first projecting unit to the overlapping region is satisfied. An information processing system comprising: requesting means for requesting the first information processing apparatus to request projection to the overlapping area.
第一の情報処理装置の第一の投影手段の第一投影範囲と、第二の情報処理装置の第二の投影手段の第二投影範囲と重なる領域に、前記第二の投影手段が画像を投影する投影工程と、
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求工程と、
前記第一の情報処理装置の制御手段が、前記第一の投影手段に、前記重なる領域に投影させる制御工程と、
を備えることを特徴とする情報処理方法。 An information processing method for a plurality of information processing devices,
The second projection unit displays an image in an area overlapping the first projection range of the first projection unit of the first information processing apparatus and the second projection range of the second projection unit of the second information processing apparatus. A projection step of projecting;
A requesting step of requesting the second information processing apparatus to stop projecting the overlapping region of the second projecting unit when a condition for projecting to the overlapping region by the first projecting unit is satisfied;
A control step in which the control means of the first information processing apparatus causes the first projection means to project onto the overlapping region;
An information processing method comprising:
第一の情報処理装置の第一の投影手段の第一投影範囲と、第二の情報処理装置の第二の投影手段の第二投影範囲と重なる領域に、前記第二の投影手段が画像を投影する投影手順と、
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求手順と、
前記第一の情報処理装置の制御手段が、前記第一の投影手段に、前記重なる領域に投影させる制御手順と、
を実行させるためのプログラム。 In the computer, the second projection means is in a region overlapping the first projection range of the first projection means of the first information processing apparatus and the second projection range of the second projection means of the second information processing apparatus. A projection procedure for projecting an image;
A request procedure for requesting the second information processing apparatus to stop projecting the overlapping region when the condition for projecting onto the overlapping region by the first projecting unit is satisfied;
A control procedure in which the control means of the first information processing apparatus causes the first projection means to project the overlapping area;
A program for running
第一の情報処理装置の第一の投影手段の第一投影範囲と、第二の情報処理装置の第二の投影手段の第二投影範囲と重なる領域に、前記第二の投影手段が画像を投影する投影工程と、
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求工程と、
制御装置が、前記第一の投影手段に、前記重なる領域に投影させる制御工程と、
を備えることを特徴とする情報処理方法。 An information processing method,
The second projection unit displays an image in an area overlapping the first projection range of the first projection unit of the first information processing apparatus and the second projection range of the second projection unit of the second information processing apparatus. A projection step of projecting;
A requesting step of requesting the second information processing apparatus to stop projecting the overlapping region of the second projecting unit when a condition for projecting to the overlapping region by the first projecting unit is satisfied;
A control step in which the control device causes the first projecting means to project onto the overlapping region;
An information processing method comprising:
第一の情報処理装置の第一の投影手段の第一投影範囲と、第二の情報処理装置の第二の投影手段の第二投影範囲と重なる領域に、前記第二の投影手段が画像を投影する投影手順と、
前記重なる領域に前記第一の投影手段により投影する条件を満たす場合に、前記第二の情報処理装置に、前記第二の投影手段の前記重なる領域に対する投影の停止を要求する要求手順と、
制御装置が、前記第一の投影手段に、前記重なる領域に投影させる制御手順と、
を実行させるためのプログラム。
In the computer, the second projection means is in a region overlapping the first projection range of the first projection means of the first information processing apparatus and the second projection range of the second projection means of the second information processing apparatus. A projection procedure for projecting an image;
A request procedure for requesting the second information processing apparatus to stop projecting the overlapping region when the condition for projecting onto the overlapping region by the first projecting unit is satisfied;
A control procedure in which the control device causes the first projecting unit to project onto the overlapping region;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013261499A JP2015119339A (en) | 2013-12-18 | 2013-12-18 | Information processing device, control device of the same, information processing system, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013261499A JP2015119339A (en) | 2013-12-18 | 2013-12-18 | Information processing device, control device of the same, information processing system, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015119339A true JP2015119339A (en) | 2015-06-25 |
Family
ID=53531704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013261499A Pending JP2015119339A (en) | 2013-12-18 | 2013-12-18 | Information processing device, control device of the same, information processing system, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015119339A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154609A1 (en) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2020116100A1 (en) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | Information processing device, information processing method, program, and projection system |
-
2013
- 2013-12-18 JP JP2013261499A patent/JP2015119339A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154609A1 (en) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | Information processing device, information processing method, and program |
CN108701440A (en) * | 2016-03-10 | 2018-10-23 | 索尼公司 | Information processing equipment, information processing method and program |
JPWO2017154609A1 (en) * | 2016-03-10 | 2019-01-10 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
CN108701440B (en) * | 2016-03-10 | 2021-10-15 | 索尼公司 | Information processing apparatus, information processing method, and program |
US11269250B2 (en) | 2016-03-10 | 2022-03-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2020116100A1 (en) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | Information processing device, information processing method, program, and projection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
US11245806B2 (en) | Method and apparatus for scanning and printing a 3D object | |
US9117274B2 (en) | System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors | |
JP6525611B2 (en) | Image processing apparatus and control method thereof | |
JP6689559B2 (en) | Image projection apparatus, system, image projection method and program | |
US9740953B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
JP5691802B2 (en) | Projection system, projection apparatus, projection method, and control program | |
JP6253127B2 (en) | Information provision device | |
US20160246548A1 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
JP2012238293A (en) | Input device | |
US20160300321A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
JP2016103137A (en) | User interface system, image processor and control program | |
WO2013121770A1 (en) | Image processing apparatus, method for controlling the same, and storage medium | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
JP2015119339A (en) | Information processing device, control device of the same, information processing system, information processing method, and program | |
JP2016076853A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP6057407B2 (en) | Touch position input device and touch position input method | |
JP2016091193A (en) | Image processor, image processing method and program | |
CN104111781A (en) | Image display control method and terminal | |
JP2014116857A (en) | Information processing device, electronic conference system, information processing method, and program | |
US11915356B2 (en) | Semi-automatic 3D scene optimization with user-provided constraints | |
JP6900115B2 (en) | Projector system and program for projector system | |
JP2016212811A (en) | Full size image generating program, full size image generating device, and full size image generating method | |
JP2024032043A (en) | Detection method, detection device and program |