JP2005165864A - Command input method, image display method and image display device - Google Patents
Command input method, image display method and image display device Download PDFInfo
- Publication number
- JP2005165864A JP2005165864A JP2003406260A JP2003406260A JP2005165864A JP 2005165864 A JP2005165864 A JP 2005165864A JP 2003406260 A JP2003406260 A JP 2003406260A JP 2003406260 A JP2003406260 A JP 2003406260A JP 2005165864 A JP2005165864 A JP 2005165864A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- display screen
- unit
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、物体の識別情報及び移動情報に応じて情報機器やロボットなどの装置にコマンドを入力したり表示画像を操作することや、投影画像が表示される表示画面上に載置した物体を操作したり、表示画面にマーカ等を用いて描画することにより、投影画像に対してそれらの物体や描画に応じた変化が与えられる仕組みを構築し、マン・マシン・インタフェースを向上させたコマンド入力方法、画像表示方法及び画像表示装置に関する。 According to the present invention, a command is input to an apparatus such as an information device or a robot according to object identification information and movement information, a display image is manipulated, and an object placed on a display screen on which a projection image is displayed is displayed. Command input that improves the man-machine interface by constructing a mechanism that can change the projection image according to the object or drawing by operating or drawing with a marker etc. on the display screen The present invention relates to a method, an image display method, and an image display apparatus.
今日、コンピュータをはじめとする情報機器の高度化、多様化は目覚しいものがあり、情報機器を用いたさまざまシステムが開発、導入されている。しかしながら、そのようなシステムが普及すればするほど、それらシステム全体の機能的、かつ効率的なオペレーションの重要性が増大しつつある。そのため、システムを操作する人間と、システムを構成するコンピュータなどの情報機器の特性を考慮した調和のとれた、人間との親和性の高いシステムの構築が不可欠となっている。特に、人間と機械とが協力して複雑な仕事を効率的に処理するマンマシンシステムなどにおいては、ユーザインタフェース、特に入出力機器の操作性が重要な要素になっている。 Today, there is a remarkable advancement and diversification of information devices including computers, and various systems using information devices have been developed and introduced. However, as such systems become more widespread, the importance of functional and efficient operation of the entire system is increasing. For this reason, it is indispensable to construct a system with high compatibility with human beings that takes into account the characteristics of humans who operate the system and information devices such as computers constituting the system. In particular, in man-machine systems in which humans and machines cooperate to efficiently process complex work, user interface, especially operability of input / output devices, is an important factor.
すなわち、人間がその感覚器を用いて知覚可能な情報による外部表現としての出力インタフェース、および人間がその手や体を用いて情報を操作可能にするための制御機構としての入力インタフェースが重要であるとされる。 In other words, an output interface as an external representation of information perceivable by humans using its sensory organs and an input interface as a control mechanism for enabling humans to manipulate information using their hands and bodies are important It is said.
今日、ＧＵＩ（グラフィカルユーザインタフェース）に対しマウスなどを用いたインタラクションが盛んに採用されている。しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、間接的な操作であり、直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース（Ｔａｎｇｉｂｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」が提唱されている。ＴＵＩにおいては、Ｔａｎｇｉｂｌｅ ｂｉｔと称する物体による操作を可能にする仕組みが設けられている（非特許文献１参照）。 Today, interaction using a mouse or the like is actively adopted for GUI (graphical user interface). However, these GUIs are visual and auditory interactions and are indirect operations. Under the idea that tactile feedback specific to individual information is necessary to improve direct operability, “Tangible User Interface that fuses information and physical world” has been proposed. In the TUI, a mechanism that enables an operation with an object called a tangible bit is provided (see Non-Patent Document 1).
また、Ｓｅｎｓｅ Ｔａｂｌｅと称する表示画面上に複数のワイヤレスな物体の位置と方向を電磁的に探知するシステムについて紹介し、さらに探知方法に関し、例えばコンピュータビジョンを導入した２つの改良例についても紹介されている。改良例の１つは、光の吸収や変化に反応することなく迅速かつ正確に物体を探知するシステムであり、他の改良例は、探知された物体がその状態を修正可能にする物理的なダイアルと修正器を備えたシステムである。なお、システムは、変化をリアルタイムに検出することができるようになっている（非特許文献２参照。）
そのほか、液晶プロジェクタの表示画面に画像を投影し、その表示画面の上方に設けたカメラでその表示画面上に置かれた物体や手を認識するようにしたシステムも開示されている。
In addition, a system that electromagnetically detects the position and direction of a plurality of wireless objects on a display screen called Sense Table is introduced, and further, regarding the detection method, for example, two improved examples introducing computer vision are also introduced. Yes. One improvement is a system that quickly and accurately detects an object without reacting to light absorption or change, and another improvement is a physical that allows the detected object to correct its state. A system with a dial and a corrector. Note that the system can detect changes in real time (see Non-Patent Document 2).
In addition, a system is also disclosed in which an image is projected onto a display screen of a liquid crystal projector, and an object or a hand placed on the display screen is recognized by a camera provided above the display screen.
一方、仮想空間内のＣＧ（コンピュータグラフィックス）で表されたモデル（仮想物体）の動きや形状を、認識対象の動きや位置などの情報を基に制御するバーチャル・リアリティーに関する技術開発が、映画や放送などの分野で盛んに行われている。 On the other hand, technical development related to virtual reality that controls the movement and shape of a model (virtual object) represented by CG (computer graphics) in a virtual space based on information such as movement and position of a recognition target It is actively performed in the fields of broadcasting and broadcasting.
しかしながら、仮想空間による臨場感を高めるためには特殊なウエアやジョイスティックなどの特殊な装置が必要となる上、仮想空間内の物体を制御して違和感なく仮想物体との融合を図るまでにはいたっていない。そこで、認識対象の位置と方向に関する情報を抽出し、その抽出された情報に基づいて、認識対象に対応する仮想空間内の制御対象を制御する技術が開示されている（特許文献１）。 However, special equipment such as special wear and joysticks is required to enhance the sense of reality in the virtual space, and it is necessary to control the objects in the virtual space and achieve fusion with the virtual objects without a sense of incongruity. Not in. Therefore, a technique for extracting information on the position and direction of the recognition target and controlling the control target in the virtual space corresponding to the recognition target based on the extracted information is disclosed (Patent Document 1).
また、一般事業所においては、意思決定やアイデンティティー獲得を目的とする会議などの場において、プロジェクタや電子黒板などの投影型表示装置を用いて視覚に訴える方法が盛んに用いられている。しかしながら、ＴＰＯ（Ｔｉｍｅ Ｐｌａｃｅ Ｏｃｃａｔｉｏｎ）に応じて、表示された画像に重畳させて文字や絵などを書き加えることや、書き加えられた文字などを電子データとして取り込む機能が必要であるとの根強い要望がある。 Further, in general offices, a method of appealing visually using a projection display device such as a projector or an electronic blackboard is actively used in a meeting for the purpose of making a decision or acquiring an identity. However, there is a persistent demand that a function for adding characters and pictures to be superimposed on the displayed image and capturing the added characters as electronic data in accordance with TPO (Time Place Occlusion) is required. There is.
このため、投影画像が表示される投影面に画像を書き込むことができる上、その書き込まれた画像を撮影する撮影部や元の画像に書き加えた画像を元の画像と合成する合成手段を設けたものがある（特許文献２参照）。
しかしながら、文献１に開示された技術では、仮想空間内に動きのある対象物を表示させるためには、表示させたい現実の認識対象物を準備して、その現実の認識対象物を仮想空間内の対象物に与えたい動き通りに実際に動かしてやる必要がある。また、文献２に開示された技術では、投影面に書き込んだ画像そのものを表示することや、電子データとして保存することはできるが、投影されている画像を書き込んだ画像で操作することまではできない。 However, in the technique disclosed in Document 1, in order to display a moving object in the virtual space, an actual recognition object to be displayed is prepared, and the actual recognition object is placed in the virtual space. It is necessary to actually move according to the movement to be given to the object. The technique disclosed in Document 2 can display the image itself written on the projection surface and save it as electronic data, but cannot operate the projected image with the written image. .
本発明は、上記事情に鑑み、現実の認識対象物を準備する煩わしさを回避することができる上、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力を可能にしたり、キーボードによるコマンド投入や、マウスによるメニュー選択を行うなどの煩わしい操作をすることなく、表示画面に所定形状を有する物体を置いて、人がその物体を移動させるだけの簡単な操作により、表示画面に表示された画像を操ることが可能な、コマンド入力方法、画像表示方法及び画像表示装置を提供することを目的とする。 In view of the above circumstances, the present invention can avoid the hassle of preparing an actual recognition object, and also enables command input to operate the device and the display image according to the object identification information and movement information. Without a troublesome operation such as inputting commands using the keyboard or selecting menus using the mouse, the display screen can be displayed by simply placing an object with a predetermined shape on the display screen and moving the object. An object of the present invention is to provide a command input method, an image display method, and an image display device that can manipulate an image displayed on the screen.
上記の目的を達成する本発明のコマンド入力方法は、物体の識別情報及び移動情報を取得し、取得された情報に応じて所定の装置にコマンドを入力することを特徴とする。 The command input method of the present invention that achieves the above-described object is characterized in that object identification information and movement information are acquired and a command is input to a predetermined device in accordance with the acquired information.
このように物体の識別情報及び移動情報に応じて装置にコマンドが入力されるので煩わしい操作が不要となる。 In this way, since commands are input to the apparatus in accordance with object identification information and movement information, troublesome operations are not required.
上記の目的を達成する本発明のコマンド入力方法は、物体を撮影し、取得された該物体の識別情報及び移動情報に応じて所定の装置にコマンドを入力することを特徴とする。 The command input method of the present invention that achieves the above object is characterized in that an object is photographed and a command is input to a predetermined device in accordance with the acquired identification information and movement information of the object.
このように物体を撮影することにより得られた識別情報及び移動情報に応じて装置にコマンドが入力されるので操作が簡単になる。 Since commands are input to the apparatus according to the identification information and movement information obtained by photographing an object in this way, the operation is simplified.
上記の目的を達成する本発明の画像表示方法は、物体を撮影し、取得された該物体の識別情報及び移動情報に応じて表示画面に表示される画像を操作することを特徴とする。 The image display method of the present invention that achieves the above object is characterized in that an object is photographed and an image displayed on a display screen is manipulated in accordance with the acquired identification information and movement information of the object.
このように物体を撮影することにより得られた識別情報及び移動情報に応じて装置にコマンドが入力されるので表示画面に表示される画像を簡単に操ることが可能になる。 Since commands are input to the apparatus in accordance with identification information and movement information obtained by photographing an object in this way, an image displayed on the display screen can be easily manipulated.
上記の目的を達成する本発明の画像表示方法は、裏面側から画像が投影され、該裏面側とは反対側の表面側に投影された画像が表示される表示画面の該表面側に載置された所定形状の物体を、該裏面側から撮像素子で撮影し、得られた撮像データに基づいて、該表示画面の該裏面側に投影される画像を操作することを特徴とする。 The image display method of the present invention that achieves the above object is placed on the front side of a display screen on which an image is projected from the back side and an image projected on the surface side opposite to the back side is displayed. The object having a predetermined shape is photographed with an image sensor from the back side, and an image projected on the back side of the display screen is operated based on the obtained imaging data.
このように、表示画面に画像を表示する一方、表示画面上に固有の情報を与えた物体を載せ、人がその物体を操作すると、その物体を裏面側から撮影して、その物体の固有の情報や動きの情報が伝達され、その伝達された情報により表示された画像を操作し、変化させることができるので、画像操作に臨場感を与えつつ表示画面に表示される画像を簡単に操ることが可能になる。 In this way, while displaying an image on the display screen, an object with specific information is placed on the display screen, and when a person operates the object, the object is photographed from the back side, Because information and movement information is transmitted and the displayed image can be manipulated and changed by the transmitted information, the image displayed on the display screen can be easily manipulated while giving a sense of reality to the image operation. Is possible.
上記の目的を達成する本発明の画像表示装置は、裏面側から画像が投影され、該裏面側とは反対側の表面側に投影された画像が表示される表示画面と、
上記表示画面に投影される所定の画像を形成する投影画像形成部と、
上記表示画面の上記表面側に載置された所定形状の物体の底面及び該底面に付された識別子を、上記裏面側から撮影して撮像データを得る撮像部と、
上記撮像データに基づいて上記物体の識別情報および移動情報を取得する物体認識部と、
上記物体の識別情報および移動情報に基づいて、上記投影画像形成部が形成する上記画像を操作する操作処理部とを備えたことを特徴とする。
The image display device of the present invention that achieves the above object is a display screen on which an image is projected from the back side, and an image projected on the surface side opposite to the back side is displayed.
A projection image forming unit for forming a predetermined image projected on the display screen;
An imaging unit that captures an image of the bottom surface of an object having a predetermined shape placed on the front surface side of the display screen and an identifier attached to the bottom surface from the back surface side;
An object recognition unit that acquires identification information and movement information of the object based on the imaging data;
And an operation processing unit that operates the image formed by the projection image forming unit based on the identification information and the movement information of the object.
このように、表示画面の裏面から画像を投影するので、表面側に人手による線図などを描画することが可能になり、また、物体の底面や底面に付された識別子により識別情報や移動情報を取得し、取得した情報に基づいて投影画像を操作し、変化させることができるので、画像操作に臨場感を与えつつ表示画面に表示される画像を簡単に操ることが可能になる。 In this way, since the image is projected from the back surface of the display screen, it is possible to draw a manual diagram on the front surface side, and the identification information and movement information by the identifier attached to the bottom surface and bottom surface of the object Since the projection image can be manipulated and changed based on the obtained information, it is possible to easily manipulate the image displayed on the display screen while giving a sense of reality to the image manipulation.
本発明のコマンド入力方法、画像表示方法及び画像表示装置によれば、物体の形状や移動ベクトルによってロボットや情報機器などの装置に所定の指令を簡単操作で送ることが可能となる。また表示画面に載置したり、移動させる物体の底面に、コマンドに代わる、固有の意義を有する識別子が付されており、物体の底面や識別子を認識すること、物体の移動ベクトルを認識して所定の情報を得ることができる上、得られら情報を伝達することにより表示画面に投影される画像に新たな画像を加えたり、投影される画像にアクションを加えることができる。また、表示画面に人手により描画された線図に、コマンドに代わる、固有の意義を与えることにより、線図を、物体の底面や識別子の補助的手段として用いることもできる。したがって、表示画面に置かれた所定の物体を人手で動かすや線図をマーカなどで描画することにより、表示画面に表示される投影画像を、臨場感を与えつつ簡単に繰ることが可能になり、操作性が著しく向上する。 According to the command input method, the image display method, and the image display device of the present invention, it is possible to send a predetermined command to a device such as a robot or an information device by a simple operation according to the shape or movement vector of an object. In addition, an identifier that has a unique meaning instead of a command is attached to the bottom surface of the object that is placed on the display screen or moved, and recognizes the bottom surface and identifier of the object, and recognizes the movement vector of the object. In addition to obtaining predetermined information, by transmitting the obtained information, a new image can be added to the image projected on the display screen, and an action can be added to the projected image. Further, by giving a unique meaning instead of a command to a diagram drawn manually on the display screen, the diagram can be used as an auxiliary means for the bottom surface of the object or an identifier. Therefore, it is possible to easily repeat the projected image displayed on the display screen while giving a sense of reality by manually moving a predetermined object placed on the display screen or drawing a diagram with a marker or the like. The operability is remarkably improved.
以下に、本発明のコマンド入力方法、及び画像表示方法を使用した、本発明の画像表示装置の実施形態について説明する。
（第１の実施形態）
図１及び図２は、本発明の画像表示装置の第１の実施形態を示す概略図であり、図１は概略斜視図、図２は概略断面図である。
Hereinafter, an embodiment of the image display device of the present invention using the command input method and the image display method of the present invention will be described.
(First embodiment)
1 and 2 are schematic views showing a first embodiment of the image display device of the present invention, FIG. 1 is a schematic perspective view, and FIG. 2 is a schematic cross-sectional view.
図１に示すように、第１の実施形態の画像表示装置は、矩形の平面部１０を有し、デスク状の表示部１と、図示しない本体部２とを備えている。 As shown in FIG. 1, the image display apparatus according to the first embodiment includes a rectangular plane portion 10 and includes a desk-like display portion 1 and a main body portion 2 (not shown).
表示部１は、矩形の平面部１０の中央部分に、内部から投影された画像が表示される矩形のスクリーン（本発明の表示画面に相当する。）１１を備えている。 The display unit 1 includes a rectangular screen (corresponding to a display screen of the present invention) 11 on which an image projected from the inside is displayed at a central portion of a rectangular plane unit 10.
図２に示すように、画像表示装置の表示部１は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影するＣＣＤカメラ（本発明の撮像部に相当する。）１４とを備えている。そして筐体１２内に配置されたＣＣＤカメラ１４と図示しない本体部（物体領域抽出部）２とはコードで接続され、筐体１２内に配置されたプロジェクタ１３と図示しない本体部（投影画像形成部）とは光学的に結合されている。 As shown in FIG. 2, the display unit 1 of the image display device is provided in the casing 12, the flat part 10 in which the screen 11 is fitted in the center part, the casing 12 that supports the flat part 10, and the screen 11. And a CCD camera (corresponding to the imaging unit of the present invention) 14 that images the screen 11 from the back side, which is disposed at a position where the entire back side of the screen 11 has a viewing angle 14a. I have. The CCD camera 14 arranged in the housing 12 and a main body (not shown) (not shown) 2 are connected by a cord, and the projector 13 arranged in the housing 12 and a main body (not shown) (projected image formation). Part).
スクリーン１１は、２重構造をなし、スクリーンの裏面側には投影画像が投影される投影面１１ａが設けられ、スクリーンの表面側には水性ペンやホワイトボード用マーカなどを用いて描画可能な書き込み面１１ｂが設けられ、投影面１１ａと書き込み面１１ｂとは密着させて一体化されている。書き込み面１１ｂ及び投影面１１ａはともに透明であるが、投影面１１ａの書き込み面１１ｂと密着する側の表面には微小な凹凸が設けてあり、投影面１１ａに画像が投影されると、その光はわずかに散乱して透過するので、書き込み面１１ｂが設けられたスクリーン１１表面側の上方の、いろいろな角度からその投影された画像を視認することができるように構成されている。 The screen 11 has a double structure, a projection surface 11a on which a projection image is projected is provided on the back side of the screen, and writing that can be drawn using an aqueous pen, a whiteboard marker, or the like on the front side of the screen. A surface 11b is provided, and the projection surface 11a and the writing surface 11b are in close contact with each other. The writing surface 11b and the projection surface 11a are both transparent, but there are minute irregularities on the surface of the projection surface 11a that is in close contact with the writing surface 11b, and when an image is projected onto the projection surface 11a, the light Is slightly scattered and transmitted, so that the projected image can be viewed from various angles above the surface of the screen 11 provided with the writing surface 11b.
ここで、書き込み面１１ｂの表面には傷が付きにくいように、透明保護シートを被覆することにしてもよく、また透明な塗料などによりコーテイングすることにしてもよい。 Here, the surface of the writing surface 11b may be covered with a transparent protective sheet so as to be hardly damaged, or may be coated with a transparent paint or the like.
本体部２は、ＣＣＤカメラ１４で撮影された物体の底面の撮像を認識して物体の情報（識別情報および移動情報のうちの何れか一方または双方）を取得し、取得された情報に応じてプロジェクタ１３からスクリーン１１の裏面側に投影される投影画像を操作することができる。 The main body 2 recognizes imaging of the bottom surface of the object photographed by the CCD camera 14 and acquires object information (one or both of identification information and movement information), and according to the acquired information. A projected image projected from the projector 13 to the back side of the screen 11 can be manipulated.
ここで、本体部２は、本実施形態の画像表示装置専用に作成されたものであっても、パーソナルコンピュータに所定のソフトウエアがインストールされたものであってもよく、さらに、筐体１２内に配置されたものであってもよい。 Here, the main body unit 2 may be created exclusively for the image display apparatus of the present embodiment, or may be one in which predetermined software is installed in a personal computer. It may be arranged in.
プロジェクタ１３は、反射ミラーやビームスプリッターなどの光学系により本体部２のディスプレイと結合され、本体部２で形成された所望の画像をスクリーン１１の投影面１１ａに投影することができる。 The projector 13 is coupled to the display of the main body 2 by an optical system such as a reflection mirror and a beam splitter, and can project a desired image formed by the main body 2 on the projection surface 11 a of the screen 11.
ＣＣＤカメラ１４は、例えばＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを介して本体部２にコードで接続され、スクリーン１１の表面側、すなわち書き込み面１１ａに載置された物体や描画された図形などをスクリーン１１の裏面側、すなわち投影面１１ａ側から所定の時間間隔で連続撮影し、撮像データを得ることができる。 The CCD camera 14 is connected to the main unit 2 with a cord via, for example, a USB (Universal Serial Bus) interface, and can display an object placed on the surface side of the screen 11, that is, the writing surface 11a, a drawn figure, or the like. Imaging data can be obtained by continuously capturing images from the back side of the screen 11, that is, the projection surface 11a side at predetermined time intervals.
次に、本実施形態の画像表示装置の作用について説明する。 Next, the operation of the image display device of this embodiment will be described.
本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。 The image formed by the main body 2 is projected on the back side of the screen 11 by the projector 13, and a person on the front side of the screen 11 can visually recognize the projected image.
また、物体の底面に、予めパターンが登録された識別コード（例えば、形状とサイズにより識別されるマーク）を付し、その物体をスクリーン１１の表面側に載置すると、スクリーン１１を介して裏面側からその底面に付された識別コードをＣＣＤカメラ１４で撮影することができる。ＣＣＤカメラ１４で撮影された識別コードの撮像データは本体部２に送られる。 Further, when an identification code (for example, a mark identified by a shape and a size) in which a pattern is registered in advance is attached to the bottom surface of the object and the object is placed on the front side of the screen 11, The identification code attached to the bottom surface from the side can be photographed by the CCD camera 14. The imaging data of the identification code photographed by the CCD camera 14 is sent to the main unit 2.
本体部２では、送られた撮像データから、物体が置かれた位置及び物体の識別情報を取得することができる。本体部２には、いろいろな方向を向いた識別コードが撮影された撮像データがパターン認識用辞書として登録されているので、送られた撮像データとそのパターン認識用辞書とを対比して識別コードをパターン認識することができる。識別コードには、コンテンツを構成する素材やその素材の動きの情報をくくりつけておくことができる。また、物体を人が移動させたときは、連続撮影された撮像データからその物体の移動ベクトルを求め、スクリーンに投影されている画像にその移動ベクトルに応じた動きを与えることもできる。 In the main body 2, the position where the object is placed and the identification information of the object can be acquired from the sent imaging data. In the main body 2, imaging data obtained by photographing identification codes facing various directions is registered as a pattern recognition dictionary. Therefore, the identification code is compared with the sent imaging data and the pattern recognition dictionary. Can be recognized. In the identification code, information constituting the content and movement of the material can be attached. Also, when a person moves an object, a movement vector of the object can be obtained from continuously captured image data, and a motion corresponding to the movement vector can be given to an image projected on the screen.
図３は、本実施形態の画像表示装置の本体部を示す図である。 FIG. 3 is a diagram illustrating a main body of the image display apparatus according to the present embodiment.
図３に示すように、本体部２は、ＣＣＤカメラ１４とのインタフェースを有し、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン１１上の位置、底面の輪郭および識別コードの情報を抽出する物体領域抽出部２１と、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１により抽出された識別コードの情報を、予めメモリに記憶された、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る物体認識部２２と、物体認識部２２で得た識別情報及び物体の方向に関する情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３とを備えている。 As shown in FIG. 3, the main unit 2 has an interface with the CCD camera 14, binarizes imaging data captured by the CCD camera 14, and positions on the screen 11 on which an object is placed, An object region extraction unit 21 that extracts information on the bottom contour and identification code and an interface with the projector 13 form an image projected from the back side of the screen 11 by the projector 13 according to a predetermined application program 24a. The information of the identification code extracted by the projection image forming unit 24 and the object region extraction unit 21 is subjected to pattern matching with a pattern recognition dictionary stored in advance in memory, and the object identification information and the direction of the object are related. The object recognition unit 22 for obtaining information, and the identification information obtained by the object recognition unit 22 and information on the direction of the object Zui and, and an operation processing unit 23 for operating the image projected from the projector by adding new content and actions to the image formed on the basis of a predetermined application program 24a in the projection image forming unit 24.
投影画像形成部２４は、アプリケーション・プログラム２４ａに従って形成された画像をプロジェクタ１３に送り、プロジェクタ１３は、スクリーン１１の裏面側にその画像を投影する。
投影された画像は、スクリーン１１の表面側から視認することができるので、その画像を視認した人が、そのスクリーン１１の表面側に予め準備された複数の物体を載置する。
The projection image forming unit 24 sends an image formed according to the application program 24 a to the projector 13, and the projector 13 projects the image on the back side of the screen 11.
Since the projected image can be viewed from the surface side of the screen 11, a person who viewed the image places a plurality of objects prepared in advance on the surface side of the screen 11.
ＣＣＤカメラ１４は、その複数の物体の底面を撮影して撮像データを得る。その物体の底面には、識別コードが付されており、撮像データにはその識別コードの情報が含まれている。 The CCD camera 14 captures image data by photographing the bottom surfaces of the plurality of objects. An identification code is attached to the bottom surface of the object, and the image data includes information on the identification code.
物体領域抽出部２１は、その撮像データを解析して物体の配置位置、底面の輪郭および識別コードの情報を抽出する。そして、抽出された情報は、物体認識部２２に送られる。このとき、物体の底面の輪郭の情報は、投影画像形成部２４にも送られる。投影画像形成部２４は、その情報により物体がスクリーン１１上に載せられたことを検出することができるので、投影面１１ａの、その物体の底面を含む領域が一様に白くなるような光画像を所定の時間間隔でプロジェクタ１３に送る。 The object region extraction unit 21 analyzes the imaging data and extracts information on the object arrangement position, the contour of the bottom surface, and the identification code. Then, the extracted information is sent to the object recognition unit 22. At this time, information on the contour of the bottom surface of the object is also sent to the projection image forming unit 24. Since the projection image forming unit 24 can detect that the object is placed on the screen 11 based on the information, the optical image in which the region including the bottom surface of the projection surface 11a is uniformly whitened. Are sent to the projector 13 at predetermined time intervals.
このように物体の底面を含む領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときに物体の底面の輪郭や識別コードの情報をより鮮明に捉えることができる。 By projecting an optical image in which the area including the bottom surface of the object is uniformly white as described above, the imaging data captured by the CCD camera 14 is converted into the contour of the bottom surface of the object when binarized. The information of the identification code can be captured more clearly.
物体認識部２２は、物体領域抽出部２１により抽出された識別コードにより、パターン認識用辞書を用いて物体の識別情報を取得することができるので、その識別情報に応じた所定のデータを操作処理部２３に送る。操作処理部２３は、その送られたデータをアプリケーション・プログラム２４ａに加え、投影画像形成部２４により形成される画像を操作する。 The object recognition unit 22 can acquire the identification information of the object using the pattern recognition dictionary by the identification code extracted by the object region extraction unit 21, so that the predetermined data corresponding to the identification information is manipulated. Send to part 23. The operation processing unit 23 adds the transmitted data to the application program 24a, and operates the image formed by the projection image forming unit 24.
ここで、「画像を操作する」とは、スクリーン１１にすでに投影されている画像に、物体の識別コードに応じた新たな画像を重畳させることや、新たな画像を単独で表示させること、又はスクリーン１１に載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーン１１にすでに投影されている画像に動きを与えることを意味する。具体的には、操作処理部２３からコンテンツの素材データ及びアクションデータを投影画像形成部２４に送り、投影画像形成部２４におけるアプリケーション・プログラム２４ａにそれらのデータを加えることにより、識別コードに対応する新たな物体の画像が重畳され、あるいは、すでに形成されている画像に、物体を人手で移動させた物体の軌跡に応じた動きが与えられる。 Here, “manipulating the image” means superimposing a new image corresponding to the identification code of the object on the image already projected on the screen 11, displaying a new image alone, or This means that when an object placed on the screen 11 is moved manually, a motion is given to an image already projected on the screen 11 in accordance with movement information for recognizing the movement of the object. Specifically, the material data and action data of the content are sent from the operation processing unit 23 to the projection image forming unit 24, and the data is added to the application program 24a in the projection image forming unit 24, thereby corresponding to the identification code. An image of a new object is superimposed or a motion corresponding to the locus of the object obtained by manually moving the object is given to the already formed image.
図４は、物体の底面に付された識別コードの例を示す図である。 FIG. 4 is a diagram illustrating an example of the identification code attached to the bottom surface of the object.
図４に示すように、物体の底面５は、物体がスクリーン１１の表面側、すなわち書き込み面１１ｂ上に載置されたことが容易に検出することができるような輪郭５ａ、例えば閉じた形状となる円形をなし、その輪郭５ａの内側に識別コード６が配置されている。ただし、例えば図４（ａ）に９つの小方形からなる方形が識別コード６になっているときは、その識別コード６が回転したときに、ＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にある、図４（ｂ）に示すような３種類の形状（例えば、９つの小方形からなる方形６ａ、５つの小方形を交互に配置した図形６ｂ、３つの小方形を直列に配置した矩形を平行に配置した図形６ｃは、識別コードに採用することができない。また、図４（ｃ）に示す６つの小方形からなる矩形と直線とからなる２種類の図形６ｄ，６ｅのように、それぞれの物体が回転したときにＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にあるものも識別コードとして採用することができない。 As shown in FIG. 4, the bottom surface 5 of the object has a contour 5 a that can easily detect that the object is placed on the surface side of the screen 11, that is, the writing surface 11 b, for example, a closed shape. The identification code 6 is arranged inside the outline 5a. However, for example, in FIG. 4A, when a square consisting of nine small squares is the identification code 6, when the identification code 6 is rotated, it is recognized as the same subject by the imaging data from the CCD camera 14. 3 types of shapes as shown in FIG. 4B (for example, a square 6a composed of nine small squares, a figure 6b in which five small squares are alternately arranged, and three small squares arranged in series. The figure 6c in which the rectangles are arranged in parallel cannot be used for the identification code, and is similar to the two kinds of figures 6d and 6e consisting of the rectangles and straight lines composed of the six small squares shown in FIG. Those that are recognized as the same subject by the data captured by the CCD camera 14 when each object rotates cannot be adopted as the identification code.
図５は、ＣＣＤカメラ（本発明の撮像部）により撮影された本実施形態の物体の底面の一例を示す模式図である。 FIG. 5 is a schematic diagram showing an example of the bottom surface of the object of the present embodiment photographed by a CCD camera (imaging unit of the present invention).
図５（ａ）は、スクリーンの表面側に物体を載置したときの物体の底面を撮影した撮像を示す図であり、図５（ｂ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５を撮影した撮像を示す図であり、図５（ｃ）は、スクリーンの表面側に物体を載置するとともに、書き込み面に「線（矢印）」を描画したときの物体の「底面」５および「線」７を撮影した撮像を示す図であり、図５（ｄ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５および「線」７を撮影した撮像を示す図である。 FIG. 5A is a diagram showing an image obtained by photographing the bottom surface of the object when the object is placed on the surface side of the screen. FIG. 5B is a diagram in which the entire projection surface of the screen is whitened. FIG. 5C is a diagram showing an image obtained by photographing the “bottom surface” 5 of the object. FIG. 5C shows the object when the object is placed on the surface side of the screen and the “line (arrow)” is drawn on the writing surface. FIG. 5D is a diagram showing an image obtained by photographing “bottom” 5 and “line” 7 of FIG. 5, and FIG. 5D shows the “bottom” 5 and “line” 7 of the object so that the entire projection surface of the screen becomes white. It is a figure which shows the imaged imaged.
ここで、本例では、ロッドインテグレータを光源に採用したプロジェクタを用いているので、スクリーンの投影面全体を白くして撮影したときは、ハイライト部に「矩形の黒」８が表示される。ただし、「底面」５および「線」７とは十分濃度差があり、「底面」５および「線」７をそれぞれ認識可能である。 Here, in this example, since a projector employing a rod integrator as a light source is used, when photographing is performed with the entire projection surface of the screen made white, “rectangular black” 8 is displayed in the highlight portion. However, the “bottom” 5 and the “line” 7 are sufficiently different in density, and the “bottom” 5 and the “line” 7 can be recognized.
このように、スクリーンの投影面を一時的に白くすると、スクリーンの表面側に載せられた物体の底面を確実に捉えることができる。 Thus, if the projection surface of the screen is temporarily whitened, the bottom surface of the object placed on the surface side of the screen can be reliably captured.
図６は、図５（ｂ）において、スクリーンの投影面全体が白くなるようにして物体の底面を撮影して得た撮像データを、所定の閾値で２値化した後に表示された「底面」５を示す図である。 FIG. 6 shows the “bottom surface” displayed after binarizing the imaging data obtained by photographing the bottom surface of the object so that the entire projection surface of the screen becomes white in FIG. 5B with a predetermined threshold value. FIG.
図６に示すように、撮像データを所定の閾値で２値化すると、例えばロッドインテグレータを光源に採用したプロジェクタを用いることにより表示されるハイライト部の矩形の黒部分やその他のノイズをカットすることができるので、底面の輪郭と位置を正確に捉えることができる。 As shown in FIG. 6, when the imaging data is binarized with a predetermined threshold, for example, a rectangular black portion of a highlight portion displayed by using a projector that employs a rod integrator as a light source and other noises are cut. Since it is possible, the outline and position of the bottom surface can be accurately captured.
図７は、撮像データに、文字切り出し技術を適用した例を示す模式図である。 FIG. 7 is a schematic diagram illustrating an example in which a character segmentation technique is applied to imaging data.
図７に示すように、撮像データをＸ方向に射影したＸ方向濃度ヒストグラム５０とＹ方向に射影したＹ方向濃度ヒストグラム５１を作成し、物体が載置された底面の位置、輪郭および識別コードを捉えることができる。 As shown in FIG. 7, an X direction density histogram 50 obtained by projecting imaging data in the X direction and a Y direction density histogram 51 obtained by projecting in the Y direction are created, and the position, contour and identification code of the bottom surface on which the object is placed are obtained. Can be caught.
図６及び図７では物体が静止した状態を示しているが、プロジェクタ１３から所定の時間ごとにスクリーン１１の投影面１１ａ全体あるいは所定領域を白くして、ＣＣＤカメラ１４で撮影し、各時間毎に得られた撮像データの差分を求めることや、物体の底面の各点の移動ベクトルを求めることなどの周知の方法を用いて、物体が移動する時の移動情報を得ることもできる。 6 and 7 show a state in which the object is stationary, but the entire projection surface 11a or a predetermined area of the screen 11 is whitened from the projector 13 every predetermined time, and is photographed by the CCD camera 14, and each time is taken. The movement information when the object moves can also be obtained by using a known method such as obtaining the difference between the obtained imaging data and obtaining the movement vector of each point on the bottom surface of the object.
ここで、移動する物体の底面を、一定の時間毎に投影面１１ａの所定領域を白くしてＣＣＤカメラ１４で撮影すると、残光などによりちらつきが目立つ場合がある。その場合には、投影面１１ａを白くする前に、通常の画像が表示された状態における撮像データによって物体の位置を検出し、物体が検出された後に投影面１１ａ全体を一定時間白くして撮影することや、物体が存在する領域のみを継続的に白くして撮影することによって対処することが可能である。 Here, if the bottom surface of the moving object is photographed by the CCD camera 14 with a predetermined area of the projection surface 11a being whitened at regular intervals, flicker may be noticeable due to afterglow. In that case, before the projection surface 11a is whitened, the position of the object is detected by imaging data in a state where a normal image is displayed, and after the object is detected, the entire projection surface 11a is whitened for a certain period of time and photographed. It is possible to cope with this problem by photographing only the area where the object is present and continuously whitening.
図８は、物体認識部の詳細を示す図である。 FIG. 8 is a diagram illustrating details of the object recognition unit.
図８に示すように、物体認識部は、物体領域抽出部２１から、物体の配置位置、底面の輪郭および識別コードの情報を受け取り、例えばテンプレートマッチングを用いて物体の識別情報と物体の方向に関する情報を得るパターン照合部２２ａと、いろいろな方向を向いた識別コードの撮像データを記録し、各撮像データと識別コードにより表される識別情報とを対応させたパターン認識用辞書を用意し、パターン照合部２２ａにおけるパターンマッチングに用いるパターン認識用辞書２２ｂと、所定の時間間隔で所得された撮像データに基づいて物体の移動方向を演算する方向演算部２２ｃとを備えている。 As shown in FIG. 8, the object recognition unit receives information about the object arrangement position, the bottom surface contour, and the identification code from the object region extraction unit 21 and relates to the object identification information and the object direction using, for example, template matching. A pattern matching unit 22a that obtains information, imaging data of identification codes facing in various directions, and a pattern recognition dictionary that associates each imaging data with identification information represented by the identification code are prepared. A pattern recognition dictionary 22b used for pattern matching in the matching unit 22a and a direction calculation unit 22c that calculates the moving direction of the object based on the captured image data obtained at a predetermined time interval are provided.
ここで、パターン認識用辞書２２ｂは、スクリーンに載置された物体の向きを変化させて底面の識別コードを撮影した撮像から作成されているが、必ずしもこの方法に限定する必要はなく、物体の向きを変化させることなく撮影されたものにより作成してもよい。その場合、物体領域抽出部２１から受け取った物体の識別コードの情報を所定の角度ずつ回転させてパターンマッチングさせてもよい。また、パターン認識を高速で行う場合には、パターン認識用辞書２２ｂに、底面を回転させた場合の撮像データも記録することにより、識別コードと物体の方向を同時に認識することができる。なお、方向分解能をｎとすれば、パターン認識用辞書２２ｂに記録されるデータもｎ倍になるが、識別コードは画像の操作用であり、１００種類程度設ければよいのでパターンマッチングに要する時間に対する影響はほとんど認められない。さらに、例えば類似度が高い２つの識別コードの方向に関するデータは類似度に応じて内挿法を適用することにより方向に関する精度を向上させることができる。 Here, the pattern recognition dictionary 22b is created from an image obtained by photographing the identification code on the bottom surface by changing the direction of the object placed on the screen, but is not necessarily limited to this method. You may create by what was image | photographed without changing direction. In this case, pattern matching may be performed by rotating the object identification code information received from the object region extraction unit 21 by a predetermined angle. Further, when pattern recognition is performed at high speed, the identification code and the direction of the object can be recognized simultaneously by recording image data when the bottom surface is rotated in the pattern recognition dictionary 22b. If the directional resolution is n, the data recorded in the pattern recognition dictionary 22b is also multiplied by n. However, the identification code is used for image operation, and it is sufficient to provide about 100 types, so the time required for pattern matching. There is almost no effect on. Furthermore, for example, data relating to directions of two identification codes having a high degree of similarity can be improved in accuracy relating to the direction by applying an interpolation method according to the degree of similarity.
すなわち、識別コード１の類似度をｒ１、方向をｄ１とし、識別コード２の類似度をｒ２、方向をｄ２とすれば、求める方向ｄは、
ｄ＝（ｒ１×ｄ１＋ｒ２×ｄ２）／（ｒ１＋ｒ２）で求めることができる。
That is, if the similarity of the identification code 1 is r1, the direction is d1, the similarity of the identification code 2 is r2, and the direction is d2, the direction d to be obtained is
d = (r1 × d1 + r2 × d2) / (r1 + r2).
パターン照合部２２ａは、パターン認識用辞書２２ｂを参照し、物体領域抽出部２１から受け取った物体の識別コードの情報から、類似度の高い上位２つの方向の情報を取得し、取得した２つの方向の情報を方向演算部２２ｃに渡す。 The pattern matching unit 22a refers to the pattern recognition dictionary 22b, acquires information of the top two directions with high similarity from the information of the object identification code received from the object region extraction unit 21, and acquires the obtained two directions Is passed to the direction calculation unit 22c.
方向演算部２２ｃは、所定の時間間隔で所得された撮像データそれぞれから抽出された物体の配置位置の情報、および物体の方向の情報に基づいてそれぞれの時間に撮影された物体の底面の移動ベクトルを求め、その移動ベクトルから、それぞれの時間における移動方向および移動距離を求める。 The direction calculation unit 22c is a movement vector of the bottom surface of the object photographed at each time based on the information on the arrangement position of the object extracted from each of the imaging data obtained at predetermined time intervals and the information on the direction of the object. From the movement vector, the movement direction and the movement distance at each time are obtained.
ここでは、移動ベクトルを用いているが、これに限定されず、例えば差分画像を利用して求めることもできる。 Here, although the movement vector is used, it is not limited to this, For example, it can also obtain | require using a difference image.
物体領域抽出部２１により抽出された物体の位置情報、パターン照合部２２ａにより取得された識別コード、および方向演算部２２ｃにより求められた移動方向の情報は操作処理部２３に送られ、操作処理部２３は送られた情報を基に、プロジェクタ１３からスクリーン１１に投影される画像を形成する投影画像形成部２４にデータを送り、スクリーンに１１投影される画像を操作することができる。 The position information of the object extracted by the object region extraction unit 21, the identification code acquired by the pattern matching unit 22a, and the information on the moving direction obtained by the direction calculation unit 22c are sent to the operation processing unit 23, and the operation processing unit 23 can send data from the projector 13 to the projection image forming unit 24 that forms an image projected on the screen 11 based on the sent information, and can manipulate the image projected on the screen 11.
ここで、スクリーン１１に投影される画像の操作は、スクリーン１１の表面側に設けられた書き込み画面１１ｂに水性ペンやマーカを用いて描画することによっても行うことができる。 Here, the operation of the image projected on the screen 11 can also be performed by drawing on the writing screen 11b provided on the surface side of the screen 11 using a water-based pen or a marker.
図９は、スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。 FIG. 9 is a diagram illustrating an example of an object placed on the surface side of the screen and a visible image.
図９（ａ）に示すように、スクリーンの表面側には、水の流れを模した多数の記号が記録された画像が表示されている。そして、スクリーンの表面側には、木杭または石を模した、左上方に載置されている物体４Ｂと、右下方に載置されている物体４Ａとがある。水の流れを模した多数の記号１００は、物体４Ａ、４Ｂをよけるような流れをあらわしている。そして、右下方に載置されている物体４Ａを人力で矢印Ｚ方向に移動させると、水の流れを模した多数の記号１００は、物体４Ａの移動にあわせて物体４Ａをよけるように流れの方向を変化させる。そして、物体４Ａの移動が図９（ａ）に示す位置で停止すると、水の流れを模した多数の記号１００は、停止した物体４Ａをよける流れに落ち着き、以後、物体４Ａ，４Ｂが移動しない限りその流れは変わらない。 As shown in FIG. 9A, an image in which a large number of symbols simulating the flow of water is displayed on the surface side of the screen. On the surface side of the screen, there are an object 4B placed on the upper left side and an object 4A placed on the lower right side, imitating a wooden pile or stone. A large number of symbols 100 simulating the flow of water represent a flow that avoids the objects 4A and 4B. When the object 4A placed on the lower right side is moved in the arrow Z direction by human power, a large number of symbols 100 imitating the flow of water flow so as to avoid the object 4A in accordance with the movement of the object 4A. Change the direction. Then, when the movement of the object 4A stops at the position shown in FIG. 9A, a large number of symbols 100 imitating the flow of water settle down to the flow that avoids the stopped object 4A, and thereafter the objects 4A and 4B move. The flow will not change unless you do it.
本実施形態の画像表示装置に用いる物体の底面には予めパターンが登録された識別コードが付されているが、必ずしも識別コードである必要はない。また、底面には、必ずしも識別子を付す必要はなく、底面の形状などによって夫々の識別情報が認識できるようにしてもよい。 An identification code in which a pattern is registered in advance is attached to the bottom surface of the object used in the image display apparatus of the present embodiment, but the identification code is not necessarily required. Further, it is not always necessary to attach an identifier to the bottom surface, and each identification information may be recognized by the shape of the bottom surface.
また、識別コードの撮影時にはスクリーンの投影面を白くしているが、投影される画像の状態や、底面及び識別コードと画像とのコントラスト、それぞれからの反射光の波長域とＣＣＤカメラの感度如何によっては、必ずしも投影面を白くする必要はない。 Also, the screen of the screen is whitened when the identification code is photographed. Depending on the case, it is not always necessary to make the projection plane white.
本実施形態は、物体の底面を裏面から撮影して取得した識別情報及び移動情報に基づいて、裏面から投影されるスクリーンに表示される画像を操作する例に基づいて説明したが、識別情報及び移動情報は、必ずしも裏面から撮影する必要はない。また、識別情報及び移動情報は撮影により取得しているが、必ずしも撮影によって取得されたものである必要はなく、物体から発する光や電磁波などを感知することにより取得することもできる。 Although the present embodiment has been described based on the example of manipulating the image displayed on the screen projected from the back surface based on the identification information and movement information acquired by photographing the bottom surface of the object from the back surface, the identification information and The movement information does not necessarily have to be taken from the back side. In addition, the identification information and the movement information are acquired by shooting, but are not necessarily acquired by shooting, and can be acquired by sensing light or electromagnetic waves emitted from an object.
さらに、本実施形態では、物体の識別情報及び移動情報が取得される場所と取得された情報に基づいて画像が操作される場所とが同じであるが、情報の取得場所とその情報によってコマンドが入力され、何らかのものが操作される場所とが離れていてもよい。すなわち、物体を動かすことにより取得された識別情報及び移動情報によってたとえば遠隔地にあるロボット、機械装置、情報機器などにネットワークなどを介してコマンドを送り、リモートコントロールすることもできる。
（第２の実施形態）
第２の実施形態は、第１の実施形態と比べて、本体部がスクリーン（表示画面）の表面側に人手により描画された図形や線などの情報を物体の底面の情報とは別に抽出して処理する点が相違する。しかし、それ以外の点は共通するので相違する本体部について説明する。
Furthermore, in this embodiment, the location where the object identification information and the movement information are acquired is the same as the location where the image is operated based on the acquired information, but the command is determined by the information acquisition location and the information. It may be remote from the place where something is input and operated. That is, it is possible to send a command to a remote robot, machine, information device, or the like via a network or the like by remote control by using identification information and movement information acquired by moving an object.
(Second Embodiment)
Compared with the first embodiment, the second embodiment extracts information such as figures and lines drawn manually on the surface side of the screen (display screen) separately from the information on the bottom surface of the object. Are different in processing. However, since the other points are common, the different main body will be described.
図１０は、本発明の画像表示装置の第２の実施形態を示す本体部の概略構成図である。 FIG. 10 is a schematic configuration diagram of a main body portion showing a second embodiment of the image display device of the present invention.
図１０に示すように、本実施形態の本体部２は、ＣＣＤカメラ１４とのインタフェースを有し、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置された領域に係る撮像データに基づいてスクリーン上の位置、底面の輪郭および識別コードの情報を抽出する物体領域抽出部２１と、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置された領域を除く領域に係る撮像データを微分することにより、スクリーン１１の表面側、書き込み面１１ｂに、マーカなどを用いて人手で描画された図形や線に関する情報を抽出する線図抽出部２５と、線図抽出部２５により抽出された情報から特徴を抽出して、その図形や線が、例えば直線、円形、波形、方形などと認識して補助的情報を取得する線図処理部２６と、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１により抽出された識別コードの情報を、予めメモリに記憶された、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を取得する物体認識部２２と、物体認識部２２で取得された識別情報及び物体の方向に関する情報並びに線図処理部２６により認識された補助的情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３とを備えている。 As shown in FIG. 10, the main body 2 of this embodiment has an interface with the CCD camera 14, binarizes imaging data captured by the CCD camera 14, and in an area where an object is placed. Based on the imaging data, the object area extraction unit 21 that extracts information on the position on the screen, the contour of the bottom surface and the identification code, and the imaging data captured by the CCD camera 14 are binarized and the object is placed. A diagram extracting unit 25 that extracts information on a figure or a line drawn manually using a marker or the like on the front surface side of the screen 11 and the writing surface 11b by differentiating the imaging data related to the region excluding the selected region; The diagram processing unit 2 extracts features from the information extracted by the diagram extraction unit 25 and recognizes the figure or line as, for example, a straight line, a circle, a waveform, or a rectangle, and acquires auxiliary information. An image projected from the back side of the screen 11 by the projector 13 and extracted by the object area extraction unit 21 according to a predetermined application program 24a. The object recognition unit 22 that performs pattern matching with the pattern recognition dictionary stored in the memory in advance and acquires information regarding the object identification information and the direction of the object is acquired by the object recognition unit 22. Based on the identification information and the information on the direction of the object and the auxiliary information recognized by the diagram processing unit 26, new content is added to the image formed by the projection image forming unit 24 based on the predetermined application program 24a. Control the image projected from the projector by adding And an operation processing unit 23.
ここで、操作処理部２３は、例えば２つの物体相互が直線で結ばれていると、２つの物体相互が連結されたという情報をアプリケーション・プログラム２４ａ与えることにしてもよい。また、線分の形状（直線、波形など）、色などによって２つの物体の関係に属性を付与することにしてもよい。 Here, for example, when two objects are connected by a straight line, the operation processing unit 23 may provide the application program 24a with information that the two objects are connected. Further, an attribute may be given to the relationship between two objects depending on the shape of a line segment (straight line, waveform, etc.), color, and the like.
図１１は、線図処理部により、人手により描画された図形の認識方法の一例を示す図である。 FIG. 11 is a diagram illustrating an example of a method for recognizing a figure drawn manually by a diagram processing unit.
図１１に示すように、線図処理部２６は、人手により描画された図形の外接方形１０１を描いてその外接方形１０１の短辺１０１ａの長さにより、図１１（ａ）に示すような波形と図１１（ｂ）に示すような直線とに区分することができる。さらに、外接方形１０１の面積と対角線の長さとの比により斜め線を区分することができる。 As shown in FIG. 11, the diagram processing unit 26 draws a circumscribed rectangle 101 of a figure drawn by hand and forms a waveform as shown in FIG. 11A by the length of the short side 101 a of the circumscribed rectangle 101. And a straight line as shown in FIG. Furthermore, the diagonal line can be divided by the ratio of the area of the circumscribed rectangle 101 and the length of the diagonal line.
図１２は、本実施形態の画像表示装置のスクリーンを俯瞰した状態を示す模式図。
図１２（１）に示すように、スクリーン１１の表面側に、底面５に付された識別コードが異なる３つの物体４ａ，４ｂ，４ｃが載せられる。ＣＣＤカメラ１４は、それらの物体の底面５を撮影し、物体領域抽出部２１は撮像データに基づいてそれぞれの識別コードに係る撮像データを抽出する。物体認識部２２は、パターン認識用辞書を参照して、物体４ａは銅、物体４ｂは亜鉛、物体４ｃは酸素であることを認識する。操作処理部２３は、投影画像形成部２４に、所定のデータを送り、銅の元素記号Ｃｕ、亜鉛の元素記号Ｚｎ、酸素の元素記号Ｏ、が円内に記された画像を、スクリーン１１上のそれぞれの物体４ａ，４ｂ，４ｃの隣接位置に投影されるように形成し、プロジェクタ１３からスクリーン１１に投影する。
FIG. 12 is a schematic diagram illustrating a state in which the screen of the image display apparatus according to the present embodiment is viewed from above.
As shown in FIG. 12 (1), three objects 4 a, 4 b, 4 c with different identification codes attached to the bottom surface 5 are placed on the surface side of the screen 11. The CCD camera 14 images the bottom surfaces 5 of these objects, and the object region extraction unit 21 extracts imaging data related to each identification code based on the imaging data. The object recognizing unit 22 refers to the pattern recognition dictionary and recognizes that the object 4a is copper, the object 4b is zinc, and the object 4c is oxygen. The operation processing unit 23 sends predetermined data to the projection image forming unit 24, and displays an image in which a copper element symbol Cu, a zinc element symbol Zn, and an oxygen element symbol O are written in a circle on the screen 11. Are projected onto the adjacent positions of the respective objects 4a, 4b, 4c, and projected from the projector 13 onto the screen 11.
次に、 図１２（２）に示すように、亜鉛Ｚｎと酸素Ｏとを化合させるため、亜鉛の元素記号Ｚｎを表す物体４ｂと酸素の元素記号Ｏを表す物体４ｃとをマーカにより円形の線図９を描いて囲む。ＣＣＤカメラ１４は、物体４ａ，４ｂ，４ｃとともに円形の線図９を撮影し撮像データを得る。線図抽出部２５は撮像データに基づいて円形の線図９の撮像データを抽出する。線図処理部２６は、円形の線図９であることを認識する。操作処理部２３は、物体認識部２２で認識された情報と線図処理部２６で認識された情報とにより、線図９は物体４ｂと物体４ｃとを囲む円形の線図９であり、その円形の線図９は、物体４ｂと物体４ｃとを連結する意味であると解釈する。 Next, as shown in FIG. 12 (2), in order to combine zinc Zn and oxygen O, an object 4b representing the element symbol Zn of zinc and an object 4c representing the element symbol O of oxygen are separated by a circular line with a marker. Draw and surround FIG. The CCD camera 14 captures a circular diagram 9 together with the objects 4a, 4b, and 4c to obtain imaging data. The diagram extraction unit 25 extracts the imaging data of the circular diagram 9 based on the imaging data. The diagram processing unit 26 recognizes that the diagram is a circular diagram 9. The operation processing unit 23 is a circular diagram 9 surrounding the object 4b and the object 4c based on the information recognized by the object recognition unit 22 and the information recognized by the diagram processing unit 26. The circular diagram 9 is interpreted as meaning to connect the object 4b and the object 4c.
そこで、 図１２（３）に示すように、操作処理部２３は、投影画像形成部２４において形成されている、銅の元素記号Ｃｕ、亜鉛の元素記号Ｚｎ、酸素の元素記号Ｏ、が円内に記された画像のうち、亜鉛の元素記号Ｚｎ、および酸素の元素記号Ｏが円内に記されたそれぞれの画像を、連結された状態で投影されるように移動させるとともに、連結された後にそれまでとは異なる色彩の画像をスクリーン１１に投影する。
このように、人手で描画された図形などについてもスクリーンに投影される画像を操作する上で一定のルールに基づく所定の「意味」を持たせ、識別コードの補助的役割を与えることにより、操作性をさらに向上させることができる。
（第３の実施形態）
第３の実施形態は、第１の実施形態と比べて、解像度の異なる２つのＣＣＤカメラを備え、一方のカメラは物体の位置を検出し、他方のカメラは物体の識別情報及び移動情報を検出する点が相違する。しかし、それ以外の点は共通するので相違点について説明する。
Therefore, as shown in FIG. 12 (3), the operation processing unit 23 includes a copper element symbol Cu, a zinc element symbol Zn, and an oxygen element symbol O, which are formed in the projection image forming unit 24. In the images described in (1), the element symbol Zn of zinc and the element symbol O of oxygen are moved in a circle so that they are projected in a connected state, and after being connected, An image having a different color from that before is projected onto the screen 11.
In this way, even for manually drawn graphics, etc., by giving a predetermined “meaning” based on a certain rule in manipulating the image projected on the screen and giving an auxiliary role of the identification code, The property can be further improved.
(Third embodiment)
Compared with the first embodiment, the third embodiment includes two CCD cameras having different resolutions, one camera detects the position of an object, and the other camera detects object identification information and movement information. Is different. However, since the other points are common, differences will be described.
図１３及び図１４は、本発明の画像表示装置の第３の実施形態を示す図であり、図１３は、表示部の概略断面図であり、図１４は、本体部の概略構成図である。 13 and 14 are diagrams showing a third embodiment of the image display device of the present invention, FIG. 13 is a schematic sectional view of a display unit, and FIG. 14 is a schematic configuration diagram of a main body unit. .
図１３に示すように、第３の実施形態の画像表示装置の表示部は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影する第１のＣＣＤカメラ（本発明の撮像部に相当する。）１５及びスクリーン１１の裏面側全体が視野角１５ａとなる位置に配置され、スクリーン１１を裏面側から撮影する第２のＣＣＤカメラ（本発明の物体検出部に相当する。）１６とを備えている。 As shown in FIG. 13, the display unit of the image display apparatus according to the third embodiment includes a flat part 10 in which a screen 11 is fitted in a central part, a case 12 that supports the flat part 10, and a case 12. A projector 13 for projecting an image on the screen 11, and a first CCD camera (image pickup unit of the present invention) which is disposed at a position where the entire back surface side of the screen 11 has a viewing angle 14a and photographs the screen 11 from the back surface side. 15) and a second CCD camera (corresponding to the object detection unit of the present invention) 16 which is arranged at a position where the entire back surface side of the screen 11 and the screen 11 becomes the viewing angle 15a and shoots the screen 11 from the back surface side. And.
移動する物体の検出と、検出された物体の底面に付された識別コードの認識とを１つのＣＣＤカメラで行うためには、ＣＣＤカメラの解像度が高いものを用いる必要がある。しかし、スクリーンに載置された物体の検出を高解像度のＣＣＤカメラで行うと検出までに時間がかかる。そこで、本実施形態では、時間がかかっても高解像度のＣＣＤカメラを用いて高精度に実施する必要がある識別コードの検出と、精度は低くても低解像度のＣＣＤカメラを用いて短時間で迅速に実施できる位置の検出とに区分して投影面を撮影する。 In order to detect a moving object and recognize an identification code attached to the bottom surface of the detected object with a single CCD camera, it is necessary to use a CCD camera having a high resolution. However, if the object placed on the screen is detected with a high-resolution CCD camera, it takes time to detect the object. Therefore, in the present embodiment, detection of an identification code that needs to be performed with high accuracy using a high-resolution CCD camera even if time is required, and in a short time using a low-resolution CCD camera with low accuracy. The projection plane is photographed by dividing it into position detection that can be performed quickly.
図１４に示すように、第３の実施形態の画像表示装置の本体部２は、第２のＣＣＤカメラ１６とのインタフェースを有し、第２のＣＣＤカメラ１６で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン上の位置の情報を抽出する物体領域抽出部２１Ｍと、第２のＣＣＤカメラ１６とのインタフェースを有し、第１のＣＣＤカメラ１５で撮影された撮像の撮像データを２値化して底面の輪郭および識別コードの情報を抽出し、抽出された識別コードの情報を、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る物体認識部２２Ｍと、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１Ｍで抽出した位置の情報及び物体認識部２２Ｍで得た識別情報及び物体の方向に関する情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３Ｍとを備えている。 As shown in FIG. 14, the main body 2 of the image display device according to the third embodiment has an interface with the second CCD camera 16, and captures image data captured by the second CCD camera 16. An image captured by the first CCD camera 15 having an interface between the second CCD camera 16 and an object region extracting unit 21M that binarizes and extracts information on a position on the screen on which the object is placed. The image data is binarized to extract the bottom contour and identification code information, and the extracted identification code information is subjected to pattern matching with the pattern recognition dictionary to identify the object identification information and the object direction information. An object recognition unit 22M that obtains the image of the projector 11 and an image projected from the rear surface side of the screen 11 by the projector 13 with a predetermined application. Based on the position information extracted by the object region extraction unit 21M, the identification information obtained by the object recognition unit 22M, and the information on the direction of the object. And an operation processing unit 23M for operating the image projected from the projector by adding new contents and actions to the image formed based on the predetermined application program 24a.
本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。 The image formed by the main body 2 is projected on the back side of the screen 11 by the projector 13, and a person on the front side of the screen 11 can visually recognize the projected image.
また、物体の底面に、予めパターンが登録された識別コード（例えば、形状とサイズにより識別されるマーク）が付された物体がスクリーン１１の表面側に載置されると、第２のＣＣＤカメラ１６により撮影された撮像データにより、物体領域抽出部２１Ｍはその位置を検出し、操作処理部２３Ｍに送る。操作処理部２３Ｍは、その物体が配置された位置を含む領域に白い一様な画像が投影されるデータを投影画像形成部２４に送る。一方、高解像度の第１のＣＣＤカメラ１５により撮影された、一様に白い領域内の底面の輪郭と識別コードの撮像データにより、物体認識部２２Ｍは物体の識別情報を取得するとともに、各時間毎の撮像データから移動ベクトルを取得し、操作処理部２３Ｍに送る。操作処理部２３Ｍは、物体の識別情報及び移動ベクトルに基づいて、投影画像形成部２４に形成された画像に、識別情報による新たな画像を加えることや、移動ベクトルに応じた動きを与える操作を行う。
（第４の実施形態）
第４の実施形態は、スクリーン表面側に載置する物体の底面とは反対側の表面に、識別コードの意義をあらわす視認自在な記号が付されている点は相違するが、それ以外の点は、第１から第３の実施形態と共通する。したがって、相違点についてのみ説明する。
When an object with an identification code (for example, a mark identified by its shape and size) registered in advance on the bottom surface of the object is placed on the surface of the screen 11, the second CCD camera The object region extraction unit 21M detects the position based on the image data captured by the image 16, and sends the detected position to the operation processing unit 23M. The operation processing unit 23M sends to the projection image forming unit 24 data on which a white uniform image is projected onto an area including the position where the object is arranged. On the other hand, the object recognizing unit 22M acquires the object identification information from the contour of the bottom surface in the uniformly white area and the imaging data of the identification code, which is captured by the high-resolution first CCD camera 15, and each time A movement vector is acquired from each imaging data and sent to the operation processing unit 23M. The operation processing unit 23M performs an operation of adding a new image based on the identification information to the image formed on the projection image forming unit 24 based on the identification information and the movement vector of the object, or giving a motion corresponding to the movement vector. Do.
(Fourth embodiment)
The fourth embodiment is different in that a visible symbol representing the significance of the identification code is attached to the surface opposite to the bottom surface of the object placed on the screen surface side. Is common to the first to third embodiments. Therefore, only the differences will be described.
図１５は、第４の実施形態に用いる物体の表面に付された記号の一例を示す図である。 FIG. 15 is a diagram illustrating an example of symbols attached to the surface of an object used in the fourth embodiment.
図１５（ａ）〜図１５（ｃ）に示すように、第４の実施形態の画像表示装置のスクリーンに表示される画像を操作する物体４は、底面５が円形で、上面３５が斜めにカットされた円柱形４０をなしている。そして斜めにカットされた上面３５には、底面５に付された識別コード６によって表される識別情報の意義が一目で理解できるような記号３６が表示されている。 As shown in FIGS. 15A to 15C, the object 4 for manipulating the image displayed on the screen of the image display apparatus of the fourth embodiment has a circular bottom surface 5 and an oblique top surface 35. A cut cylinder 40 is formed. On the upper surface 35 cut obliquely, a symbol 36 is displayed so that the significance of the identification information represented by the identification code 6 attached to the bottom surface 5 can be understood at a glance.
図１５（ａ）に示す物体４は、右回転方向に矢印が付された記号３６ａが表示され、この物体がスクリーン１１に表示された画像上に載せられると、例えばその画像が右回転する。 The object 4 shown in FIG. 15A is displayed with a symbol 36 a with an arrow in the right rotation direction. When this object is placed on the image displayed on the screen 11, for example, the image rotates to the right.
図１５（ｂ）に示す物体４は、右方向に矢印が付された位置をあらわす記号３６ｂが表示され、この物体がスクリーン１１の所定位置に載せられると、例えばその位置から矢印方向に伸びる線画像が表示される。 An object 4 shown in FIG. 15B is displayed with a symbol 36b representing a position with an arrow in the right direction. When this object is placed on a predetermined position on the screen 11, for example, a line extending from that position in the direction of the arrow An image is displayed.
図１５（ｃ）に示す物体４は、左方向からの線分が付された位置をあらわす記号３６ｃが表示され、この物体４がスクリーン１１の所定位置に載せられると、例えば線画像はその位置まで表示される。 The object 4 shown in FIG. 15C is displayed with a symbol 36c representing a position to which a line segment from the left direction is attached. When this object 4 is placed at a predetermined position on the screen 11, for example, a line image is displayed at that position. Is displayed.
したがって、図１４（ｂ）に示す物体４を左側に配置し、図１４（ｃ）に示す物体４をその右側に配置すると、図１４（ｂ）に示す物体４が配置された位置から図１４（ｃ）に示す物体４が配置された位置まで伸びる線画像が表示される。 Therefore, when the object 4 shown in FIG. 14B is arranged on the left side and the object 4 shown in FIG. 14C is arranged on the right side, the position shown in FIG. A line image extending to the position where the object 4 shown in (c) is arranged is displayed.
このように、スクリーン上に載置する物体の上面にその意義が一目で理解できる記号３６が付されているので、咄嗟の操作を必要とする場合であっても、底面に付された識別コードの意義を意識せずに間違いのない操作を行うことができる。 In this way, since the symbol 36 whose meaning can be understood at a glance is attached to the upper surface of the object placed on the screen, even if the operation of the bag is required, the identification code attached to the bottom surface It is possible to carry out operations without mistakes without being conscious of the significance of.
１ 表示部
２ 本体部
４，４Ａ，４Ｂ，４ａ，４ｂ，４ｃ 物体
５ 底面
５ａ 輪郭
６ 識別コード
６ａ，６ｂ，６ｃ，６ｄ，６ｅ 図形
７ 線
８ 矩形の黒
９ 円形の線図
１０ 平面部
１１ スクリーン
１１ａ 投影面
１１ｂ 書き込み面
１２ 筐体
１３ プロジェクタ
１４ ＣＣＤカメラ
１４ａ，１５ａ 視野角
１５ 第１のＣＣＤカメラ
１６ 第２のＣＣＤカメラ
２１，２１Ｍ 物体領域抽出部
２２，２２Ｍ 物体認識部
２２ａ パターン照合部
２２ｂ パターン認識用辞書
２２ｃ 方向演算部
２３，２３Ｍ 操作処理部
２４ 投影画像形成部
２４ａ アプリケーションー・プログラム
２５ 線図抽出部
２６ 線図処理部
３５ 斜めにカットした上面
３６ａ，３６ｂ，３６ｃ 記号
４０ 円柱形
１００ 流れを表す記号
１０１ 外接方形
１０１ａ 短辺
DESCRIPTION OF SYMBOLS 1 Display part 2 Main body part 4, 4A, 4B, 4a, 4b, 4c Object 5 Bottom face 5a Outline 6 Identification code 6a, 6b, 6c, 6d, 6e Graphic 7 line 8 Rectangular black 9 Circular diagram 10 Plane part 11 screen
11a Projection surface 11b Writing surface 12 Housing 13 Projector 14 CCD camera 14a, 15a Viewing angle 15 First CCD camera 16 Second CCD camera 21, 21M Object area extraction unit 22, 22M Object recognition unit 22a Pattern matching unit 22b Pattern Recognition dictionary 22c Direction calculation unit 23, 23M Operation processing unit 24 Projected image forming unit 24a Application program 25 Diagram extraction unit 26 Diagram processing unit 35 Top surface 36a, 36b, 36c cut obliquely Symbol 40 Column 100 Flow Symbol for indicating 101 circumscribed rectangle 101a short side
Claims (21)
前記表示画面に投影される所定の画像を形成する投影画像形成部と、
前記表示画面の前記表面側に載置された所定形状の物体の底面及び該底面に付された識別子を、前記裏面側から撮影して撮像データを得る撮像部と、
前記撮像データに基づいて前記物体の識別情報および移動情報を取得する物体認識部と、
前記物体の識別情報および移動情報に基づいて、前記投影画像形成部が形成する前記画像を操作する操作処理部とを備えたことを特徴とする画像表示装置。 A display screen on which an image is projected from the back side, and an image projected on the surface side opposite to the back side is displayed;
A projection image forming unit that forms a predetermined image projected on the display screen;
An imaging unit that obtains imaging data by imaging the bottom surface of the object of a predetermined shape placed on the front surface side of the display screen and the identifier attached to the bottom surface from the back surface side;
An object recognition unit that acquires identification information and movement information of the object based on the imaging data;
An image display device comprising: an operation processing unit that operates the image formed by the projection image forming unit based on identification information and movement information of the object.
前記撮像部により得られた撮像データに基づいて前記線図の情報を取得する線図認識部を備え、
前記操作処理部は、前記線図認識部により取得された前記線図の情報と前記物体の識別情報および移動情報とに基づいて、前記投影画像形成部が形成する前記画像を操作することを特徴とする請求項１４記載の画像表示装置。 The imaging unit, together with the bottom surface and the identifier, obtains imaging data by continuously photographing a diagram drawn manually on the front side of the display screen from the back side;
A diagram recognition unit that acquires information of the diagram based on imaging data obtained by the imaging unit;
The operation processing unit operates the image formed by the projection image forming unit based on information on the diagram acquired by the diagram recognition unit, identification information of the object, and movement information. The image display device according to claim 14.
前記操作処理部は、前記投影画像形成部が形成する前記画像の素材データ及びアクションデータにより、前記投影画像形成部が形成する前記画像を操作することを特徴とする請求項１６記載の画像表示装置。 The projection image forming unit forms the image based on a predetermined application program,
17. The image display device according to claim 16, wherein the operation processing unit operates the image formed by the projection image forming unit based on material data and action data of the image formed by the projection image forming unit. .
前記投影画像形成部は、前記物体検出部により前記物体の位置が検出されたときに、前記表示画面の前記裏面側から所定の時間間隔で投影される白い画像を形成することを特徴とする請求項１４から１６のうちいずれか１項記載の画像表示装置。 An object detection unit that detects a position of the object placed on the surface side of the display screen and has a lower resolution than the resolution of the imaging unit;
The projection image forming unit forms a white image projected at a predetermined time interval from the back side of the display screen when the position of the object is detected by the object detection unit. Item 17. The image display device according to any one of Items 14 to 16.
前記画像投影部は、前記投影画像形成部により所定の時間間隔で形成された前記白い画像を前記物体検出部により検出された前記物体の位置を含む所定領域に投影することを特徴とする請求項１８記載の画像表示装置。 An image projection unit that projects the image formed by the projection image formation unit on the display screen from the back side,
The image projection unit projects the white image formed at a predetermined time interval by the projection image forming unit onto a predetermined region including the position of the object detected by the object detection unit. 18. The image display device according to 18.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003406260A JP4340135B2 (en) | 2003-12-04 | 2003-12-04 | Image display method and image display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003406260A JP4340135B2 (en) | 2003-12-04 | 2003-12-04 | Image display method and image display apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005165864A true JP2005165864A (en) | 2005-06-23 |
| JP4340135B2 JP4340135B2 (en) | 2009-10-07 |
Family
ID=34728690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003406260A Expired - Fee Related JP4340135B2 (en) | 2003-12-04 | 2003-12-04 | Image display method and image display apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4340135B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350927A (en) * | 2005-06-20 | 2006-12-28 | Fuji Xerox Co Ltd | Information processor, information processing method, and computer program |
| JP2007072637A (en) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | Input device using elastic material |
| JP2007196601A (en) * | 2006-01-30 | 2007-08-09 | Ricoh Co Ltd | Horizontal projection apparatus |
| JP2008033844A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| JP2008040557A (en) * | 2006-08-01 | 2008-02-21 | Ricoh Co Ltd | Image display apparatus, image display method, and image display program |
| JP2009093184A (en) * | 2007-10-11 | 2009-04-30 | I Chi | Calligraphy image and video collecting method and device |
| JP2011525635A (en) * | 2008-05-02 | 2011-09-22 | マイクロソフト コーポレーション | Projecting an image onto a tangible user interface |
| JP2012098766A (en) * | 2010-10-29 | 2012-05-24 | Konami Digital Entertainment Co Ltd | Detection system, electronic blackboard device applying the same, control method thereof and computer program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5353345B2 (en) | 2009-03-18 | 2013-11-27 | 株式会社リコー | Information processing apparatus, display processing method, and program |
-
2003
- 2003-12-04 JP JP2003406260A patent/JP4340135B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350927A (en) * | 2005-06-20 | 2006-12-28 | Fuji Xerox Co Ltd | Information processor, information processing method, and computer program |
| JP4661387B2 (en) * | 2005-06-20 | 2011-03-30 | 富士ゼロックス株式会社 | Information processing apparatus, information processing method, and computer program |
| JP2007072637A (en) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | Input device using elastic material |
| JP4635788B2 (en) * | 2005-09-06 | 2011-02-23 | 株式会社日立製作所 | Input device using elastic material |
| JP2007196601A (en) * | 2006-01-30 | 2007-08-09 | Ricoh Co Ltd | Horizontal projection apparatus |
| JP2008033844A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| JP2008040557A (en) * | 2006-08-01 | 2008-02-21 | Ricoh Co Ltd | Image display apparatus, image display method, and image display program |
| JP2009093184A (en) * | 2007-10-11 | 2009-04-30 | I Chi | Calligraphy image and video collecting method and device |
| JP2011525635A (en) * | 2008-05-02 | 2011-09-22 | マイクロソフト コーポレーション | Projecting an image onto a tangible user interface |
| US8272743B2 (en) | 2008-05-02 | 2012-09-25 | Microsoft Corporation | Projection of images onto tangible user interfaces |
| JP2012098766A (en) * | 2010-10-29 | 2012-05-24 | Konami Digital Entertainment Co Ltd | Detection system, electronic blackboard device applying the same, control method thereof and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4340135B2 (en) | 2009-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4991154B2 (en) | Image display device, image display method, and command input method | |
| CN107251101B (en) | Scene modification for augmented reality using markers with parameters | |
| Lin et al. | Ubii: Physical world interaction through augmented reality | |
| EP2480955B1 (en) | Remote control of computer devices | |
| JP5741160B2 (en) | Display control apparatus, display control method, and program | |
| EP1292877B1 (en) | Apparatus and method for indicating a target by image processing without three-dimensional modeling | |
| US20060092178A1 (en) | Method and system for communicating through shared media | |
| US20140129990A1 (en) | Interactive input system having a 3d input space | |
| US11244511B2 (en) | Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device | |
| US20050166163A1 (en) | Systems and methods of interfacing with a machine | |
| CN102460373A (en) | Surface computer user interaction | |
| JP4513830B2 (en) | Drawing apparatus and drawing method | |
| JP2015153046A (en) | Image processor, image processing method and program | |
| US10950056B2 (en) | Apparatus and method for generating point cloud data | |
| CN110442245A (en) | Display methods, device, terminal device and storage medium based on physical keyboard | |
| CN108027655A (en) | Information processing system, information processing equipment, control method and program | |
| CN111083463A (en) | Virtual content display method and device, terminal equipment and display system | |
| JP4340135B2 (en) | Image display method and image display apparatus | |
| KR101983233B1 (en) | Augmented reality image display system and method using depth map | |
| WO2012095846A1 (en) | System and method for identification of printed matter in an image | |
| CN109144598A (en) | Electronics mask man-machine interaction method and system based on gesture | |
| Tsap | Gesture-tracking in real time with dynamic regional range computation | |
| JP2015026189A (en) | Image processing system, portable terminal device, display device, and computer program | |
| KR102103614B1 (en) | A method for shadow removal in front projection systems | |
| Zhang | Vision-based interaction with fingers and papers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060824 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090703 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |