JP2006040045A - Information processor, cubic object, information processing system and information processing method - Google Patents

Information processor, cubic object, information processing system and information processing method Download PDF

Info

Publication number
JP2006040045A
JP2006040045A JP2004220517A JP2004220517A JP2006040045A JP 2006040045 A JP2006040045 A JP 2006040045A JP 2004220517 A JP2004220517 A JP 2004220517A JP 2004220517 A JP2004220517 A JP 2004220517A JP 2006040045 A JP2006040045 A JP 2006040045A
Authority
JP
Japan
Prior art keywords
dimensional
dimensional object
barcode
image
dimensional barcode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004220517A
Other languages
Japanese (ja)
Inventor
Satoru Natsume
哲 夏目
Tsukasa Yoshimura
司 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004220517A priority Critical patent/JP2006040045A/en
Publication of JP2006040045A publication Critical patent/JP2006040045A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To recognize a cubic object by use of a two-dimensional bar code, and to generate an image wherein the cubic object is combined. <P>SOLUTION: A bar code detection part 11 detects the two-dimensional bar code 30c from a photographic image obtained by imaging the cubic object 30 disposed with a plurality of two-dimensional bar codes 30c in prescribed positions. A storage part 12 stores spacial positional relation between the two-dimensional bar code 30c and the cubic object 30, and an image processing part 13 generates a CG image 41 according to a spacial position of the cubic object 30 in reference to the positional relation between the detected two-dimensional bar code 30c and the cubic object 30, and outputs it. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は情報処理装置、立体物、情報処理システム及び情報処理方法に関し、特に2次元バーコードを認識して3次元画像を表示する情報処理装置及び撮像対象となる立体物、2次元バーコードを認識して3次元画像を表示する情報処理システム及び情報処理方法に関する。   The present invention relates to an information processing device, a three-dimensional object, an information processing system, and an information processing method, and in particular, an information processing device that recognizes a two-dimensional barcode and displays a three-dimensional image, and a three-dimensional object and two-dimensional barcode to be imaged. The present invention relates to an information processing system and an information processing method for recognizing and displaying a three-dimensional image.

従来、カードや紙媒体に印刷された2次元バーコードをカメラで撮像し、そのパターンを読み取り、あたかも2次元バーコード上に立体物が存在するかのように、テレビなどの画面上に、パターンに対応したコンピュータグラフィック(以下CGと表記する)画像を表示する技術があった(例えば、特許文献1参照)。   Conventionally, a two-dimensional barcode printed on a card or paper medium is imaged with a camera, the pattern is read, and the pattern is displayed on the screen of a television or the like as if a three-dimensional object exists on the two-dimensional barcode. There is a technique for displaying a computer graphic (hereinafter referred to as CG) image corresponding to the above (for example, see Patent Document 1).

図9は、2次元バーコードの例である。
2次元バーコードは、1ブロックを1単位とし、縦方向が9.5ブロック分の長さで、横方向が7ブロック分の長さの長方形の範囲内に、セル部とロゴ部が1ブロック分離して配置されている。セル部では、7×7ブロックの範囲内に複数の正方形状のセル(黒色の部分)が所定の配列規則に従って2次元的に配置されており、この配列パターンにより、所定のコードが記録されている。一方、ロゴ部は、縦方向が1.5ブロック、横方向が7ブロックのセルからなり、オブジェクトの名称、あるいは宣伝のためのマーク(ロゴ)などが記載される。このような2次元バーコードでは、セル部の四隅のブロックにはセルが配置され、それらのセルの周囲3ブロックにはセルが配置されていない。これによって、1つの2次元バーコードが把握可能となり、向きはロゴ部が常に2次元バーコードの下部であると定義することによって把握できる。
FIG. 9 is an example of a two-dimensional barcode.
A two-dimensional barcode has one block as one unit, one block for the cell portion and the logo portion within a rectangular area that is 9.5 blocks long in the vertical direction and 7 blocks long in the horizontal direction. They are arranged separately. In the cell portion, a plurality of square cells (black portions) are two-dimensionally arranged in a 7 × 7 block range according to a predetermined arrangement rule, and a predetermined code is recorded by this arrangement pattern. Yes. On the other hand, the logo part is composed of cells of 1.5 blocks in the vertical direction and 7 blocks in the horizontal direction, and the name of the object or a mark (logo) for advertisement is described. In such a two-dimensional barcode, cells are arranged in the four corner blocks of the cell portion, and no cells are arranged in the three blocks around the cells. Thus, one two-dimensional barcode can be grasped, and the orientation can be grasped by defining that the logo portion is always below the two-dimensional barcode.

図10は、2次元バーコードを認識してCG表現した画面例である。
このように、カード500に印刷された2次元バーコード501をカメラで認識し、そのIDに合わせて生成したCG画像502を、認識した2次元バーコード501の位置に合成するような表現が可能となっている。
特開2000−322602号公報
FIG. 10 shows an example of a screen in which a two-dimensional barcode is recognized and expressed in CG.
In this way, the 2D barcode 501 printed on the card 500 can be recognized by the camera, and the CG image 502 generated according to the ID can be combined with the recognized 2D barcode 501 position. It has become.
JP 2000-322602 A

しかし、従来の2次元バーコードにおいては、あくまでカードや紙媒体などの平面を認識することしかできず、表現が限られていた。
本発明はこのような点に鑑みてなされたものであり、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理装置を提供することを目的とする。
However, the conventional two-dimensional barcode can only recognize a plane such as a card or a paper medium, and its expression is limited.
The present invention has been made in view of these points, and an object thereof is to provide an information processing apparatus that can recognize a three-dimensional object using a two-dimensional barcode and generate an image combined with the three-dimensional object. And

また、本発明の他の目的は、2次元バーコードを検出する情報処理装置が、撮像された向きを容易に認識できるような立体物を提供することである。
また、本発明の他の目的は、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理システムを提供することである。
Another object of the present invention is to provide a three-dimensional object that allows an information processing apparatus that detects a two-dimensional barcode to easily recognize the direction in which the image is captured.
Another object of the present invention is to provide an information processing system capable of recognizing a three-dimensional object using a two-dimensional barcode and generating an image combined with the three-dimensional object.

また、本発明の他の目的は、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理方法を提供することである。   Another object of the present invention is to provide an information processing method capable of recognizing a three-dimensional object using a two-dimensional barcode and generating an image combined with the three-dimensional object.

本発明では上記問題を解決するために、2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理装置において、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部とが提供される。   In the present invention, in order to solve the above-described problem, in an information processing apparatus that recognizes a two-dimensional barcode and displays a computer graphic image, an image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions From the image, a barcode detection unit that detects the two-dimensional barcode, a storage unit that stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object, and the detected two-dimensional barcode An image processing unit that generates and outputs a computer graphic image in accordance with a spatial position of the three-dimensional object with reference to the positional relationship with the three-dimensional object is provided.

上記の構成によれば、バーコード検出部は、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より2次元バーコードを検出する。また、記憶部は2次元バーコードと立体物との空間的な位置関係を記憶しており、画像処理部は、検出された2次元バーコードと、立体物との位置関係を参照して、立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する。   According to said structure, a barcode detection part detects a two-dimensional barcode from the picked-up image which imaged the solid object in which the several two-dimensional barcode was arrange | positioned in the predetermined position. The storage unit stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object, and the image processing unit refers to the positional relationship between the detected two-dimensional barcode and the three-dimensional object, A computer graphic image that matches the spatial position of the three-dimensional object is generated and output.

また、撮像対象となる立体物において、前記立体物上の所定の位置に、複数の2次元バーコードが配置され、前記2次元バーコードは、前記立体物固有の第1の識別情報及び、前記2次元バーコードが配置される前記立体物上における位置または方向を識別するための第2の識別情報を有していることを特徴とする立体物が提供される。   In the three-dimensional object to be imaged, a plurality of two-dimensional barcodes are arranged at predetermined positions on the three-dimensional object, and the two-dimensional barcode includes first identification information unique to the three-dimensional object, and There is provided a three-dimensional object characterized by having second identification information for identifying a position or direction on the three-dimensional object on which the two-dimensional barcode is arranged.

上記の構成によれば、2次元バーコードを認識可能な撮像側は、撮像された立体物の向きを容易に認識可能になる。   According to the above configuration, the imaging side capable of recognizing the two-dimensional barcode can easily recognize the orientation of the captured three-dimensional object.

本発明は、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より2次元バーコードを検出し、記憶部は2次元バーコードと立体物との空間的な位置関係を記憶しており、検出された2次元バーコードと、立体物との位置関係を参照して、立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力するので、立体物を2次元バーコードを用いて簡単に認識でき、立体物と組み合わせた画像を生成できるようになる。   The present invention detects a two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions, and a storage unit spatially positions the two-dimensional barcode and the three-dimensional object. The relationship is stored, and a computer graphic image that matches the spatial position of the three-dimensional object is generated and output with reference to the positional relationship between the detected two-dimensional barcode and the three-dimensional object. It can be easily recognized using a three-dimensional barcode, and an image combined with a three-dimensional object can be generated.

また、立体物は、立体物上の所定の位置に、複数の2次元バーコードを配置し、その2次元バーコードは、立体物固有の識別情報と、2次元バーコードが配置される立体物上における位置または方向を識別するための識別情報を有しているので、2次元バーコードを認識可能な撮像側は、撮像された立体物の向きを容易に認識できる。   The three-dimensional object has a plurality of two-dimensional barcodes arranged at predetermined positions on the three-dimensional object, and the two-dimensional barcode is a three-dimensional object in which identification information unique to the three-dimensional object and a two-dimensional barcode are arranged. Since it has identification information for identifying the position or direction above, the imaging side capable of recognizing the two-dimensional barcode can easily recognize the direction of the captured three-dimensional object.

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、情報処理装置の機能ブロック図である。
情報処理装置10は、バーコード検出部11、記憶部12、画像処理部13を有する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a functional block diagram of the information processing apparatus.
The information processing apparatus 10 includes a barcode detection unit 11, a storage unit 12, and an image processing unit 13.

バーコード検出部11は、CCD(Charge Coupled Device)カメラなどの撮像装置20で撮像されて取り込まれた立体物30の撮像画像より、2次元バーコードを検出する。
立体物30は、例えば、図のように、人形30aとその台座30bからなる。そして、この例では台座30bの上面を除く各面に2次元バーコード30cが配置される。2次元バーコード30cには、立体物30固有の識別情報(以下固有情報と称する)及び、2次元バーコード30cが配置される立体物30上における位置または方向を識別するための識別情報(以下位置・方向情報と称する)を有している。例えば、人形30aの正面、右側面、左側面、背面、下面に対応した位置に配置されている2次元バーコード30cのそれぞれに、位置・方向情報がコード化される。
The barcode detection unit 11 detects a two-dimensional barcode from a captured image of the three-dimensional object 30 captured by an imaging device 20 such as a CCD (Charge Coupled Device) camera.
The three-dimensional object 30 includes, for example, a doll 30a and a pedestal 30b as shown in the figure. In this example, the two-dimensional barcode 30c is arranged on each surface except the upper surface of the pedestal 30b. The two-dimensional barcode 30c includes identification information unique to the three-dimensional object 30 (hereinafter referred to as unique information) and identification information for identifying a position or direction on the three-dimensional object 30 on which the two-dimensional barcode 30c is arranged (hereinafter, referred to as unique information). (Referred to as position / direction information). For example, the position / direction information is coded in each of the two-dimensional barcodes 30c arranged at the positions corresponding to the front surface, right side surface, left side surface, back surface, and bottom surface of the doll 30a.

例えば、24ビットある2次元バーコード30cにおいて、3ビットを方向表示(正面、右側面、左側面、背面、必要あれば下面)に割り当て、正面を“白白白”、右側面を“白白黒”、左側面を“白黒白”、背面を“白黒黒”、下面を“黒白白”などと表現できる。この他のビットについては、立体物30固有の固有情報を表現するために用い、各方向について同一の固有情報をコード化することにより、同一品の方向が異なる面であることを表現する。また、グループやカテゴリーなど、バーコード管理者が自由に設定できる。   For example, in a two-dimensional barcode 30c having 24 bits, 3 bits are assigned to direction indications (front, right side, left side, back side, bottom side if necessary), the front side is “white and white”, and the right side is “white black and white” The left side can be expressed as “monochrome white”, the back side as “black and white black”, and the bottom side as “black white”. The other bits are used to express unique information unique to the three-dimensional object 30, and the same unique information is coded for each direction to express that the same product has different directions. In addition, the barcode administrator can freely set the group and category.

記憶部12は、2次元バーコードと立体物30との空間的な位置関係を記憶している。
図2は、2次元バーコードと、立体物との空間的な位置関係を示す図である。
この図のように、立体物30の正面側に配置された2次元バーコード30cのロゴ部30dの左隅下を原点としたX−Y−Z座標を設定し、立体物30の空間的な位置を表現する。例えば、人形30aの右手先、左手先、右足先、左足先の座標を予め位置関係テーブル12aとして記憶部12に記憶しておく。なお、記憶部12の容量や、処理能力の問題から、立体物30の全ての座標を記録することはなく、立体物30の特徴点と、立っている平面の座標を数点予め記録しておけばよい。
The storage unit 12 stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object 30.
FIG. 2 is a diagram illustrating a spatial positional relationship between a two-dimensional barcode and a three-dimensional object.
As shown in this figure, XYZ coordinates are set with the lower left corner of the logo portion 30d of the two-dimensional barcode 30c arranged on the front side of the three-dimensional object 30 as the origin, and the spatial position of the three-dimensional object 30 is set. Express. For example, the coordinates of the right hand tip, left hand tip, right foot tip, and left foot tip of the doll 30a are stored in the storage unit 12 in advance as the positional relationship table 12a. Note that not all coordinates of the three-dimensional object 30 are recorded due to problems with the capacity of the storage unit 12 and processing capability, but several feature points of the three-dimensional object 30 and coordinates of a standing plane are recorded in advance. Just keep it.

画像処理部13は、検出された2次元バーコード30cと、立体物30との位置関係を参照して、立体物30の空間的位置に合わせたCG画像を生成して出力する。
以下情報処理装置10の動作を説明する。
The image processing unit 13 refers to the positional relationship between the detected two-dimensional barcode 30c and the three-dimensional object 30, and generates and outputs a CG image that matches the spatial position of the three-dimensional object 30.
Hereinafter, the operation of the information processing apparatus 10 will be described.

撮像装置20に対して立体物30が所定の位置に配置され撮像が開始されると、情報処理装置10は撮像画像を取り込み、バーコード検出部11は撮像画像から2次元バーコード30cを検出する。なお、2次元バーコードそのものの認識は、例えば、特開2000−82108号公報(段落番号〔0055〕〜〔0112〕)に開示されており、2次元バーコードが撮像系に対して傾いているような状態であっても認識ができる。   When the three-dimensional object 30 is placed at a predetermined position with respect to the imaging device 20 and imaging is started, the information processing device 10 captures the captured image, and the barcode detection unit 11 detects the two-dimensional barcode 30c from the captured image. . The recognition of the two-dimensional barcode itself is disclosed in, for example, Japanese Patent Laid-Open No. 2000-82108 (paragraph numbers [0055] to [0112]), and the two-dimensional barcode is inclined with respect to the imaging system. Even in such a state, it can be recognized.

画像処理部13は、検出された2次元バーコード30cと、立体物30との位置関係を記憶部12より参照して、立体物30の空間的位置に合わせたCG画像を生成し、例えば、図1のようにディスプレイなどの表示部40に出力して表示させる。このとき、画像処理部13は、検出された2次元バーコード30cの固有情報を参照して、固有情報に対応した立体物30についての予め登録済みの画像処理を行う。2次元バーコード30cと、立体物30との位置関係が図2で示した位置関係テーブル12aよりわかるので、例えば、図のように、CG画像41を撮像画像の人形の手の位置から出現させるように合成させて、撮像画像の立体物30があたかも動いているかのような表現も可能である。すなわち、立体物30と組み合わせた画像が表現できる。   The image processing unit 13 refers to the positional relationship between the detected two-dimensional barcode 30c and the three-dimensional object 30 from the storage unit 12, and generates a CG image that matches the spatial position of the three-dimensional object 30, for example, As shown in FIG. 1, it is output and displayed on a display unit 40 such as a display. At this time, the image processing unit 13 refers to the unique information of the detected two-dimensional barcode 30c and performs pre-registered image processing on the three-dimensional object 30 corresponding to the unique information. Since the positional relationship between the two-dimensional barcode 30c and the three-dimensional object 30 is known from the positional relationship table 12a shown in FIG. 2, for example, as shown in the figure, the CG image 41 appears from the position of the hand of the doll in the captured image. By combining them as described above, an expression as if the three-dimensional object 30 of the captured image is moving is also possible. That is, an image combined with the three-dimensional object 30 can be expressed.

なお、ここでは、人形30aの正面の2次元バーコード30cが検出された場合について示したが、例えば、撮像装置20に対して側面や背面または下面が向けられている場合においても、その面に対応して配置された2次元バーコード30cを検出し、位置または方向を識別する位置・方向情報を参照することで、その位置や方向に応じたCG画像を生成することもできる。2次元バーコード30cに位置・方向情報を持たせることで、情報処理装置10は、立体物30がどの位置にあり、どちらの方向を向いているのかが簡単に認識できる。   Although the case where the two-dimensional barcode 30c on the front of the doll 30a is detected is shown here, for example, even when the side surface, the back surface, or the bottom surface is directed toward the imaging device 20, the surface of the doll 30a A CG image corresponding to the position or direction can be generated by detecting the correspondingly arranged two-dimensional barcode 30c and referring to position / direction information for identifying the position or direction. By providing the two-dimensional barcode 30c with position / direction information, the information processing apparatus 10 can easily recognize at which position the three-dimensional object 30 is located and in which direction it is facing.

このように、本実施の形態の情報処理装置10によれば、2次元バーコード30cを用いて立体物を認識することができるので、撮像した立体物を用いた新たな映像表現が可能になる。   As described above, according to the information processing apparatus 10 of the present embodiment, since a three-dimensional object can be recognized using the two-dimensional barcode 30c, a new video expression using the captured three-dimensional object becomes possible. .

例えば、記憶した位置関係をもとに、撮像画像から立体物を消去したり、消去した立体物の代わりにCG画像を表示したりといった表現も簡単に可能になる。
図3は、撮像した立体物を消去してCG画像に置き換えた例である。
For example, on the basis of the stored positional relationship, it is possible to easily express a three-dimensional object from a captured image or display a CG image instead of the erased three-dimensional object.
FIG. 3 shows an example in which the captured three-dimensional object is deleted and replaced with a CG image.

このように実際に撮像した立体物の人形30aが、画面上では別のキャラクター41aでCG表示される。撮像装置20に対してユーザが人形30aの向きを変えると、それに応じて検出される2次元バーコードが代わり、その2次元バーコードの位置・方向情報が認識されることにより、画面上のキャラクター41aも向きを変えるような映像表現も可能となる。   The three-dimensional doll 30a actually captured in this way is displayed on the screen by another character 41a as a CG. When the user changes the orientation of the doll 30a with respect to the imaging device 20, the detected two-dimensional barcode is changed accordingly, and the position / direction information of the two-dimensional barcode is recognized. Video expression that changes the direction of 41a is also possible.

表示するCGや画像の例としては、立体物そのものをディスプレイなどの表示部40の画面のなかではCG画像で表示させて、インタラクティブなゲームなどを表現するほか、炎や光線など映像効果を出したり、またその物体とは異なる物体の実写映像を提示したりしてもよい。   As examples of CG and images to be displayed, a three-dimensional object itself is displayed as a CG image on the screen of the display unit 40 such as a display to express an interactive game or the like. In addition, a live-action image of an object different from the object may be presented.

次に本実施の形態の情報処理装置10の具体的なハードウェア構成例を説明する。
図4は、情報処理装置のハードウェア構成例である。
情報処理装置10は、例えばPC(パーソナルコンピュータ)であり、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、グラフィック処理部105、入力I/F(Interface)106、通信I/F107などによって構成され、これらはバス108を介して相互に接続されている。
Next, a specific hardware configuration example of the information processing apparatus 10 according to the present embodiment will be described.
FIG. 4 is a hardware configuration example of the information processing apparatus.
The information processing apparatus 10 is, for example, a PC (Personal Computer), a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an HDD (Hard Disk Drive) 104, a graphic processing unit. 105, an input I / F (Interface) 106, a communication I / F 107, and the like, which are connected to each other via a bus 108.

ここで、CPU101は、ROM102や、HDD104に格納されているプログラムや、各種データに応じて各部を制御する。そして、2次元バーコードを認識する処理などを行う。   Here, the CPU 101 controls each unit according to programs stored in the ROM 102 and the HDD 104 and various data. Then, processing for recognizing a two-dimensional barcode is performed.

ROM102は、CPU101が実行する基本的なプログラムやデータを格納している。
RAM103は、CPU101が実行途中のプログラムや、演算途中のデータを格納している。
The ROM 102 stores basic programs and data executed by the CPU 101.
The RAM 103 stores programs being executed by the CPU 101 and data being calculated.

HDD104は、CPU101が実行するOS(Operating System)や、各種アプリケーションプログラムや、前述した立体物と2次元バーコードとの位置関係を示す位置関係テーブル12aなど、各種データを格納する。なお、位置関係テーブル12aは、DVD(Digital Versatile Disc)やCD−ROMなどの記録媒体(図示せず)に記録されていてもよく、これら各種データはRAM103に、例えば一部が展開されてCPU101により使用される。   The HDD 104 stores various data such as an OS (Operating System) executed by the CPU 101, various application programs, and the positional relationship table 12a indicating the positional relationship between the three-dimensional object and the two-dimensional barcode described above. The positional relationship table 12a may be recorded on a recording medium (not shown) such as a DVD (Digital Versatile Disc) or a CD-ROM, and these various data are partially expanded in the RAM 103, for example, the CPU 101. Used by.

グラフィック処理部105には、表示装置として例えば、ディスプレイ105aが接続されており、CPU101と連携して図1の画像処理部13の機能を実現する。例えば、CPU101からの描画命令に従って、ディスプレイ105a上に、撮像画像やCG画像などを表示する。   For example, a display 105 a is connected to the graphic processing unit 105 as a display device, and the function of the image processing unit 13 in FIG. 1 is realized in cooperation with the CPU 101. For example, in accordance with a drawing command from the CPU 101, a captured image, a CG image, or the like is displayed on the display 105a.

入力I/F106には、マウス106aやキーボード106b、図1で示した撮像装置20であるカメラ106cなどの入力装置が接続されており、入力された情報や撮像画像を取り込み、バス108を介してRAM103などに伝送し、CPU101で使用可能にする。   The input I / F 106 is connected to an input device such as a mouse 106a, a keyboard 106b, and the camera 106c that is the imaging device 20 shown in FIG. The data is transmitted to the RAM 103 or the like and made usable by the CPU 101.

通信I/F107は、例えば、ネットワーク107aと接続して、ネットワーク107a上のサーバや端末と通信を行う。
以下、図4で示したようなハードウェア構成の情報処理装置10の処理の詳細を、フローチャートを用いて説明する。
The communication I / F 107 is connected to the network 107a, for example, and communicates with a server or a terminal on the network 107a.
Hereinafter, the details of the processing of the information processing apparatus 10 having the hardware configuration as shown in FIG. 4 will be described using a flowchart.

例えば、ユーザにより、立体物がカメラ106cの撮像範囲内に配置され、例えば、HDD104に記憶された2次元バーコード認識処理を行うプログラムが取り出され実行されると、CPU101はプログラムに応じて、以下に示す処理を行う。   For example, when a user places a three-dimensional object within the imaging range of the camera 106c and, for example, a program for performing a two-dimensional barcode recognition process stored in the HDD 104 is extracted and executed, the CPU 101 performs the following depending on the program: The process shown in is performed.

図5は、2次元バーコードの認識処理の流れを説明するフローチャートである。
情報処理装置10は、カメラ106cによる撮像画像を入力I/F106を介して取り込む(ステップS1)。取り込んだ撮像画像は、RAM103に一時記憶され、CPU101は、撮像画像より2次元バーコードを探知する(ステップS2)。CPU101は、ステップS2の処理の探知によって2次元バーコードが検出されたか否かを判定する(ステップS3)。2次元バーコードが検出されない場合には、例えば、その旨を表示して、ユーザに2次元バーコードが配置された立体物の、カメラ106cに対する距離や角度を調整するように促す。そしてステップS1からの処理に戻る。一方、2次元バーコードが検出された場合には、2次元バーコードから、固有情報や、位置または方向に関する位置・方向情報などの各種識別情報と、2次元バーコードの4つの頂点の位置を示す2次元座標などを取得し、例えば、RAM103に記憶する(ステップS4)。CPU101は、取得した各種識別情報が既にHDD104などに記憶されていて、登録済みか否かを判定し(ステップS5)、登録済みである場合には、CPU101の制御のもと、グラフィック処理部105は、登録済みの3次元画像表示処理を行う(ステップS6)。未登録の場合には、各種識別情報を例えば、HDD104に登録するとともに、その識別情報が検出されたときに行う処理なども登録する(ステップS7)。
FIG. 5 is a flowchart for explaining the flow of recognition processing of a two-dimensional barcode.
The information processing apparatus 10 captures an image captured by the camera 106c via the input I / F 106 (step S1). The captured image is temporarily stored in the RAM 103, and the CPU 101 detects a two-dimensional barcode from the captured image (step S2). The CPU 101 determines whether or not a two-dimensional barcode is detected by detecting the process in step S2 (step S3). If the two-dimensional barcode is not detected, for example, this is displayed and the user is prompted to adjust the distance and angle of the three-dimensional object on which the two-dimensional barcode is arranged with respect to the camera 106c. Then, the process returns to step S1. On the other hand, when a two-dimensional barcode is detected, various identification information such as unique information, position / direction information regarding the position or direction, and the positions of the four vertices of the two-dimensional barcode are detected from the two-dimensional barcode. The two-dimensional coordinates shown are acquired and stored in, for example, the RAM 103 (step S4). The CPU 101 determines whether the acquired various types of identification information have already been stored in the HDD 104 or the like and has been registered (step S5). If the information has been registered, the graphic processing unit 105 is controlled under the control of the CPU 101. Performs a registered three-dimensional image display process (step S6). If not registered, various types of identification information are registered in the HDD 104, for example, and processing to be performed when the identification information is detected is also registered (step S7).

以上のステップS7までの処理は、例えば、特許文献1に開示されている2次元バーコードの認識処理とほぼ同じである。本実施の形態の情報処理装置10では、さらに、CPU101は、検出された2次元バーコードから、複数の固有情報が取得されたか否かを判定する(ステップS8)。複数の固有情報が取得されなかった場合には、ステップS1からの処理を繰り返す。複数の固有情報が取得された場合には、CPU101は、それが同一品、つまり同一の立体物の固有情報であるか否かの判定を行う(ステップS9)。   The processes up to step S7 described above are substantially the same as the two-dimensional barcode recognition process disclosed in Patent Document 1, for example. In the information processing apparatus 10 according to the present embodiment, the CPU 101 further determines whether or not a plurality of unique information has been acquired from the detected two-dimensional barcode (step S8). If a plurality of unique information is not acquired, the processing from step S1 is repeated. When a plurality of pieces of unique information are acquired, the CPU 101 determines whether or not the pieces of unique information are unique information of the same product, that is, the same three-dimensional object (step S9).

図6は、複数の立体物が撮像された場合を示す図である。
2つの立体物30、31が、図6のような配置で撮像された場合には、2次元バーコード30c−1、30c−2、31c−1、31c−2は4つ検出され、それに応じて4つの固有情報が取得される。ここで、2次元バーコード30c−1、30c−2は、同一の立体物30に配置されているものであるから固有情報は同一となる。また2次元バーコード31c−1、31c−2も、同一の立体物31に配置されているものであるから固有情報は同一である。
FIG. 6 is a diagram illustrating a case where a plurality of three-dimensional objects are captured.
When the two three-dimensional objects 30 and 31 are imaged in the arrangement as shown in FIG. 6, four two-dimensional barcodes 30c-1, 30c-2, 31c-1, and 31c-2 are detected, and accordingly Four pieces of unique information are acquired. Here, since the two-dimensional barcodes 30c-1 and 30c-2 are arranged on the same three-dimensional object 30, the unique information is the same. Since the two-dimensional barcodes 31c-1 and 31c-2 are also arranged on the same three-dimensional object 31, the unique information is the same.

ステップS9の処理で、同一の立体物の固有情報がない場合には、ステップS1からの処理を繰り返す。図6で示したように、同一の立体物の固有情報がある場合には、投影面積の大きな2次元バーコードの登録された各種識別情報を優先して設定し、投影面積の小さな2次元バーコードを無視する(ステップS10)。そして、ステップS1からの処理を繰り返す。図6の場合、同一の固有情報を持つ2次元バーコード30c−1、30c−2のうち、投影面積の大きな2次元バーコード30c−1の各種識別情報が優先設定される。同様に、同一の固有情報を持つ2次元バーコード31c−1、31c−2では、投影面積の大きい2次元バーコード31c−1が優先設定される。   If there is no unique information of the same three-dimensional object in the process of step S9, the process from step S1 is repeated. As shown in FIG. 6, when there is unique information of the same three-dimensional object, various kinds of identification information registered with a two-dimensional barcode having a large projected area are set with priority, and a two-dimensional bar having a small projected area is set. The code is ignored (step S10). Then, the processing from step S1 is repeated. In the case of FIG. 6, among the two-dimensional barcodes 30c-1 and 30c-2 having the same unique information, various identification information of the two-dimensional barcode 30c-1 having a large projected area is preferentially set. Similarly, in the two-dimensional barcodes 31c-1 and 31c-2 having the same unique information, the two-dimensional barcode 31c-1 having a large projected area is preferentially set.

次に、上記のステップS6の処理で行われる、2次元バーコードを用いた3次元画像表示処理について説明する。
図7は、3次元画像表示処理の流れを説明するフローチャートである。
Next, the 3D image display process using the 2D barcode performed in the process of step S6 will be described.
FIG. 7 is a flowchart for explaining the flow of the three-dimensional image display process.

CPU101は、図6で示した2次元バーコード認識処理によって検出された2次元バーコードの各種識別情報を、例えばRAM103から取得する。このとき、優先設定されている固有情報があればそれを優先する(ステップS20)。その後、CPU101の制御のもと、グラフィック処理部105は、3次元画像表示用のウィンドウをディスプレイ105a上に生成する(ステップS21)。CPU101は、取得した固有情報及び、位置・方向情報に応じて、立体物に対応づけられて登録されていたデータを、例えば、HDD104から読み出す(ステップS22)。立体物に対応づけられたデータとは、例えば、立体物に対応した3次元画像を表示するためのデータ(Microsoft Direct3Dで使用される標準的なファイルフォーマットであるXファイルとして記述されたものなど)や、再生する音声、アニメーションの情報、そして図2で示したような2次元バーコードと立体物の位置関係テーブル12aなどである。   The CPU 101 acquires various identification information of the two-dimensional barcode detected by the two-dimensional barcode recognition processing shown in FIG. At this time, if there is specific information that is preferentially set, it is given priority (step S20). Thereafter, under the control of the CPU 101, the graphic processing unit 105 generates a three-dimensional image display window on the display 105a (step S21). The CPU 101 reads out data registered in association with the three-dimensional object from the HDD 104, for example, in accordance with the acquired unique information and position / direction information (step S22). The data associated with the three-dimensional object is, for example, data for displaying a three-dimensional image corresponding to the three-dimensional object (such as data described as an X file that is a standard file format used in Microsoft Direct 3D). And the sound to be reproduced, the information on the animation, and the positional relationship table 12a between the two-dimensional barcode and the three-dimensional object as shown in FIG.

その後、図5のステップS4の処理で取得した2次元バーコードの2次元座標と、カメラ106cの焦点距離などを、例えば、RAM103から読み出す(ステップS23)。CPU101は、取得した2次元座標、焦点距離、読み出した位置関係テーブル12aを参照して3次元画像を表示する位置を示すための3次元座標を算出する(ステップS24)。そして、グラフィック処理部105は、CPU101の制御のもと、ステップS24の処理で算出した3次元座標に対応する3次元画像を表示し(ステップS25)、3次元画像表示処理から図5のステップS8の処理に戻る(リターン)。   Thereafter, the two-dimensional coordinates of the two-dimensional barcode acquired in step S4 in FIG. 5, the focal length of the camera 106c, and the like are read from, for example, the RAM 103 (step S23). The CPU 101 calculates the three-dimensional coordinates for indicating the position where the three-dimensional image is displayed with reference to the acquired two-dimensional coordinates, the focal length, and the read positional relationship table 12a (step S24). Then, under the control of the CPU 101, the graphic processing unit 105 displays a three-dimensional image corresponding to the three-dimensional coordinates calculated in step S24 (step S25), and from the three-dimensional image display process to step S8 in FIG. Return to processing (return).

以上のように、2次元バーコードと、立体物との位置関係を示す位置関係テーブル12aを参照することによって、立体物との空間的位置に対応したCG画像を表示することができる。   As described above, by referring to the positional relationship table 12a indicating the positional relationship between the two-dimensional barcode and the three-dimensional object, a CG image corresponding to the spatial position with the three-dimensional object can be displayed.

なお、上記では、図1のように立体物30の台座30bに2次元バーコード30cを設置した場合について説明したが、例えば、人形30aが十分大きい場合には、その人形30aの所定の位置に2次元バーコードを設置しても上記の処理と同様になる。   In the above description, the case where the two-dimensional barcode 30c is installed on the pedestal 30b of the three-dimensional object 30 as shown in FIG. 1 has been described. For example, when the doll 30a is sufficiently large, the doll 30a is placed at a predetermined position. Even if a two-dimensional barcode is installed, the same processing as described above is performed.

図8は、ある人形に2次元バーコードを設置した場合の様子を示す図である。
立体物である人形32に2次元バーコード32cを配置している。ただしこのような場合、立体物の形状によっては2次元バーコードが死角に入る場合もあり、常に少なくともひとつの2次元バーコードが見えているように、配置に工夫をする必要がある。撮像系に対して、2次元バーコード全体が見えないと認識できないので、例えば、凹んだ場所や突起物の陰には当然配置できない。3次元のオブジェクトの形状によっては、裏返したり、寝ころがしたりできるものもある。よって、そのようなものについては、それぞれの方向に2次元バーコードを設置する必要がある。また、可動部があるようなものの場合、可動部の姿勢によっては2次元バーコードが隠れてしまうので、それを補うように、例えば手にも2次元バーコードを配置することが必要となる。また、例えば、大きなものであれば、正面上、正面下などのようにさらに位置情報を表現する場合もある。
FIG. 8 is a diagram showing a state in which a two-dimensional barcode is installed on a certain doll.
A two-dimensional barcode 32c is arranged on a doll 32 which is a three-dimensional object. However, in such a case, depending on the shape of the three-dimensional object, the two-dimensional barcode may enter the blind spot, and it is necessary to devise the arrangement so that at least one two-dimensional barcode is always visible. Since it cannot be recognized that the entire two-dimensional barcode is not visible to the imaging system, for example, it cannot be naturally placed behind a recessed place or a projection. Depending on the shape of the three-dimensional object, there are some that can be turned over or lying down. Therefore, for such a thing, it is necessary to install a two-dimensional barcode in each direction. In the case where there is a movable part, the two-dimensional barcode is hidden depending on the posture of the movable part. For this reason, for example, it is necessary to arrange the two-dimensional barcode on the hand. In addition, for example, in the case of a large one, the position information may be further expressed such as on the front side or below the front side.

なお、上記では、情報処理装置10として図4に示すようなPCを例にして説明したが、これに限定されず、カメラ入力に対応したゲーム機や、携帯電話、PDA(Personal Digital Assistant)、CG生成処理能力を持つテレビなどを用いてもよい。   In the above description, the PC as shown in FIG. 4 has been described as an example of the information processing apparatus 10. However, the present invention is not limited to this, and a game machine, a mobile phone, a PDA (Personal Digital Assistant), A television having a CG generation processing capability may be used.

また、立体物としては、フィギュアやゲームの駒、玩具を始めとしてあらゆる立体物で実現が可能である。処理をするためのデータについても、あらゆる媒体(ディスクメディア、メモリ、ネットワーク配信、データ放送など)を通じて供給されることが考えられる。   In addition, the three-dimensional object can be realized by any three-dimensional object including a figure, a game piece, and a toy. It is conceivable that data for processing is also supplied through any medium (disk media, memory, network distribution, data broadcasting, etc.).

これにより、例えば、2次元バーコードが配置された清涼飲料水などの缶やボトルを撮像すると、その2次元バーコードの固有情報と対応付けられたプログラム(ネットワークを通じて配信されるようなプログラムでもよい)の実行によって、画面上で宣伝効果のある特殊効果映像を、その缶の所定の位置に出現させることも可能である。   Thus, for example, when a can or bottle such as a soft drink with a two-dimensional barcode placed thereon is imaged, a program associated with the unique information of the two-dimensional barcode (a program distributed through a network may be used). ), It is also possible to cause a special effect video having an advertising effect to appear on the screen at a predetermined position.

以上のように、あらゆる立体物を認識し、CGや画像と合成することが可能となる。これにより、立体物をディスプレイ画面の中に取り込んでインタラクティブに処理することができるため、立体物を用いたゲームや特殊効果の再現などのアプリケーションが実現できる。また、キャラクター商品などとの組み合わせによって、宣伝効果を得ることができる。   As described above, any three-dimensional object can be recognized and combined with CG or an image. As a result, since a three-dimensional object can be taken into the display screen and interactively processed, an application such as a game using a three-dimensional object or reproduction of a special effect can be realized. In addition, an advertising effect can be obtained by combining with a character product.

なお上記の処理内容は、コンピュータによって実現することができる。その場合、情報処理装置10が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。   The above processing contents can be realized by a computer. In that case, a program describing the processing contents of the functions that the information processing apparatus 10 should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Examples of the magnetic recording device include a hard disk device (HDD), a flexible disk (FD), and a magnetic tape. Optical disks include DVD, DVD-RAM, CD-ROM, CD-R (Recordable) / RW (ReWritable), and the like. Magneto-optical recording media include MO (Magneto-Optical disk).

プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When distributing the program, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. In addition, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

情報処理装置の機能ブロック図である。It is a functional block diagram of an information processor. 2次元バーコードと、立体物との空間的な位置関係を示す図である。It is a figure which shows the spatial positional relationship of a two-dimensional barcode and a solid object. 撮像した立体物を消去してCG画像に置き換えた例である。In this example, the captured three-dimensional object is deleted and replaced with a CG image. 情報処理装置のハードウェア構成例である。It is a hardware structural example of an information processing apparatus. 2次元バーコードの認識処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the recognition process of a two-dimensional barcode. 複数の立体物が撮像された場合を示す図である。It is a figure which shows the case where a some solid object is imaged. 3次元画像表示処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a three-dimensional image display process. ある人形に2次元バーコードを設置した場合の様子を示す図である。It is a figure which shows the mode at the time of installing a two-dimensional barcode in a certain doll. 2次元バーコードの例である。It is an example of a two-dimensional barcode. 2次元バーコードを認識してCG表現した画面例である。It is the example of a screen which recognized the CG by recognizing a two-dimensional barcode.

符号の説明Explanation of symbols

10……情報処理装置、11……バーコード検出部、12……記憶部、13……画像処理部、20……撮像装置、30……立体物、30a……人形、30b……台座、30c……2次元バーコード、40……表示部、41……CG画像   DESCRIPTION OF SYMBOLS 10 ... Information processing apparatus, 11 ... Barcode detection part, 12 ... Memory | storage part, 13 ... Image processing part, 20 ... Imaging device, 30 ... Solid object, 30a ... Doll, 30b ... Base, 30c …… 2D barcode, 40 …… Display section, 41 …… CG image

Claims (12)

2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理装置において、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、
前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、
検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部と、
を有することを特徴とする情報処理装置。
In an information processing apparatus that recognizes a two-dimensional barcode and displays a computer graphic image,
A barcode detection unit that detects the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
A storage unit storing a spatial positional relationship between the two-dimensional barcode and the three-dimensional object;
An image processing unit that generates and outputs a computer graphic image according to a spatial position of the three-dimensional object with reference to the positional relationship between the detected two-dimensional barcode and the three-dimensional object;
An information processing apparatus comprising:
前記2次元バーコードは、前記立体物固有の第1の識別情報及び、前記2次元バーコードが配置される前記立体物上における位置または方向を識別するための第2の識別情報を有しており、
前記画像処理部は、前記第1の識別情報と、前記第2の識別情報に応じた前記コンピュータグラフィック画像を生成し出力することを特徴とする請求項1記載の情報処理装置。
The two-dimensional barcode has first identification information unique to the three-dimensional object and second identification information for identifying a position or direction on the three-dimensional object where the two-dimensional barcode is arranged. And
The information processing apparatus according to claim 1, wherein the image processing unit generates and outputs the computer graphic image corresponding to the first identification information and the second identification information.
前記画像処理部は、生成したコンピュータグラフィック画像と、前記撮像画像とを合成して出力することを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the image processing unit synthesizes and outputs the generated computer graphic image and the captured image. 前記画像処理部は、前記位置関係をもとに、前記撮像画像から前記立体物を消去することを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the image processing unit deletes the three-dimensional object from the captured image based on the positional relationship. 前記画像処理部は、消去した前記立体物の代わりに前記コンピュータグラフィック画像を出力することを特徴とする請求項4記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the image processing unit outputs the computer graphic image instead of the erased three-dimensional object. 前記画像処理部は、前記撮像画像より複数の前記2次元バーコードが検出された場合、前記第1の識別情報が同一かつ前記第2の識別情報が異なる際には、投影面積の大きな前記2次元バーコードを優先して処理し、前記第1の識別情報が異なる場合には、それぞれについて処理することを特徴とする請求項2記載の情報処理装置。   When a plurality of the two-dimensional barcodes are detected from the captured image, the image processing unit has a large projected area when the first identification information is the same and the second identification information is different. The information processing apparatus according to claim 2, wherein the dimension barcode is processed with priority, and when the first identification information is different, each is processed. 撮像対象となる立体物において、
前記立体物上の所定の位置に、複数の2次元バーコードが配置され、
前記2次元バーコードは、前記立体物固有の第1の識別情報及び、前記2次元バーコードが配置される前記立体物上における位置または方向を識別するための第2の識別情報を有していることを特徴とする立体物。
In the three-dimensional object to be imaged,
A plurality of two-dimensional barcodes are arranged at predetermined positions on the three-dimensional object,
The two-dimensional barcode has first identification information unique to the three-dimensional object and second identification information for identifying a position or direction on the three-dimensional object where the two-dimensional barcode is arranged. A three-dimensional object characterized by being.
前記2次元バーコードは、常に少なくとも1つが撮像可能なように配置されていることを特徴とする請求項7記載の立体物。   The three-dimensional object according to claim 7, wherein at least one of the two-dimensional barcodes is always arranged so that an image can be captured. 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理システムにおいて、
複数の2次元バーコードが所定の位置に配置された立体物と、
前記立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部と、を有することを特徴とする情報処理装置と、
を具備することを特徴とする情報処理システム。
In an information processing system for recognizing a two-dimensional barcode and displaying a computer graphic image,
A three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
A barcode detection unit that detects the two-dimensional barcode, a storage unit that stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object are detected from a captured image obtained by imaging the three-dimensional object. An image processing unit that generates and outputs a computer graphic image in accordance with a spatial position of the three-dimensional object with reference to the positional relationship between the two-dimensional barcode and the three-dimensional object. An information processing device to
An information processing system comprising:
2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理方法において、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出し、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力することを特徴とする情報処理方法。
In an information processing method for recognizing a two-dimensional barcode and displaying a computer graphic image,
Detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. An information processing method characterized by generating and outputting a computer graphic image according to a target position.
2次元バーコードを認識してコンピュータグラフィック画像を表示する処理をコンピュータに機能させるプログラムにおいて、
コンピュータを、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出手段、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理手段、
として機能させるプログラム。
In a program for causing a computer to function to recognize a two-dimensional barcode and display a computer graphic image,
Computer
Barcode detection means for detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. Image processing means for generating and outputting a computer graphic image according to the target position,
Program to function as.
2次元バーコードを認識してコンピュータグラフィック画像を表示する処理をコンピュータに機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体において、
コンピュータを、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出手段、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理手段、
として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
In a computer-readable recording medium storing a program for causing a computer to function to recognize a two-dimensional barcode and display a computer graphic image,
Computer
Barcode detection means for detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. Image processing means for generating and outputting a computer graphic image according to the target position,
A computer-readable recording medium storing a program that functions as a computer.
JP2004220517A 2004-07-28 2004-07-28 Information processor, cubic object, information processing system and information processing method Pending JP2006040045A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004220517A JP2006040045A (en) 2004-07-28 2004-07-28 Information processor, cubic object, information processing system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004220517A JP2006040045A (en) 2004-07-28 2004-07-28 Information processor, cubic object, information processing system and information processing method

Publications (1)

Publication Number Publication Date
JP2006040045A true JP2006040045A (en) 2006-02-09

Family

ID=35904960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004220517A Pending JP2006040045A (en) 2004-07-28 2004-07-28 Information processor, cubic object, information processing system and information processing method

Country Status (1)

Country Link
JP (1) JP2006040045A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286715A (en) * 2006-04-13 2007-11-01 Brother Ind Ltd Image composition device and image composition program
JP2011204047A (en) * 2010-03-26 2011-10-13 Konami Digital Entertainment Co Ltd Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium
JP2012000284A (en) * 2010-06-17 2012-01-05 Sanyo Product Co Ltd Game machine
JP2012000283A (en) * 2010-06-17 2012-01-05 Sanyo Product Co Ltd Game machine
JP2012195732A (en) * 2011-03-16 2012-10-11 Fujitsu Ltd Method for controlling image processing device, image processing device, and program for controlling image processing device
CN103218733A (en) * 2012-04-26 2013-07-24 株式会社万代 Portable terminal device, toll, reality expansion system and method
JP2014110034A (en) * 2012-12-04 2014-06-12 Bandai Co Ltd Portable terminal, terminal program and toy
JP2014515961A (en) * 2011-05-23 2014-07-07 レゴ エー/エス Toy construction system for augmented reality
JP2014515962A (en) * 2011-05-23 2014-07-07 レゴ エー/エス Generating assembly instructions for structural element models
KR101826486B1 (en) * 2017-09-20 2018-02-07 김성은 Model Toys with Augmented Reality Function and its Application
KR101910761B1 (en) 2010-01-19 2018-10-22 네스텍 소시에테아노님 Method for providing information to a user from a capsule for the preparation of a beverage using a code
JP7431903B2 (en) 2019-11-12 2024-02-15 株式会社ポケモン Photography system, photography method, photography program, and stuffed animal

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286715A (en) * 2006-04-13 2007-11-01 Brother Ind Ltd Image composition device and image composition program
KR101910761B1 (en) 2010-01-19 2018-10-22 네스텍 소시에테아노님 Method for providing information to a user from a capsule for the preparation of a beverage using a code
JP2011204047A (en) * 2010-03-26 2011-10-13 Konami Digital Entertainment Co Ltd Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium
JP2012000284A (en) * 2010-06-17 2012-01-05 Sanyo Product Co Ltd Game machine
JP2012000283A (en) * 2010-06-17 2012-01-05 Sanyo Product Co Ltd Game machine
JP2012195732A (en) * 2011-03-16 2012-10-11 Fujitsu Ltd Method for controlling image processing device, image processing device, and program for controlling image processing device
JP2014515961A (en) * 2011-05-23 2014-07-07 レゴ エー/エス Toy construction system for augmented reality
JP2014515962A (en) * 2011-05-23 2014-07-07 レゴ エー/エス Generating assembly instructions for structural element models
US9821242B2 (en) 2011-05-23 2017-11-21 Lego A/S Generation of building instructions for construction element models
US9827507B2 (en) 2011-05-23 2017-11-28 Lego A/S Toy construction system for augmented reality
US10549209B2 (en) 2011-05-23 2020-02-04 Lego A/S Toy construction system for augmented reality
US11014014B2 (en) 2011-05-23 2021-05-25 Lego A/S Toy construction system for augmented reality
US11911709B2 (en) 2011-05-23 2024-02-27 Lego A/S Toy construction system for augmented reality
JP2013228959A (en) * 2012-04-26 2013-11-07 Bandai Co Ltd Portable terminal device, terminal program, augmented reality system, and toy
CN103218733A (en) * 2012-04-26 2013-07-24 株式会社万代 Portable terminal device, toll, reality expansion system and method
JP2014110034A (en) * 2012-12-04 2014-06-12 Bandai Co Ltd Portable terminal, terminal program and toy
KR101826486B1 (en) * 2017-09-20 2018-02-07 김성은 Model Toys with Augmented Reality Function and its Application
JP7431903B2 (en) 2019-11-12 2024-02-15 株式会社ポケモン Photography system, photography method, photography program, and stuffed animal

Similar Documents

Publication Publication Date Title
JP4032776B2 (en) Mixed reality display apparatus and method, storage medium, and computer program
JP6558006B2 (en) Image management apparatus, image management method, image management program, and display system
CN101383141B (en) Image display control apparatus and image display control method
JP4764920B2 (en) Visual code system for camera-equipped mobile devices and its applications
CN101751219B (en) Terminal apparatus, display control method, and display control program
KR20070039561A (en) Information processing system, and information processing method
JP6674192B2 (en) Image processing apparatus and image processing method
JP2000322602A (en) Device and method for processing image and medium
JP2006040045A (en) Information processor, cubic object, information processing system and information processing method
JP2011118834A (en) Apparatus and method for processing information, and program
JP6521055B2 (en) Display device, display control method, display control program and display system
CN103761062A (en) Method for displaying corresponding materials in two-dimension code area on screen of mobile terminal
JP2009295016A (en) Control method for information display, display control program and information display
WO2014027433A1 (en) Information provision device, information provision method, and program
JP5446700B2 (en) Information processing apparatus, information processing method, and program
JP6267809B1 (en) Panorama image synthesis analysis system, panorama image synthesis analysis method and program
JP2009295012A (en) Control method for information display, display control program and information display
JP2003333537A (en) Image reproducing apparatus and image reproducing method
JP2008117190A (en) Processor and program
JP7396326B2 (en) Information processing system, information processing device, information processing method and program
JP4687625B2 (en) Image processing system and image processing program
JP2009055272A (en) Image processing apparatus, image processing method, and image processing program
KR101860215B1 (en) Content Display System and Method based on Projector Position
JP4046664B2 (en) Information providing system, information providing method, information providing program, and recording medium for recording information providing program for portable information terminal
JP2004070023A (en) Document presenting device