WO2006011556A1

WO2006011556A1 - 情報処理システム及び情報処理方法

Info

Publication number: WO2006011556A1
Application number: PCT/JP2005/013845
Authority: WO
Inventors: Tetsu Natsume; Tsukasa Yoshimura
Original assignee: Sony Corporation
Priority date: 2004-07-28
Filing date: 2005-07-28
Publication date: 2006-02-02
Also published as: US20070187507A1; JP2006040046A; KR20070039561A; EP1811431A1; EP1811431A4; CN101019136A

Description

明細書

情報処理システム及び情報処理方法

技術分野

[0001] 本発明は情報処理システム及び情報処理方法に関し、特に 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理システム及び情報処理方法に関する。

背景技術

[0002] 従来、カードや紙媒体に印刷された 2次元バーコードをカメラで撮像し、そのパターンを読み取り、あた力も 2次元バーコード上に立体物が存在するかのように、テレビなどの画面上に、ノターンに対応したコンピュータグラフィック（以下 CGと表記する）画像を表示する技術があった (例えば、特開 2000— 322602号公報参照)。

[0003] 図 7は、 2次元バーコードの例である。

2次元バーコードは、 1ブロックを 1単位とし、縦方向が 9. 5ブロック分の長さで、横方向が 7ブロック分の長さの長方形の範囲内に、セル部とロゴ部が 1ブロック分離して配置されている。セル部では、 7 X 7ブロックの範囲内に複数の正方形状のセル（黒色の部分）が所定の配列規則に従って 2次元的に配置されており、この配列パターンにより、所定のコードが記録されている。一方、ロゴ部は、縦方向が 1. 5ブロック、横方向が 7ブロックのセルからなり、オブジェクトの名称、あるいは宣伝のためのマーク（ロゴ)などが記載される。このような 2次元バーコードでは、セル部の四隅のブロックにはセルが配置され、それらのセルの周囲 3ブロックにはセルが配置されていない。これによって、 1つの 2次元バーコードが把握可能となり、向きはロゴ部が常に 2次元バ一コードの下部であると定義することによって把握できる。

[0004] 図 8は、 2次元バーコードを認識して CG表現した画面例である。

このように、カード 500に印刷された 2次元バーコード 501をカメラで認識し、その I Dに合わせて生成した CG画像 502を、認識した 2次元バーコード 501の位置に合成するような表現が可能となって、る。

発明の開示 [0005] しかし、従来の 2次元バーコードは、通常は紙媒体に印刷されており、変更したい場合には再度印刷を行う必要があり手間とコストがかかる問題があった。

本発明はこのような点に鑑みてなされたものであり、低コストで簡単に 2次元バーコードを変更可能であり、その変更を検出して変更に応じたコンピュータグラフィック画像を生成可能な情報処理システムを提供することを目的とする。

[0006] また、本発明の他の目的は、 2次元バーコードの変更を検出して変更に応じたコンピュータグラフィック画像を生成可能な情報処理方法を提供することである。

[0007] 本発明では上記問題を解決するために、 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理システムにお、て、 2次元バーコードが配置され、前記 2次元バーコードの一部を表示し可変するための表示部を有したオブジェクトと、前記オブジェクトを撮像した撮像画像より、前記 2次元バーコードを検出し、前記 2次元バーコードに応じたコンピュータグラフィック画像を生成し出力し、前記ォブジェタトが前記 2次元バーコードを変更した場合には、前記変更に応じた前記コンビュ一タグラフィック画像を生成し出力する情報処理装置と、を有することを特徴とする情報処理システムが提供される。

[0008] 上記の構成によれば、撮像対象となるオブジェクトが、当該オブジェクトに配置された 2次元バーコードの一部を表示し可変するための表示部を有し、情報処理装置は、そのオブジェクトを撮像した撮像画像より、 2次元バーコードを検出し、 2次元バーコードに応じたコンピュータグラフィック画像を生成し出力する。オブジェクトが 2次元バ一コードを変更した場合には、情報処理装置は、その変更に応じたコンピュータダラフィック画像を生成し出力する。

[0009] 本発明では、撮像対象となるオブジェクトが、当該オブジェクトに配置された 2次元バーコードの一部を表示し可変するための表示部を有しているため、低コストで簡単に 2次元バーコードを変更できる。情報処理装置は、そのオブジェクトを撮像した撮像画像より、 2次元バーコードを検出し、 2次元バーコードに応じたコンピュータグラフイツク画像を生成し出力し、オブジェクトが 2次元バーコードを変更した場合には、情報処理装置は、その変更に応じたコンピュータグラフィック画像を生成し出力するので、オブジェクトの状態に応じたコンピュータグラフィック画像を表現することができる図面の簡単な説明

[0010] [図 1]図 1は、本実施の形態の情報処理システムの概略の構成を示す図である。

[図 2]図 2は、 2次元バーコード変更処理を示すフローチャートである。

[図 3]図 3は、スィッチにより 2次元バーコードを変更する例を示す図である。

[図 4]図 4は、オブジェクトの機能ブロックの一例を示す図である。

[図 5]図 5は、情報処理装置のハードウェア構成例である。

[図 6]図 6は、情報処理装置の処理の流れを説明するフローチャートである。

[図 7]図 7は、 2次元バーコードの例である。

[図 8]図 8は、 2次元バーコードを認識して CG表現した画面例である。

発明を実施するための最良の形態

[0011] 以下、本発明の実施の形態を図面を参照して詳細に説明する。

図 1は、本実施の形態の情報処理システムの概略の構成を示す図である。本実施の形態の情報処理システムは、撮像対象となるオブジェクト 10、情報処理装置 20、撮像装置 30、表示装置 40により構成される。

[0012] オブジェクト 10には 2次元バーコード 10aが配置されており、その一部は、表示部 1 1に表示され、変更が可能なようになつている。表示部 11は、例えば、液晶表示装置である。また、オブジェクト 10は、温度などの各種物理量を検出するセンサ 12と、センサ 12により得られた値に応じて、表示部 11に表示された 2次元バーコード 10aの一部を変更するバーコード変更処理部（例えば、 CPU (Central Processing Unit) ) 1 3と、変更パターンなどを記憶した記憶部（例えば、フラッシュメモリなどの ROM (Rea d Only Memory) ) 14を有する。

[0013] なお、オブジェクト 10は、立体物であり、例えば、図のように、人形 10bとその台座 1 Oc力なる。ここでは、台座 10cに、 2次元バーコード 10aを配置し、表示部 11、センサ 12、バーコード変更処理部 13及び記憶部 14を内蔵させている力人形 10bが大きいものであれば人形 10bに 2次元バーコード 10aを配置し、各種機能を内蔵してもよい。また、ここでは台座 10cの 1面にのみ 2次元バーコード 10aを表示しているが、各面に配置してもよい。 [0014] 2次元バーコード 10aは、オブジェクト 10固有の識別情報（以下固有情報と称する）や、情報処理装置 20が生成するための CG画像を指定するための識別情報を有している。

[0015] オブジェクト 10において、 2次元バーコード 10aの一部のみを表示することで、少ないコストで 2次元バーコード 10aを変更することができる。この図 1の例では、 2次元バ一コード 10aの中央部 9マスを、例えば液晶表示によって可変としている。一般的に、 2次元バーコードは、例えば四隅の黒枠を位置の特定に使うため、常に黒表示されている。またその周囲の 3マスは白表示される。よって、これらの部分を含めて可変とすることは、コストの観点力も得策ではない。そこで、可変領域は 1マスから 33マスまで自由に設定する。

[0016] ここで、オブジェクト 10における 2次元バーコード変更の際の動作を説明する。

図 2は、 2次元バーコード変更処理を示すフローチャートである。

バーコード変更処理部 13は、センサ 12からの入力を確認すると (ステップ S 1)、その値が閾値を超えたか否かを判定する (ステップ S 2)。例えば、センサ 12により温度を検出している場合、ある温度を閾値としてあら力じめ設定しておき、その温度を超えたカゝ否かを判定する。ここで閾値を超えない場合には、再びステップ S1の処理を行う。閾値を超えた場合には、新規の 2次元バーコードの表示パターンを記憶部 14から取得し (ステップ S3)、そのパターンを表示部 11に表示する (ステップ S4)。以上のような処理をオブジェクト 10は繰り返し、例えば、オブジェクト 10の電源（図示せず）をオフにすると終了する。

[0017] 2次元バーコード 10aの変更については、センサ 12からの入力による以外に、様々なものが適用可能である。

例えば、タイマーを有して、そのタイマーにより時間を検出し、あら力じめ設定した時間になつたときに 2次元バーコード 10aの一部を変更するようにしてもよい。また、 GP S (Global Positioning System)装置を有して、 GPS装置によりオブジェクト 10が存在する現在の位置情報を検出し、オブジェクト 10が所定の地域に入った場合に、 2次元バーコード 10aの一部を変更するようにしてもよい。また、撮像装置を有し、撮像装置によりオブジェクト 10の周囲を監視し、所定の対象物が撮像された場合に、 2次元バーコード 10aの一部を変更するようにしてもよ、。

[0018] また、スィッチを有して、そのスィッチの状態 (オンオフ）に応じて、 2次元バーコードの一部を変更するようにしてもよい。例えば、ゲームの場合、操作やゲームの勝敗に応じて、 2次元バーコードを変化させることにより、キャラクターを成長させたり、それに応じたキャラクター CGを表示したりすることができる。

[0019] 図 3は、スィッチにより 2次元バーコードを変更する例を示す図である。

図のように、例えばオブジェクト 10の人形 10bの手の部分にスィッチ 15を設け、その位置に例えば盾 50をセットすることによってスィッチ 15をオンし、それに応じて表示部 11に表示される 2次元バーコード 10aの表示パターンをパターン 1 laからパターン l ibに変更する。

[0020] また、前述したようなセンサとスィッチなどを組み合わせるようにしてもよ!、。

図 4は、オブジェクトの機能ブロックの一例を示す図である。

図のように、センサ 12とスィッチ 15を組み合わせた場合には、センサ 12またはスィツチ 15からの信号がバーコード変更処理部 13に入力され、センサ 12で検出された値やスィッチ 15の状態に応じて、記憶部 14に記憶された新規の 2次元バーコードの表示パターンが取り出され表示部 11に表示される。

[0021] 次に、図 1に戻り情報処理装置 20を説明する。

情報処理装置 20は、バーコード検出部 21、記憶部 22、画像処理部 23を有する。バーコード検出部 21は、 CCD (Charge Coupled Device)カメラなどの撮像装置 30 で撮像されて取り込まれたオブジェクト 10の撮像画像より、 2次元バーコード 10aを検出する。

[0022] 記憶部 22は、検出した 2次元バーコード 10aに応じて表示すべき CG画像データを記憶している。

画像処理部 23は、検出された 2次元バーコード 10aに応じて表示すべき CG画像データを記憶部 22より読み出して CG画像を生成し、 LCD (Liquid Crystal Display) などの表示装置 40に出力する。

[0023] 以下情報処理装置 20の動作を説明する。

撮像装置 30に対してオブジェクト 10が所定の位置に配置され撮像が開始されると、情報処理装置 20は撮像画像を取り込み、バーコード検出部 21は撮像画像から 2 次元バーコード 10aを検出する。なお、 2次元バーコードそのものの認識は、例えば、特開 2000— 82108号公報（段落番号〔0055〕〜〔0112〕）などに開示されており、 2 次元バーコードが撮像系に対して傾、て、るような状態であっても認識ができる。

[0024] 画像処理部 23は、検出された 2次元バーコード 10aに含まれる固有情報や表示すべき CG画像を指定する識別情報をもとに記憶部 22を参照して、 CG画像データを取り出し、 CG画像を生成し、表示装置 40に出力して表示させる。前述したようにォブジェクト 10が 2次元バーコード 10aを変更した場合には、その変更に応じた CG画像データを記憶部 22より取り出し、 CG画像を生成し、表示装置 40に出力して表示させる。例えば、 2次元バーコード 10aの変更により、キャラクターを変身させたり、変化させたり、 CGによるアクションを表現することができる。

[0025] このように、本実施の形態の情報処理システムによれば、 2次元バーコードを少なヽコストで変更でき、その変更に応じた CG画像を生成することができる。また、オブジェタトの状態をセンサや、スィッチなどで検出して、 2次元バーコードを変更するようにしたので、オブジェクトの状態に応じた CG合成が可能となる。

[0026] 次に本実施の形態の情報処理装置 20の具体的なハードウェア構成例を説明する図 5は、情報処理装置のハードウェア構成例である。

情報処理装置 20は、例えば PC (パーソナルコンピュータ）であり、 CPU101、 RO M102、 RAM (Random Access Memory) 103、 HDD (Hard Disk Drive) 104、グラフイツク処理部 105、入力 IZF (Interface) 106、通信 IZF107などによって構成され、これらはバス 108を介して相互に接続されて!、る。

[0027] ここで、 CPU101は、 ROM102や、 HDD104に格納されているプログラムや、各種データに応じて各部を制御する。そして、 2次元バーコードを認識する処理などを行う。

[0028] ROM102は、 CPU101が実行する基本的なプログラムやデータを格納している。

RAM103は、 CPU101が実行途中のプログラムや、演算途中のデータを格納している。 [0029] HDD104は、 CPUIOIが実行する OS (Operating System)や、各種アプリケーションプログラムや、 CG画像データなど各種データを格納する。

グラフィック処理部 105には、表示装置として、例えば、 LCD105aが接続されており、 CPU101と連携して図 1の画像処理部 23の機能を実現する。例えば、 CPU101 力もの描画命令に従って、 LCD105aの画面上に、撮像画像や CG画像などを表示する。

[0030] 入力 I/F106には、マウス 106aやキーボード 106b、図 1で示した撮像装置 30であるカメラ 106cなどの入力装置が接続されており、入力された情報や撮像画像を取り込み、バス 108を介して RAM103などに伝送し、 CPU101で使用可能にする。

[0031] 通信 IZF107は、例えば、ネットワーク 107aと接続して、ネットワーク 107a上のサーバゃ端末と通信を行う。

以下、図 5で示したようなハードウェア構成の情報処理装置 20の処理の詳細を、フローチャートを用いて説明する。

[0032] 例えば、ユーザにより、オブジェクト 10がカメラ 106cの撮像範囲内に配置され、 2次元バーコードを認識して CG画像を生成するプログラム力例えば、 HDD104から取り出され実行されると、 CPU 101はプログラムに応じて以下に示す処理を行う。

[0033] 図 6は、情報処理装置の処理の流れを説明するフローチャートである。

カメラ 106cによる撮像画像が入力 I/F106を介して情報処理装置 20に取り込まれると、 CPU101は、撮像画像より 2次元バーコード 10aを検出する (ステップ S10)。次に、 CPU101は、 2次元バーコード 10aを認識して、固有情報や、表示すべき CG画像データを識別する情報及び、 2次元バーコード 10aの 4つの頂点の位置を示す 2次元座標などを取得する (ステップ S 11)。その後、 CPU101の制御のもと、グラフィック処理部 105は、 3次元画像表示用のウィンドウを LCD105aの画面上に生成する (ステツプ S12)。 CPUIOIは、取得した固有情報及び、表示すべき CG画像データを識別する情報に応じて、表示すべき CG画像データを、例えば、 HDD104から読み出す (ステップ S13)。表示用の CG画像データは、例えば、オブジェクト 10に対応した 3 次元画像を表示するためのデータ（Microsoft Direct3Dで使用される標準的なフアイルフォーマットである Xファイルとして記述されたものなど）や、アニメーションの情報などである。その後、 2次元バーコード 10aの 2次元座標と、カメラ 106cの焦点距離などを、例えば、 RAM103から読み出す (ステップ S14)。 CPU101は、取得した 2次元座標、焦点距離を参照して CGによる 3次元画像を表示する位置を示すための 3次元座標を算出する (ステップ S15)。そして、グラフィック処理部 105は、 CPU101 の制御のもと、ステップ S 15の処理で算出した 3次元座標に対応する 3次元画像を表示し (ステップ S 16)、ステップ S 10からの処理を繰り返す。

[0034] オブジェクト 10が 2次元バーコード 10aを変更した場合にも、情報処理装置 20では同様の処理を行う 1S ステップ S 13の処理で読み出す表示用の CG画像データを、変更前のものと異なるものを読み出し表示する。これにより、例えば、 2次元バーコ一ドを変更することで、キャラクターを変身させたり、変化させたり、 CGによるアクションを表現することができる。

[0035] ところで、上記では、情報処理装置 20として図 5に示すような PCを例にして説明したが、これに限定されず、カメラ入力に対応したゲーム機や、携帯電話、 PDA (Perso nal Digital Assistant)、 CG生成処理能力を持つテレビなどを用いてもよい。

[0036] また、オブジェクトとしては、フィギュアやゲームの駒、玩具を始めとしてあらゆる物で実現が可能である。処理をするためのデータについても、あらゆる媒体 (ディスクメディア、メモリ、ネットワーク配信、データ放送など）を通じて供給されることが考えられる。

[0037] 以上のように、本実施の形態の情報処理システムによれば、 2次元バーコードを少ないコストで変更でき、その変更に応じた CG画像を生成することができる。また、ォブジエタトの状態をセンサや、スィッチなどで検出して、 2次元バーコードを変更するようにしたので、オブジェクトの状態に応じた CG合成が可能となる。

[0038] なお上記の処理内容は、コンピュータによって実現することができる。その場合、情報処理装置 20が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置 (HDD)、フレキシブルディスク (FD)、磁気テープなどがある。光ディスクには、 DVD (Digital Versatile Disk)、 DVD— RAMゝ CD— ROMゝ C D—R (Recordable) ZRW (Rewritable)などがある。光磁気記録媒体には、 MO (Ma gneto— Optical disk)など; ^ある。

[0039] プログラムを流通させる場合には、例えば、そのプログラムが記録された DVD、 CD —ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータ力他のコンピュータにそのプログラムを転送することもできる。

[0040] プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータ力転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置力プログラムを読み取り、プロダラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンビュータは、サーバコンピュータ力もプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

Claims

請求の範囲

[1] 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理システムにおいて、

前記 2次元バーコードが配置され、前記 2次元バーコードの一部を表示し可変するための表示部を有したオブジェクトと、

前記オブジェクトを撮像した撮像画像より、前記 2次元バーコードを検出し、前記 2 次元バーコードに応じたコンピュータグラフィック画像を生成し出力し、前記オブジェタトが前記 2次元バーコードを変更した場合には、前記変更に応じた前記コンビユータグラフィック画像を生成し出力する情報処理装置と、

を有することを特徴とする情報処理システム。

[2] 2次元バーコードを配置したオブジェクトにおいて、

前記 2次元バーコードの一部を表示し可変するための表示部を有したことを特徴とするオブジェクト。

[3] 前記表示部は、前記 2次元バーコードの一部を液晶表示したものであることを特徴とする請求項 2記載のオブジェクト。

[4] センサを更に有し、前記センサにより各種物理量を検出し、所定の値で前記 2次元バーコードの一部を変更することを特徴とする請求項 2記載のオブジェクト。

[5] タイマーを更に有し、前記タイマーにより時間を検出し、所定の時間になったら前記

2次元バーコードの一部を変更することを特徴とする請求項 2記載のオブジェクト。

[6] GPS装置を更に有し、前記 GPS装置により現在の位置情報を検出し、前記ォブジェタトが所定の地域に入ると、前記 2次元バーコードの一部を変更することを特徴とする請求項 2記載のオブジェクト。

[7] 撮像装置を更に有し、前記撮像装置により周囲を監視し、所定の対象物が撮像された場合に前記 2次元バーコードの一部を変更することを特徴とする請求項 2記載のオブジェクト。

[8] スィッチを更に有し、前記スィッチの状態に応じて前記 2次元バーコードの一部を変更することを特徴とする請求項 2記載のオブジェクト。

[9] 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理装置において、

前記 2次元バーコードが配置され、前記 2次元バーコードの一部を表示し可変するための表示部を有したオブジェクト、を撮像した撮像画像より前記 2次元バーコードを検出するバーコード検出手段と、

前記 2次元バーコードに応じたコンピュータグラフィック画像を生成し出力し、前記オブジェクトが前記 2次元バーコードを変更した場合には、前記変更に応じた前記コンピュータグラフィック画像を生成し出力する画像処理手段と、

を有することを特徴とする情報処理装置。

[10] 前記表示部は、前記 2次元バーコードの一部を液晶表示したものであることを特徴とする請求項 9記載の情報処理装置。

[11] 前記オブジェクトは、センサを有し、前記センサにより各種物理量を検出し、所定の値で前記 2次元バーコードの一部を変更することを特徴とする請求項 9記載の情報処理装置。

[12] 前記オブジェクトは、タイマーを有し、前記タイマーにより時間を検出し、所定の時間になつたら前記 2次元バーコードの一部を変更することを特徴とする請求項 9記載の情報処理装置。

[13] 前記オブジェクトは、 GPS装置を有し、前記 GPS装置により現在の位置情報を検出し、前記オブジェクトが所定の地域に入ると、前記 2次元バーコードの一部を変更することを特徴とする請求項 9記載の情報処理装置。

[14] 前記オブジェクトは、撮像装置を有し、前記撮像装置により周囲を監視し、所定の対象物が撮像された場合に前記 2次元バーコードの一部を変更することを特徴とする請求項 9記載の情報処理装置。

[15] 前記オブジェクトは、スィッチを有し、前記スィッチの状態に応じて前記 2次元バーコードの一部を変更することを特徴とする請求項 9記載の情報処理装置。

[16] 2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理方法において、

前記 2次元バーコードが配置され、前記 2次元バーコードの一部を表示し可変するための表示部を有したオブジェクト、を撮像した撮像画像より、前記 2次元バーコードを検出し、

前記 2次元バーコードに応じたコンピュータグラフィック画像を生成し出力し、前記オブジェクトが前記 2次元バーコードを変更した場合には、前記変更に応じた前記コンピュータグラフィック画像を生成し出力することを特徴とする情報処理方法。

[17] 2次元バーコードを認識してコンピュータグラフィック画像を表示する処理をコンビュータに機能させるプログラムにお、て、

コンピュータを、

前記 2次元バーコードが配置され、前記 2次元バーコードの一部を表示し可変するための表示部を有したオブジェクト、を撮像した撮像画像より前記 2次元バーコードを検出するバーコード検出手段、

前記 2次元バーコードに応じたコンピュータグラフィック画像を生成し出力し、前記オブジェクトが前記 2次元バーコードを変更した場合には、前記変更に応じた前記コンピュータグラフィック画像を生成し出力する画像処理手段、

として機能させるプログラム。

[18] 2次元バーコードを認識してコンピュータグラフィック画像を表示する処理をコンビュータに機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体において、

コンピュータを、

として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。