JP2016167132A

JP2016167132A - 画像表示システム

Info

Publication number: JP2016167132A
Application number: JP2015045995A
Authority: JP
Inventors: 健太羽柴; Kenta Hashiba; 忠向井; Tadashi Mukai
Original assignee: Tomy Co Ltd
Current assignee: Tomy Co Ltd
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2016-09-15

Abstract

【課題】立体物の形状の制約が少なく、しかも、意匠性にも優れた画像表示システムを提供すること。
【解決手段】マーカが設けられた現実の立体物１０と、前記マーカを含む前記立体物１０を同時に撮像して得られた画像データに基づいて前記立体物１０の撮像画像に、記録部１６に記憶されている所定の画像を付加して表示部２３に表示する表示制御部２７ｂを有する表示装置と、を備えた画像表示システムであって、前記マーカは、互いに離置された複数の発光体１３ａ，１３ｂ，１３ｃから構成されている。
【選択図】図１

Description

本発明は、画像表示システムに関するものである。

従来、例えば、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に上記キャラクタの画像を重ね合わせて表示部に表示させる画像表示システムが知られている（例えば、特許文献１）。
この画像表示システムによれば、立体物に平面的なマーカ（アイコン）を設け、立体物の撮像の際に同時にそのマーカをも撮像することとし、このマーカから立体物の向きや立体物までの距離を計測し、画面上での立体物の向き及び大きさに応じたキャラクタの画像を当該立体物の画像に重ね合わせて表示させている。

特開２０１２−２０３７８６号公報

ところが、上記画像表示システムにおけるように、立体物に平面的なマーカを設けるとすれば、立体物の上に平面的なマーカに対応した設置場所を確保する必要があることから、立体物の形状が制限されたり、設置場所を確保できた場合でも、その平面的なマーカの存在によって意匠性が損なわれたりする虞がある。

本発明は、かかる問題点に鑑みなされたものであり、立体物の形状の制約が少なく、しかも、意匠性にも優れた画像表示システムを提供することを目的としている。

請求項１に記載の画像表示システムは、マーカが設けられた現実の立体物と、
前記マーカと前記立体物とを同時に撮像して得られた画像データに基づいて前記立体物の撮像画像に、記録部に記憶されている所定の画像を付加して表示部に表示する表示制御部を有する表示装置と、
を備えた画像表示システムであって、
前記マーカは、互いに離置された複数の発光体から構成されている、ことを特徴とする。

請求項２に記載の画像表示システムは、請求項１に記載の画像表示システムであって、前記立体物には、前記複数の発光体の発光態様を変化させる発光制御部が設けられ、前記表示制御部は、前記複数の発光体の発光態様に応じて、前記所定の画像を変化させることを特徴とする。

本発明の画像表示システムによれば、マーカである発光体を複数隔置して設けるので、マーカの設置のために連続した広いスペースが不要であり、しかも、立体物の形状に適合する位置にマーカを設けることができる。また、発光体をマーカとしているため、撮影画像中で輝度の高い部分を検出すれば良いので、特徴点の認識が容易であり、しかもＣＧデータとの照合が不要となり、表示制御部の負荷が少なくて済むという効果が得られる。

本発明に係る画像表示システムの外観を示した図である。図１の画像表示システム中の立体物の制御構成を示すブロック図である。図１の画像表示システム中の表示装置の制御構成を示すブロック図である。発光態様と仮想画像との関係を示したテーブルの図である。立体物の画像と仮想画像とを重ね合わせた画像の第１例を示した図である。立体物の画像と仮想画像とを重ね合わせた画像の第２例を示した図である。立体物の画像と仮想画像とを重ね合わせた画像の第３例を示した図である。マーカ検出処理及び表示制御処理の手順を示したフローチャートである。

以下、本発明の画像表示システムを図面に示した実施の形態に基づいて説明する。

《画像表示システム１００の全体構成》
図１は、画像表示システムの外観を示した図である。
この画像表示システム１００は、立体物１０と、表示装置２０とを備える。そして、この画像表示システム１００は、立体物１０の撮像画像（リアル画像）に、例えば仮想画像を表示装置２０の表示部２３の上で付加して表示するように構成されている。
なお、ここで、「付加」とは、撮影画像の少なくとも一部の画像に仮想画像を重ね合わせて表示したり、撮影画像の一部をクリッピングして、その一部の撮影画像の外側に付け加えて仮想画像を表示させたりすることを含む。また、ここでは「仮想画像」を例として挙げているが、重ね合わせたり、付け加えたりする画像は、仮想画像に限らず、予め撮像しておいた撮像画像などであってもよい。

《細部構成》
（立体物１０）
実施形態では、立体物１０は城を模して形成されている。この立体物１０は人形ハウスを構成している。この立体物１０の幅方向中央の直ぐ右には尖り屋根１１ａが形成されている。この尖り屋根１１ａの下側部分には部屋が形成され、その部屋は幅方向に延在され、尖り屋根１１ａの下側部分の部屋と、その延在部分の部屋とは城内の部屋を模して形成されている。そして、尖り屋根１１ａの下方の部屋には鏡台１２ａが設置され、その左側の部屋にはテーブル１２ｂ、イス１２ｃ，１２ｃ、暖炉１２ｄ、シャンデリア１２ｅ及び入出扉１２ｆが形成され、反対の右側の部屋には窓１２ｇ，１２ｇが形成されている。
そして、尖り屋根１１ａを有する屋根１１には３個の発光体１３ａ，１３ｂ，１３ｃが互いに隔てて設けられている。この３個の発光体１３ａ，１３ｂ，１３ｃはマーカとして機能する。この発光体１３ａ，１３ｂ，１３ｃは、例えば正三角形の各角部となる位置に１つずつ配置され、立体物１０の装飾体の一部を構成している。なお、正四角形その他の正多角形の各角部となる位置に発光体を設けてもよい。また、発光体の配置位置はそれ以外であってもよい。発光体の個数は２個以上であればよいが、３個以上であることが好ましい。そして、３個以上の発光体を設ける場合には、その３個以上の発光体の全てが同一直線上に配置されないようにすることが好ましい。換言すれば、３個以上の発光体のうち少なくとも１個の発光体はその直線上から外れた箇所に配置されることが好ましい。

図２は、この立体物１０の制御構成を示している。この立体物１０は、制御構成として、例えば、上記発光体１３ａ，１３ｂ，１３ｃと、音出力部１４と、記録部１５と、制御部１６と、入力部１７とを備える。なお、立体物１０は、図示はしないが、立体物１０の電源となる電池を備えている。入力部１７は、特に限定はされないが、ボタンスイッチ等で構成される。この入力部１７は、発光体１３ａ，１３ｂ，１３ｃの発光態様を変化させるためのもので、例えば、ユーザの操作毎に、発光体１３ａ，１３ｂ，１３ｃの発光態様が変化するように構成されている。

発光体１３ａ，１３ｂ，１３ｃは、特に限定はされないが、それぞれフルカラーＬＥＤを構成し、各発光体には「赤」、「青」、「緑」の３色のＬＥＤが使用されている。
また、音出力部１４は増幅器やスピーカを含んで構成され、音声や楽曲等の所定の音を外部に向けて出力する。

また、記録部１５は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、ハードディスク、メモリカード等の情報記録媒体およびその読取装置等によって実現される。この記録部１５は、発光体１３ａ，１３ｂ，１３ｃの発光制御プログラム１５ａや音出力制御プログラム１５ｂを格納している他、これらのプログラムの実行に必要なデータ１５ｃを格納している。この記録部１５は、発光制御プログラム１５ａとして、例えば、３つの発光体１３ａ，１３ｂ，１３ｃの発光色をユーザによる入力部１７からの入力または時間の経過に伴って変化させるプログラムを格納している。例えば、初期状態で発光体１３ａが「赤」、発光体１３ｂ，１３ｃが「青」に設定され、ユーザによる入力部１７からの入力または所定時間の経過に伴って、発光体１３ａが「青」、発光体１３ｂ，１３ｃが「緑」となるように設定されている。つまり、「赤」から「青」さらには「緑」と色が順に繰り返して変化するように設定されている。ここで、１つの発光体１３ａの色を他の発光体１３ｂ，１３ｃの色と異なる色としたのは、立体物１０の上下を識別するためである。したがって、立体物１０の上下を識別し得るのであれば、色の変化に代えて、一部の発光体の大きさを他の発光体の大きさに対して変化させたり、一部の発光体に付加して小さな平面的なマーカを付してもよい。このマーカとして立体物１０の一部の装飾体を使用してもよい。立方体１０の上下を識別し得る程度の小さなマーカであれば設置場所にも困らないし、意匠性を損なうこともない。
さらに、この記録部１５は、例えば、音出力制御プログラム１５ｂとして、例えば、音出力部１４から出力される楽曲をユーザによる入力部１７からの入力または時間の経過に伴って所定の順序或いはランダムに変化させるプログラムを格納している。

制御部１６は、上記発光制御プログラム１５ａと協働して発光制御部１６ａとして機能し、音出力制御プログラム１５ｂと協働して音出力制御部１６ｂとして機能する。

（表示装置２０）
図３は、表示装置２０の機能構成を示すブロック図である。この表示装置２０は、制御構成として、例えば、送受話部２１と、入力部２２と、表示部２３と、撮像部２４と、無線通信部２５と、記録部２６と、制御部２７とを備える。この表示装置２０は、例えば、タブレット又はスマートフォン等で構成されている。なお、撮像部２４は表示部２３の裏側に設けられ、ユーザが表示部２３に表示された画像を見ながら、撮像をすることができるようになっている。

送受話部２１は、送話音声を集音し、受話音声を出力するためのものであり、通話用のマイクやスピーカ等で構成される。但し、この送受話部２１はなくてもよい。

入力部２２は、タッチパネルの他、ボタンスイッチ等の入力装置を適宜採用して実現でき、操作入力に応じた入力信号を制御部２７に出力する。表示部２３は、ＬＣＤやＥＬディスプレイ等の表示システムによって実現され、制御部２７から入力される表示信号をもとに各種画面を表示する。撮像部２４は、撮影レンズや、この撮影レンズを通して入射した光のエネルギを電気信号に変換する撮像素子等を含み、被写体の画像データを生成して制御部２７に出力する。

無線通信部２５は、所定の無線通信回線を介してサーバ等との間でデータを送受するためのものであり、例えば、通信サービス事業者が設置した無線基地局を介して無線信号の送受信を行うアンテナやＲＦ変換器等によって実現される。なお、この無線受信部２５はなくてもよい。また、この無線通信部２５は、近距離通信によって、上記発光制御部１６ａや音出力制御部１６ｂを制御する制御信号を立体物１０に向けて送信可能なものを採用することも可能である。この場合には、上記立体物１０の発光制御プログラム１５ａや音出力制御プログラム１５ｂを省略することもできる。この場合には、立体物１０側にも近距離通信部が必要となる。このような構成とすれば、例えば、表示装置２０がインターネットを介してサーバから新たに取得した仮想画像を立体物１０の撮像画像に付加して表示させることができる。

記録部２６は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、ハードディスク、メモリカード等の情報記録媒体およびその読取装置等によって実現されるものである。この記録部２６には、表示装置２０を動作させ、この表示装置２０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め格納されて適宜更新され、あるいは処理の都度一時的に格納される。なお、この記録部２６に格納されるプログラムやデータには、ネットワークを介して機能発揮前にその都度取得し格納される一時的なものも含まれることは言うまでもない。以下のプログラム及びデータについても同様である。

また、この記録部２６には、マーカ検出プログラム２６ａが格納される。このマーカ検出プログラム２６ａは、アプリケーションソフトウェアが起動された際に実行されるプログラムであり、常時に、立体物１０の発光体１３ａ，１３ｂ，１３ｃの発光状態を監視し、発光体１３ａ，１３ｂ，１３ｃが所定の発光状態であるときに、次の表示制御プログラム２６ｂに移行させるためのものである。

また、記録部２６には、表示制御プログラム２６ｂと、この表示制御プログラム２６ｂやマーカ検出プログラム２６ａの実行に必要なデータ２６ｃが格納される。表示制御プログラム２６ｂは、撮像部２４で撮像された撮像画像を表示するとともに、この撮影画像に付加して所定の仮想画像を表示部２３に表示するためのものである。
データ２６ｃには、例えば、図４に示す発光態様と仮想画像との関係を示したテーブルが含まれる。
例えば、発光体１３ａが「赤」、発光体１３ｂ，１３ｃが「青」の場合には、第１の仮想画像が割り振られ、その第１の仮想画像に対応するものとして第１の画像データ２６１が準備されている。この第１の仮想画像は、鏡台１２ａの部屋及び屋根１1を所定時間の経過毎に順次に異なる色に変化させるものである（図５（Ａ），（Ｂ）参照）。色の変化のさせ方は、例えば、鏡台１２ａの部屋及び屋根１１の全体の色を一時に変化させるものであっても、鏡台１２ａの部屋及び屋根１１の色を上下方向の一方側から他方側に向けて徐々に色を変化させるものであってもよい。その際に、色の変化する部分は、鏡台１２ａの部屋及び屋根１１よりも少し大き目であっても部分的であってもよい。なお、表示部２３上で表示される家具やキャラクタの服の色を変化させるものであってもよい。
また、発光体１３ａが「青」、発光体１３ｂ，１３ｃが「緑」の場合には、第２の仮想画像が割り振られ、その第２の仮想画像に対応するものとして第２の画像データ２６２が準備されている。この第２の仮想画像は、撮像画像である城の画像の背景に景色を表示されるものである（図６（Ａ），（Ｂ）参照）。例えば、城の画像の背景に花火の画像を表示したり、城の画像の背景に海の画像を表示したりさせる。時間の経過とともに、背景画像を変化させたりしてもよい。
さらに、発光体１３ａが「緑」、発光体１３ｂ，１３ｃが「赤」の場合には、第３の仮想画像が割り振られ、その第３の仮想画像に対応するものとして第３の画像データ２６３が準備されている。この第３の仮想画像は、例えば、キャラクタ２６３ａを表示し、そのキャラクタ２６３ａを部屋の前で動かしたり、キャラクタ２６３ａに喋らせたりするためのものである（図７（Ａ），（Ｂ）参照）。キャラクタ２６３ａの喋りは、他のキャラクタ２６３ａに対するものであっても、ユーザに向けてのものであってもよい。また、キャラクタ２６３ａの喋りは、送受話部２１のスピーカを通して行ってもよいし、表示部２３に吹出しを表示させ、吹出し内に文字によって行うものであってもよい。

また、上記データ２６ｃには、撮像部２４の視点を変更した場合に、その視点に適合した仮想画像を表示させるようにするため、立体物１０の３次元形状データと、立体物１０の外周に対応する基本の仮想画像データ（基本の第１〜第３の画像データ２６１〜２６３）が格納されている。この基本の仮想画像データは、撮像部２４の視点に基づいて変形され、その視点及び距離に適合した仮想画像に対応する画像データが生成され、撮像画像の変化に対応した仮想画像が付加される。

制御部２７は、マーカ検出プログラム２６ａと協働してマーカ検出部２７ａとして機能し、表示制御プログラム２６ｂと協働して表示制御部２７ｂとして機能する。そして、マーカ検出部２７ａは、撮像部２４を介して入力された画像データに基づいて、マーカの適否を判断する。一方、表示制御部２７ｂは、マーカ検出部２７ａでマーカが適切であると判断されると、マーカの発光態様を検出し、撮像部２４を介して入力された画像データに基づいて、視点及び距離を算出し、その視点及び距離に対応した仮想画像を、撮像画像中のマーカに追従させるようにして表示させる。

続いて、マーカ検出処理及び表示制御処理について説明する。
図８は、このマーカ検出処理及び表示制御処理の手順を示している。
アプリケーションソフトウェアが起動されると、マーカ検出部２７ａによって撮像部２４を介して画像データの取込みが開始される（ステップＳ１）。そして、マーカ検出部２７ａによって、撮像部２４で撮像された画像データ中の光点が検出される（ステップＳ２）。正規の光点がない場合には、正規の光点が検出されるまで光点の検出を繰り返す。なお、所定時間内に光点の検出が無い場合には検出エラーとしてアプリケーションソフトウェアの実行を停止してもよい。正規の光点が検出されたなら、表示制御部２７ｂによって、立体物１０の発光体１３ａ，１３ｂ，１３ｃの発光態様から表示部２３に表示すべき仮想画像が決定され、当該仮想画像に対応する画像データ２６１〜２６３のいずれか一つが選択される（ステップＳ３）。そして、表示制御部２７ｂによって、３個の光点の位置関係及び光点間の距離から撮像部２４の視点と撮像部２４から立体物１０までの距離が算出される（ステップＳ４）。これによって、画像上における立体物１０の位置、大きさ及び向きを検出することができる。そして、表示制御部２７ｂによって、先ほど選択された画像データ（２６１〜２６３のいずれか１つ）が視点位置及び距離に応じて補正され（ステップＳ５）、補正後の画像データに応じた仮想画像が撮像画像に付加される（ステップＳ６）。

以上、本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
例えば、表示装置２０がカレンダ機能や時計機能を有する場合には、その日付や時刻に合致した仮想画像を表示させるようにしてもよい。例えば、キャラクタ２６３ａに時刻に合ったあいさつをさせ、または、誕生日には、ケーキを表示させるとともに、お祝いの言葉を表示又は音で報知させるようにしてもよい。また、表示装置１０がＧＰＳ機能や加速度センサを有するときには、季節や方向に見合った星座を表示させるようにしてもよい。

また、仮想画像の付加の態様としては、立体物１０の画像の全部又は一部が左右又は上下に揺れたり、崩れたりする様子を表示してもよい。さらには、立体物１０の画像に重ねて立体物１０の内部の様子を示す仮想画像が表示されるようにしてもよい。また、実施形態で示した仮想画像の付加の態様を適宜組み合わせてもよい。

また、上記実施形態では、発光体の色によって仮想画像を変更させることとしたが、或いは点滅態様により仮想画像を変更させるようにしてもよい。さらには、音楽の曲目によって、或いはテンポによって仮想画像を変更させるようにしてもよい。その際、楽曲に合った情景を仮想画像として表示させることが好ましい。

また、上記実施形態では、立体物１０は人形ハウスを構成したが、鉄道玩具その地の玩具や置物であってもよい。特に、玩具として構成する場合には、玩具を単独で使用する場合よりも遊びのバリエーションが格段に増えるので、興趣性の高い玩具が実現できる。

１０立体物
１３ａ，１３ｂ，１３ｃ発光体
２０表示装置
２７ｂ表示制御部
１００画像表示システム

Claims

マーカが設けられた現実の立体物と、
前記マーカと前記立体物とを同時に撮像して得られた画像データに基づいて前記立体物の撮像画像に、記録部に記憶されている所定の画像を付加して表示部に表示する表示制御部を有する表示装置と、
を備えた画像表示システムであって、
前記マーカは、互いに離置された複数の発光体から構成されている、ことを特徴とする画像表示システム。
前記立体物には、前記複数の発光体の発光態様を変化させる発光制御部が設けられ、前記表示制御部は、前記複数の発光体の発光態様に応じて、前記所定の画像を変化させることを特徴とする請求項１に記載の画像表示システム。