JP2019062347A - 画像制御装置、画像制御システム、画像制御プログラム、及び画像制御方法 - Google Patents

Abstract

【課題】動画に埋め込まれた符号を精度良く抽出する。【解決手段】記憶部１１１は、符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報１２１を記憶する。特定部１１２は、第１特徴情報１１１と、撮像装置によって撮影された、符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、それらの画像の中から符号画像を特定する。抽出部１１３は、特定部１１２が特定した符号画像から符号を抽出する。【選択図】図１

Description

本発明は、画像制御装置、画像制御システム、画像制御プログラム、及び画像制御方法に関する。

近年、屋外、店頭、公共空間等の様々な場所において、電子的な画像表示装置を用いてより多くの情報又はコンテンツをユーザに提供する「デジタルサイネージ」と呼ばれるシステムが構築されている。

例えば、商品の静止画又は動画を表示する画像表示装置に無線タグを配置したシステムの場合、その商品に関する商品情報、又は商品情報を取得するために用いるUniform Resource Locator（ＵＲＬ）等のアドレス情報が、無線タグに格納される。ユーザは、読み取り機能及び通信機能を有するスマートフォン等の携帯端末装置を用いて、無線タグが記憶する情報を読み取ることで、商品情報を取得して携帯端末装置の画面に表示させることができる。

商品情報又はアドレス情報を無線タグに記憶させる代わりに、それらの情報を符号として画面に直接表示することも可能である。この場合、ユーザは、撮像装置を有する端末装置を用いて、画面に表示された符号を撮影することで、撮影した符号から商品情報を取得することができる。

画像表示装置として、商品の静止画又は動画をスクリーンに投影するプロジェクタ等の投影装置が用いられることもある。

原画像データに埋め込みデータを埋め込む場合に、ブロックペアの各ブロックの濃度差に基づいて埋め込み強度を設定し、各ブロックの平均濃度を変更して、情報を埋め込む技術も知られている（例えば、特許文献１を参照）。

特開２００７−１３７３７号公報

特許文献１の情報埋め込み方法を、デジタルサイネージのような広告媒体で用いられる動画に対して適用した場合、動画に埋め込まれた情報の検出精度が低下する。

なお、かかる問題は、デジタルサイネージにおいて商品の動画に情報を埋め込む場合に限らず、他の動画に情報を埋め込む場合においても生ずるものである。

１つの側面において、本発明は、動画に埋め込まれた符号を精度良く抽出することを目的とする。

１つの案では、画像制御装置は、記憶部、特定部、及び抽出部を含む。記憶部は、符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報を記憶する。特定部は、第１特徴情報と、撮像装置によって撮影された、符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、それらの画像の中から符号画像を特定する。抽出部は、特定部が特定した符号画像から符号を抽出する。

実施形態によれば、動画に埋め込まれた符号を精度良く抽出することができる。

画像制御装置の機能的構成図である。 画像処理のフローチャートである。 画像制御システムの構成図である。 画像制御システムにおける画像表示装置の機能的構成図である。 動画を示す図である。 動画のタイミングチャートである。 画像制御システムにおける画像制御装置の機能的構成図である。 符号画像の特徴情報を示す図である。 商品画像の特徴情報を示す図である。 画像処理の具体例を示すフローチャートである。 特徴情報生成処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献１のように、原画像の各ブロックの平均濃度を変更することによって原画像に情報を埋め込む方法は、埋め込み対象が静止画又は印刷物である場合に有効であると考えられる。静止画であれば、階調レベルの調整対象は１枚の画像のみで済むからである。

しかしながら、デジタルサイネージのような広告媒体で用いられる動画が埋め込み対象である場合、１フレーム内に複数の静止画が含まれている。動画に写っている商品が静止している場合であっても、それぞれの静止画は異なる画像であるため、動画に情報を埋め込む際には、それぞれの静止画に対して階調レベルを調整する処理が発生する。

仮に、それぞれの静止画に対して同一の階調レベルの調整を実施した場合、階調レベルの改変が視認可能となり、情報を埋め込む前の商品の動画の視認性に対して影響が生じる。そこで、商品の動画の視認性に対する影響を考慮して、階調レベルの改変が視認されにくい方法で情報を埋め込むことが望ましい。しかし、階調レベルの改変が視認されにくいように、それぞれの静止画に対して異なる階調レベルの調整を実施した場合、動画に埋め込まれた情報の検出精度が低下する。

図１は、実施形態の画像制御装置の機能的構成例を示している。図１の画像制御装置１０１は、記憶部１１１、特定部１１２、及び抽出部１１３を含む。記憶部１１１は、符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報１２１を記憶する。特定部１１２及び抽出部１１３は、撮像装置によって撮影された、符号画像を含む時系列の複数の画像から、符号画像が表す符号を抽出する。

図２は、図１の画像制御装置１０１が行う画像処理の例を示すフローチャートである。まず、特定部１１２は、第１特徴情報１２１と、時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、それらの画像の中から符号画像を特定する（ステップ２０１）。抽出部１１３は、特定部１１２が特定した符号画像から符号を抽出する（ステップ２０２）。

図１の画像制御装置１０１によれば、動画に埋め込まれた符号を精度良く抽出することができる。

図３は、図１の画像制御装置１０１を含む画像制御システムの構成例を示している。図３の画像制御システムは、例えば、デジタルサイネージシステムであり、画像制御装置３０１、画像表示装置３０２、及び情報提供装置３０３を含む。

画像制御装置３０１は、ユーザ３２１のスマートフォン、タブレット、ノート型パーソナルコンピュータ等の携帯端末装置であり、図１の画像制御装置１０１に対応する。情報提供装置３０３は、例えば、サイネージサーバであり、通信ネットワーク３１１を介して画像表示装置３０２と通信し、通信ネットワーク３１２を介して画像制御装置３０１と通信する。

画像表示装置３０２は、商品の動画３２２を画面に表示し、ユーザ３２１は、画像制御装置３０１を用いて動画３２２を撮影する。画像制御装置３０１によって撮影された動画３２２には、時系列の複数の画像が含まれる。画像制御装置３０１は、撮影した動画３２２に埋め込まれた符号を抽出する。そして、画像制御装置３０１は、抽出した符号が示す情報を用いて、通信ネットワーク３１２を介して情報提供装置３０３にアクセスし、情報提供装置３０３から商品情報を取得する。商品情報は、例えば、商品の特徴、用途、価格等を記述したテキスト情報である。

通信ネットワーク３１２は、例えば、Wideband Code Division Multiple Access（Ｗ−ＣＤＭＡ）、Long Term Evolution（ＬＴＥ）、Ｗｉ−Ｆｉ（登録商標）等の無線通信ネットワークであってもよい。

図４は、図３の画像表示装置３０２の機能的構成例を示している。図４の画像表示装置３０２は、制御部４０１、表示部４０２、記憶部４０３、及び通信部４０４を含む。制御部４０１は、表示部４０２及び通信部４０４の動作を制御する。

記憶部４０３は、動画３２２を記憶する。表示部４０２は、例えば、液晶パネル、Light Emitting Diode（ＬＥＤ）パネル等の表示装置であり、制御部４０１からの指示に基づいて、動画３２２等の表示情報を画面に表示する。通信部４０４は、制御部４０１からの指示に基づいて、通信ネットワーク３１１を介して情報提供装置３０３と通信する。これにより、記憶部４０３が記憶する動画３２２の追加、削除、変更等の更新を行うことができる。

図５は、表示部４０２が表示する動画３２２の例を示している。図５の動画３２２には、ユーザ３２１が視覚によって直接的に商品の情報を得るための商品画像５０１と、符号を表す符号画像５０２とが含まれている。商品画像５０１としては、商品の外観を表す画像を用いることができる。符号画像５０２が表す符号は、その商品に関する商品情報、又はアドレス情報を示している。アドレス情報は、商品情報を取得するために用いる情報であり、例えば、インターネット上のＷＥＢページのＵＲＬ等である。

符号画像５０２は、表示部４０２の画面内の所定の位置に、所定の大きさで表示される。符号画像５０２が表す符号としては、バーコードのような１次元コード、ＱＲコード（登録商標）のような２次元コード等を用いることができる。符号画像５０２が表す符号は、カラーＱＲコード（登録商標）、カメレオンコード（登録商標）等であってもよい。

商品画像５０１及び符号画像５０２は、時分割で多重化されており、符号画像５０２は、ユーザ３２１に視認されないように、極めて短時間しか表示されない。これにより、ユーザ３２１は、商品画像５０１のみを視認することができ、画像制御装置３０１は、動画３２２から符号画像５０２を検出することができる。

通常、表示部４０２は、リフレッシュレートに応じて単位時間当たりに複数回、表示画像を書き換える。リフレッシュレートがＮＨｚ（Ｎは正の整数）である場合、表示部４０２は、１秒間当たりにＮ回、表示画像を書き換えるため、１枚の画像の表示時間はＴ１＝１／Ｎ秒になる。

符号画像５０２の表示回数を、商品画像５０１の表示回数よりも極端に少なくすると、ユーザ３２１は、符号画像５０２を視認しないため、画面には商品画像５０１しか表示されていないように見える。例えば、Ｎ＝６０であり、１秒間に商品画像５０１を５９回表示し、符号画像５０２を１回のみ表示すると、符号画像５０２は視認されない。符号画像５０２が視認されないようにするためには、連続して符号画像５０２を表示する表示時間が１／３０秒以下であることが望ましい。

なお、画像表示装置３０２は、商品画像５０１の代わりに、サービスに関する画像を用いてもよく、商品以外の物品に関する画像を用いてもよい。例えば、サービスに関する画像としては、サービス提供者がユーザ３２１に対して提供するサービスの特徴を表す画像を用いることができ、物品に関する画像としては、物品の外観を表す画像を用いることができる。

図６は、動画３２２のタイミングチャートの例を示している。表示部４０２は、動画３２２の１フレームを形成する周期であるフレーム周期ＦＣを時分割して、商品画像５０１及び符号画像５０２を画面に表示する。フレーム周期ＦＣに含まれる期間Ｐ１及び期間Ｐ３では、商品画像５０１が表示され、期間Ｐ１と期間Ｐ３の間の期間Ｐ２では、符号画像５０２が表示される。

期間Ｐ１及び期間Ｐ３は期間Ｐ２よりも十分に長い期間であるが、画像表示装置３０２が設置される環境又は想定しているユーザ３２１の特性に応じて、期間Ｐ１〜期間Ｐ３を決定することも可能である。

例えば、符号画像５０２が表す符号がＱＲコード（登録商標）である場合、符号内にファインダパターン又は位置検出パターンと呼ばれる特徴的なパターンが３隅に配置されている。動画３２２を撮影した時系列の複数の画像各々をドット走査して、ファインダパターンが含まれているか否かを判定することで、それらの画像の中から符号画像５０２を特定することが可能である。

しかし、動画３２２に含まれる画像のほとんどは商品画像５０１であるため、すべての画像に対してファインダパターンの有無を判定する場合、符号画像５０２を特定するための時間が長くなり、ユーザ３２１の利便性が低下する。そこで、画像制御装置３０１は、符号画像内における画素値の分布を示す特徴情報を用いて、短時間で符号画像５０２を特定する。

図７は、図３の画像制御装置３０１の機能的構成例を示している。図５の画像制御装置３０１は、記憶部１１１、特定部１１２、抽出部１１３、表示部７０１、操作部７０２、撮像装置７０３、及び通信部７０４を含む。

撮像装置７０３は、例えば、Charge Coupled Device（ＣＣＤ）、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）等の撮像素子を含むカメラであり、画像表示装置３０２の画面に表示された動画３２２を撮影する。

記憶部１１１は、符号画像内における画素値の分布を示す特徴情報を記憶するとともに、撮像装置７０３が動画３２２を撮影することによって生成される時系列の複数の画像を記憶する。記憶部１１１が記憶する特徴情報は、図１の第１特徴情報１２１に対応する。

表示部７０１は、例えば、液晶パネル、有機エレクトロルミネッセンスパネル等の表示装置であり、操作部７０２は、例えば、タッチパネル、操作キー等のユーザインタフェースである。通信部７０４は、通信ネットワーク３１２を介して情報提供装置３０３と通信する。ユーザ３２１は、操作部７０２を用いて、画像制御装置３０１に対する指示を入力することができる。

特定部１１２は、記憶部１１１が記憶する複数の画像の中から処理対象画像を選択して、選択した処理対象画像内における画素値の分布を示す特徴情報を求め、求めた特徴情報を記憶部１１１が記憶する特徴情報と比較する。そして、特定部１１２は、求めた特徴情報が示す画素値の分布と、記憶部１１１が記憶する特徴情報が示す画素値の分布との間に相関がある場合、処理対象画像を符号画像として特定する。これにより、特定部１１２は、複数の画像の中から符号画像を短時間で特定することができる。

抽出部１１３は、特定部１１２が特定した符号画像から符号を抽出し、抽出した符号が示す情報を用いて、所定の処理を行う。例えば、抽出部１１３は、符号が示す情報を用いて、通信ネットワーク３１２を介して情報提供装置３０３にアクセスし、情報提供装置３０３から商品情報を取得する。そして、抽出部１１３は、取得した商品情報を記憶部１１１に格納し、表示部７０１は、その商品情報を画面に表示する。符号が示す情報が商品情報である場合は、抽出部１１３は、情報提供装置３０３にアクセスすることなく、符号が示す商品情報を記憶部１１１に格納する。

図３の画像制御システムによれば、画像表示装置３０２は、ユーザ３２１が商品画像を視認する際に影響を受けないように、符号画像を表示することができる。画像制御装置３０１は、画像表示装置３０２から離れた場所から、符号画像を短時間で検出することができ、検出した符号画像に基づいて商品に関するより詳細な商品情報を取得することができる。

画像表示装置３０２は、符号画像を表示する期間のみ商品画像を非表示とし、その期間に符号画像を挿入する、といった極めて簡単な改変を行うだけで、動画３２２に符号を埋め込むことができる。

屋外、店頭、公共空間等の場所においては、環境光等の周囲の環境によって、画像制御装置３０１が撮影する動画３２２に含まれる各色の階調レベルが大きく変化する。このため、階調レベルの調整によって符号を埋め込む場合、周囲の環境によって、符号を復号する際の復号エラーが発生する可能性がある。

これに対して、商品画像の表示期間とは異なる期間に符号画像を表示することで、符号画像に対して、復号エラーを強力に低減できる誤り訂正符号等を付加し、冗長性を確保することが可能になる。したがって、符号を埋め込む対象の動画３２２に対する制約が緩和される。

図８は、記憶部１１１が記憶する、符号画像の特徴情報の例を示している。例えば、２次元コードを表す符号画像８０１の場合、符号画像８０１内における輝度の分布を示すヒストグラムが特徴情報として用いられる。ヒストグラムの横軸は輝度を表し、縦軸は画素数を表す。２次元コードが黒（輝度０）と白（輝度２５５）の２種類の輝度の画素からなる場合、符号画像８０１内の画素の輝度は、ヒストグラムの０に近い領域８１１と２５５に近い領域８１２に集中する。

図９は、商品画像の特徴情報の例を示している。符号画像８０１の場合と同様に、商品画像９０１内における輝度の分布を示すヒストグラムが特徴情報として用いられる。ただし、０〜２５５の範囲の様々な輝度の画素が混在しているため、商品画像９０１内の画素の輝度は、領域８１１及び領域８１２以外の領域を含む広い範囲に渡って分布している。したがって、図８のヒストグラムと図９のヒストグラムとを比較することで、符号画像８０１と商品画像９０１とを区別することが可能である。

図１０は、画像制御装置３０１が行う画像処理の具体例を示すフローチャートである。まず、画像制御装置３０１は、操作部７０２から入力されるユーザ３２１の指示に従って、撮像装置７０３を起動する（ステップ１００１）。そして、撮像装置７０３は、画像表示装置３０２の画面に表示された動画３２２を撮影し、時系列の複数の画像を生成して記憶部１１１に格納する。

次に、特定部１１２は、それらの画像の中から処理対象画像を選択し（ステップ１００２）、選択した処理対象画像の特徴情報を生成する（ステップ１００３）。そして、特定部１１２は、生成した特徴情報を符号画像の特徴情報と比較して、それらの２つの特徴情報の間に相関があるか否かをチェックする（ステップ１００４）。

２つの特徴情報の間に相関がない場合（ステップ１００４，ＮＯ）、特定部１１２は、次の処理対象画像についてステップ１００２以降の処理を繰り返す。２つの特徴情報の間に相関がある場合（ステップ１００４，ＹＥＳ）、特定部１１２は、選択した処理対象画像を符号画像として特定し、抽出部１１３は、その符号画像から符号を抽出し、抽出した符号を復号する（ステップ１００５）。これにより、符号画像から抽出された符号が示す情報が復元される。復元された情報は、例えば、商品情報を取得するために用いるＵＲＬ等のアドレス情報である。

次に、抽出部１１３は、復元された情報を用いて、通信ネットワーク３１２を介して情報提供装置３０３のＷＥＢページにアクセスし、そのＷＥＢページから商品情報を取得する（ステップ１００６）。そして、抽出部１１３は、取得した商品情報を記憶部１１１に格納し、表示部７０１は、その商品情報を画面に表示する。

ステップ１００６において、抽出部１１３は、符号から復元されたアドレス情報自体を画面に表示することも可能である。この場合、ユーザ３２１は、操作部７０２を用いて、表示されたアドレス情報をブラウザに入力することで、ＷＥＢページから商品情報を取得することができる。

図１１は、図１０のステップ１００３における特徴情報生成処理の例を示すフローチャートである。まず、特定部１１２は、処理対象画像を、輝度を画素値とするグレースケール画像に変換し（ステップ１１０１）、ヒストグラムにおける輝度の範囲を設定する（ステップ１１０２）。輝度の範囲は、輝度の最小値及び最大値によって規定される。例えば、図９に示したヒストグラムの場合、輝度の範囲は０〜２５５に設定される。

次に、特定部１１２は、グレースケール画像に含まれる各画素の輝度を取得して、設定した範囲の各輝度を有する画素の個数をカウントする（ステップ１１０３）。そして、特定部１１２は、それぞれの輝度と画素の個数とを対応付けたテーブルを生成し、生成したテーブルを特徴情報として記憶部１１１に格納する（ステップ１１０４）。このテーブルは、処理対象画像内における輝度の分布を示すヒストグラムに対応する。

なお、符号画像内における輝度の分布を示すヒストグラムについても、同様のテーブル形式で記憶部１１１に格納されている。

特定部１１２は、ステップ１００４において、符号画像及び処理対象画像のそれぞれについて、画像に含まれる画素の総数に対する、所定範囲の輝度を有する画素の個数の比率を求める。例えば、図８及び図９に示したヒストグラムの場合、領域８１１及び領域８１２が所定範囲として用いられる。この場合、所定範囲は、輝度０〜輝度５及び輝度２５０〜輝度２５５の範囲であってもよい。

そして、特定部１１２は、符号画像から求めた比率と処理対象画像から求めた比率とを比較することで、符号画像の特徴情報と処理対象画像の特徴情報との間に相関があるか否かをチェックする。

例えば、特定部１１２は、符号画像から求めた比率よりも所定値だけ小さな閾値を設定し、処理対象画像から求めた比率が閾値よりも大きい場合、２つの特徴情報の間に相関があると判定することができる。この場合、特定部１１２は、処理対象画像から求めた比率が閾値以下であれば、２つの特徴情報の間に相関がないと判定する。図８に示したヒストグラムの場合、閾値は９０％〜９９％であってもよい。

また、特定部１１２は、符号画像から求めた比率と処理対象画像から求めた比率との差分を所定の閾値と比較して、差分が閾値よりも小さい場合、２つの特徴情報の間に相関があると判定してもよい。この場合、特定部１１２は、差分が閾値以上であれば、２つの特徴情報の間に相関がないと判定する。

このように、符号画像のヒストグラムと処理対象画像のヒストグラムとを比較することで、それらの画像の特徴情報の間に相関があるか否かを容易にチェックすることができる。これにより、多数の商品画像の間に挿入された少数の符号画像を短時間で検出して、符号画像から符号を抽出することが可能になる。

図１の画像制御装置１０１、図３の画像制御システム、図４の画像表示装置３０２、及び図７の画像制御装置３０１の構成は一例に過ぎず、画像制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

例えば、図３の画像制御システムにおいて、情報提供装置３０３が通信ネットワーク３１２を介して画像表示装置３０２と通信する場合は、通信ネットワーク３１１を省略することができる。画像制御装置３０１及び画像表示装置３０２が情報提供装置３０３から情報を受信する必要がない場合は、情報提供装置３０３を省略することができる。画像表示装置３０２は、動画３２２をスクリーンに投影する投影装置であってもよい。

図７の画像制御装置３０１において、画像制御装置３０１の外部の撮像装置によって動画３２２が撮影される場合は、撮像装置７０３を省略することができる。画像制御装置３０１とユーザ３２１との間でインタラクションが発生しない場合は、表示部７０１及び操作部７０２を省略することができる。画像制御装置３０１が情報提供装置３０３から情報を受信する必要がない場合は、通信部７０４を省略することができる。

図２、図１０、及び図１１に示したフローチャートは一例に過ぎず、画像制御システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１の画像処理において、符号画像から抽出された符号が示す情報が商品情報である場合は、ステップ１００６の処理を省略することができる。また、符号が示す情報が所定のアプリケーションプログラムを実行するための情報である場合は、ステップ１００６において、抽出部１１３は、商品情報を取得する代わりに、そのアプリケーションプログラムを実行してもよい。

図５及び図６に示した動画３２２は一例に過ぎず、画像表示装置３０２が表示する動画３２２は、画像制御システムの用途又は条件に応じて変化する。図８及び図９に示した特徴情報は一例に過ぎず、画像制御装置３０１は、輝度以外の別の画素値の分布を示すヒストグラムを、画像の特徴情報として用いてもよい。図８の２次元コードの代わりに、１次元コード又は別の２次元コードを用いてもよい。

画像制御装置３０１は、ヒストグラム以外の特徴情報を用いることも可能である。例えば、画像制御装置３０１は、符号画像又は処理対象画像に含まれる複数の画素の画素値を用いて所定の演算を行うことで、その画像の特徴量を計算し、計算した特徴量を特徴情報として用いてもよい。

図１２は、図１の画像制御装置１０１、図３の画像制御装置３０１、画像表示装置３０２、及び情報提供装置３０３として用いられる情報処理装置（コンピュータ）の構成例を示している。

図１２の情報処理装置は、Central Processing Unit（ＣＰＵ）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を含む。これらの構成要素はバス１２０８によって互いに接続されている。図７の撮像装置７０３は、バス１２０８に接続されていてもよい。

メモリ１２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１２０２は、図１及び図７の記憶部１１１又は図４の記憶部４０３として用いることができる。

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図１及び図７の特定部１１２及び抽出部１１３として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図４の制御部４０１としても動作する。

入力装置１２０３は、例えば、タッチパネル、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。入力装置１２０３は、図７の操作部７０２として用いることができ、出力装置１２０４は、図４の表示部４０２又は図７の表示部７０１として用いることができる。

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図１及び図７の記憶部１１１又は図４の記憶部４０３として用いることができる。

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ１２０２、補助記憶装置１２０５、及び可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置１２０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受け取り、それらをメモリ１２０２にロードして使用することができる。ネットワーク接続装置１２０７は、図４の通信部４０４又は図７の通信部７０４として用いることができる。

なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、図３の画像制御装置３０１において、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。また、情報処理装置が可搬型記録媒体１２０９又は通信ネットワークを利用しない場合は、媒体駆動装置１２０６又はネットワーク接続装置１２０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報を記憶する記憶部と、
前記第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定する特定部と、
前記特定部が特定した前記符号画像から前記符号を抽出する抽出部と、
を備えることを特徴とする画像制御装置。
（付記２）
前記第１特徴情報は、前記符号画像内における画素値の分布を示し、
前記第２特徴情報は、前記複数の画像各々における画素値の分布を示し、
前記特定部は、前記複数の画像の中から処理対象画像を選択して、前記処理対象画像に対する前記第２特徴情報を求め、前記処理対象画像に対する前記第２特徴情報が示す画素値の分布と、前記第１特徴情報が示す画素値の分布との間に相関がある場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記１記載の画像制御装置。
（付記３）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記特定部は、前記処理対象画像に対する前記第２特徴情報が示す比率が、前記第１特徴情報が示す比率に基づく閾値よりも大きい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記２記載の画像制御装置。
（付記４）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記特定部は、前記第１特徴情報が示す比率と前記処理対象画像に対する前記第２特徴情報が示す比率との差分が閾値よりも小さい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記２記載の画像制御装置。
（付記５）
前記抽出部は、前記符号を復号することで、前記符号が表す情報を抽出し、前記情報に基づいて所定の処理を行うことを特徴とする付記１乃至４のいずれか１項に記載の画像制御装置。
（付記６）
前記複数の画像は、画像表示装置によって画面に表示される物品又はサービスに関する画像を前記撮像装置が撮影した画像であり、
前記所定の処理は、前記情報に基づき通信ネットワークを介して情報提供装置にアクセスすることで、前記情報提供装置から前記物品又はサービスに関する情報を取得する処理であることを特徴とする付記５記載の画像制御装置。
（付記７）
画像表示装置と画像制御装置とを備える画像制御システムであって、
前記画像表示装置は、符号を表す符号画像を含む時系列の複数の画像を表示し、
前記画像制御装置は、
前記符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報を記憶する記憶部と、
撮像装置によって撮影された前記複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報を、前記第１特徴情報と比較することで、前記複数の画像の中から前記符号画像を特定する特定部と、
前記特定部が特定した前記符号画像から前記符号を抽出する抽出部とを含むことを特徴とする画像制御システム。
（付記８）
コンピュータが、
符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定し、
特定した前記符号画像から前記符号を抽出する、
ことを特徴とする画像制御方法。
（付記９）
前記第１特徴情報は、前記符号画像内における画素値の分布を示し、
前記第２特徴情報は、前記複数の画像各々における画素値の分布を示し、
前記コンピュータは、前記複数の画像の中から処理対象画像を選択して、前記処理対象画像に対する前記第２特徴情報を求め、前記処理対象画像に対する前記第２特徴情報が示す画素値の分布と、前記第１特徴情報が示す画素値の分布との間に相関がある場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記８記載の画像制御方法。
（付記１０）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記コンピュータは、前記処理対象画像に対する前記第２特徴情報が示す比率が、前記第１特徴情報が示す比率に基づく閾値よりも大きい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記９記載の画像制御方法。
（付記１１）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記コンピュータは、前記第１特徴情報が示す比率と前記処理対象画像に対する前記第２特徴情報が示す比率との差分が閾値よりも小さい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記９記載の画像制御方法。
（付記１２）
符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定し、
特定した前記符号画像から前記符号を抽出する、
処理をコンピュータに実行させるための画像制御プログラム。
（付記１３）
前記第１特徴情報は、前記符号画像内における画素値の分布を示し、
前記第２特徴情報は、前記複数の画像各々における画素値の分布を示し、
前記コンピュータは、前記複数の画像の中から処理対象画像を選択して、前記処理対象画像に対する前記第２特徴情報を求め、前記処理対象画像に対する前記第２特徴情報が示す画素値の分布と、前記第１特徴情報が示す画素値の分布との間に相関がある場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記１２記載の画像制御プログラム。
（付記１４）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記コンピュータは、前記処理対象画像に対する前記第２特徴情報が示す比率が、前記第１特徴情報が示す比率に基づく閾値よりも大きい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記１３記載の画像制御プログラム。
（付記１５）
前記符号画像は、所定範囲の画素値を有する画素を含み、
前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
前記コンピュータは、前記第１特徴情報が示す比率と前記処理対象画像に対する前記第２特徴情報が示す比率との差分が閾値よりも小さい場合、前記処理対象画像を前記符号画像として特定することを特徴とする付記１３記載の画像制御プログラム。

１０１、３０１ 画像制御装置
１１１、４０３ 記憶部
１１２ 特定部
１１３ 抽出部
３０２ 画像表示装置
３０３ 情報提供装置
３１１、３１２ 通信ネットワーク
３２１ ユーザ
３２２ 動画
４０１ 制御部
４０２、７０１ 表示部
４０４、７０４ 通信部
５０１ 商品画像
５０２ 符号画像
７０２ 操作部
７０３ 撮像装置
８０１ 符号画像
８１１、８１２ 領域
９０１ 商品画像
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７ ネットワーク接続装置
１２０８ バス
１２０９ 可搬型記録媒体

Claims (9)

1. 符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報を記憶する記憶部と、
   前記第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定する特定部と、
   前記特定部が特定した前記符号画像から前記符号を抽出する抽出部と、
   を備えることを特徴とする画像制御装置。
2. 前記第１特徴情報は、前記符号画像内における画素値の分布を示し、
   前記第２特徴情報は、前記複数の画像各々における画素値の分布を示し、
   前記特定部は、前記複数の画像の中から処理対象画像を選択して、前記処理対象画像に対する前記第２特徴情報を求め、前記処理対象画像に対する前記第２特徴情報が示す画素値の分布と、前記第１特徴情報が示す画素値の分布との間に相関がある場合、前記処理対象画像を前記符号画像として特定することを特徴とする請求項１記載の画像制御装置。
3. 前記符号画像は、所定範囲の画素値を有する画素を含み、
   前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
   前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
   前記特定部は、前記処理対象画像に対する前記第２特徴情報が示す比率が、前記第１特徴情報が示す比率に基づく閾値よりも大きい場合、前記処理対象画像を前記符号画像として特定することを特徴とする請求項２記載の画像制御装置。
4. 前記符号画像は、所定範囲の画素値を有する画素を含み、
   前記第１特徴情報は、前記符号画像に含まれる画素の総数に対する、前記符号画像に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
   前記第２特徴情報は、前記複数の画像各々に含まれる画素の総数に対する、前記複数の画像各々に含まれる前記所定範囲の画素値を有する画素の個数の比率を示し、
   前記特定部は、前記第１特徴情報が示す比率と前記処理対象画像に対する前記第２特徴情報が示す比率との差分が閾値よりも小さい場合、前記処理対象画像を前記符号画像として特定することを特徴とする請求項２記載の画像制御装置。
5. 前記抽出部は、前記符号を復号することで、前記符号が表す情報を抽出し、前記情報に基づいて所定の処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像制御装置。
6. 前記複数の画像は、画像表示装置によって画面に表示される物品又はサービスに関する画像を前記撮像装置が撮影した画像であり、
   前記所定の処理は、前記情報に基づき通信ネットワークを介して情報提供装置にアクセスすることで、前記情報提供装置から前記物品又はサービスに関する情報を取得する処理であることを特徴とする請求項５記載の画像制御装置。
7. 画像表示装置と画像制御装置とを備える画像制御システムであって、
   前記画像表示装置は、符号を表す符号画像を含む時系列の複数の画像を表示し、
   前記画像制御装置は、
   前記符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報を記憶する記憶部と、
   撮像装置によって撮影された前記複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報を、前記第１特徴情報と比較することで、前記複数の画像の中から前記符号画像を特定する特定部と、
   前記特定部が特定した前記符号画像から前記符号を抽出する抽出部とを含むことを特徴とする画像制御システム。
8. コンピュータが、
   符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定し、
   特定した前記符号画像から前記符号を抽出する、
   ことを特徴とする画像制御方法。
9. 符号を表す符号画像に含まれる複数の画素の画素値の特徴を示す第１特徴情報と、撮像装置によって撮影された、前記符号画像を含む時系列の複数の画像各々に含まれる複数の画素の画素値の特徴を示す第２特徴情報とを比較することで、前記複数の画像の中から前記符号画像を特定し、
   特定した前記符号画像から前記符号を抽出する、
   処理をコンピュータに実行させるための画像制御プログラム。

Images