JP2011101109A

JP2011101109A - 情報提供システム

Info

Publication number: JP2011101109A
Application number: JP2009253102A
Authority: JP
Inventors: Yasumasa Nakajima; 泰正中島
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-11-04
Filing date: 2009-11-04
Publication date: 2011-05-19
Anticipated expiration: 2029-11-04
Also published as: JP5471315B2

Abstract

【課題】人間に視認困難な画像を用いて情報提供を行う手段を提供する。
【解決手段】情報提供システムは、送信側の表示装置と受信側の撮像装置とを備える。上記の表示装置は、表示部と表示制御部とを含む。表示部は、送信対象画像を含む第１画面と、送信対象画像を含まない第２画面とを表示する。表示制御部は、表示部が第１画面を瞬間的に表示する第１期間と、表示部が第２画面を連続的に表示する第２期間とを周期的に繰り返す制御を行う。また、上記の撮像装置は、撮像画像を生成する撮像部と、判定部とを含む。判定部は、表示部の画面を連続的に撮像した複数の撮像画像のうちから、時間軸方向での撮像画像の周期的な検出パターンに基づいて、第１画面を撮像した画像を特定する。
【選択図】図１

Description

本発明は、送信側の表示装置と受信側の撮像装置とを備える情報提供システムに関する。

従来から、一例として特許文献１に示すように、受信側の撮像装置で２次元コードなどの画像を読み取って情報を取得するシステムが知られている。

特開２００３−１４１４４１号公報

ところで、従来の技術は、情報送信用の画像が人間にとって目障りとなる場合や、情報送信用の画像の存在を秘匿しておきたい場合には不向きである点でなお改善の余地があった。

そこで、本発明は、人間に視認困難な画像を用いて情報提供を行う手段を提供することにある。

一の態様の情報提供システムは、送信側の表示装置と受信側の撮像装置とを備える。上記の表示装置は、表示部と表示制御部とを含む。表示部は、送信対象画像を含む第１画面と、送信対象画像を含まない第２画面とを表示する。表示制御部は、表示部が第１画面を瞬間的に表示する第１期間と、表示部が第２画面を連続的に表示する第２期間とを周期的に繰り返す制御を行う。また、上記の撮像装置は、撮像画像を生成する撮像部と、判定部とを含む。判定部は、表示部の画面を連続的に撮像した複数の撮像画像のうちから、時間軸方向での撮像画像の周期的な検出パターンに基づいて、第１画面を撮像した画像を特定する。

上記の一の態様の撮像装置は、第１画面から得た情報を表示するモニタをさらに含んでいてもよい。

また、送信対象画像は、所定の情報を符号化して示す画像であり、撮像装置は、送信対象画像を復号化する復号部をさらに含んでいてもよい。モニタは、復号部で復号化された情報を表示してもよい。

また、送信対象画像は、第１画面に電子透かしで埋め込まれた情報であってもよい。

なお、一の態様の情報提供システムに適用される撮像装置または表示装置の各構成も、本発明の具体的態様として有効である。

一の態様の情報提供システムでは、時間軸方向での画像の検出パターンに基づいて、表示装置に瞬間的に表示される第１画面の情報を撮像装置が特定する。これにより、人間に視認困難な情報送信用の画像を用いて、表示装置および撮像装置との間で情報提供が可能となる。

一の実施形態に係る情報提供システムの構成例を示すブロック図第１画面および第２画面の表示タイミング例を示す模式図一の実施形態の情報提供システムにおける撮像装置の動作例の流れ図

＜一の実施形態の説明＞
図１は、一の実施形態に係る情報提供システムの構成例を示すブロック図である。情報提供システムは、送信側の表示装置１０と、受信側の撮像装置２０とを有している。

まず、表示装置１０の構成を説明する。表示装置１０は、記憶部１１と、表示部１２と、表示制御部１３とを有している。なお、記憶部１１および表示部１２は、それぞれ表示制御部１３と接続されている。

記憶部１１は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、表示部１２で表示される画面の情報が記憶される。一の実施形態での記憶部１１は、送信対象の画像を含む第１画面の情報と、送信対象画像を含む第２画面の情報とが記憶される。

ここで、送信対象画像は、例えば、人間が直接判読可能な文字または図形等であってもよく、あるいはバーコードや２次元コードのように、提供する情報を所定の規則で符号化して示すマークであってもよい。

また、一の実施形態での第１画面は、例えば、文字や図面を含む広告の中央に送信対象画像が配置された画面である。一の実施形態での第２画面は、上記の広告のみからなる画面であって、送信対象画像が含まれない点のみ第１画面と相違する。なお、上記の第１画面の情報は、第２画面に画像処理で送信対象画像を合成することで生成してもよい。

表示部１２は、第１画面および第２画面を表示する。一例として、表示部１２は、液晶ディスプレイや、公知の発光表示素子（例えば、有機ＥＬ（electroluminescence）素子、ＬＥＤ、ＰＤＰ、ＦＥＤ、ＳＥＤなど）によって構成される。なお、表示部１２はパネル表示形式の構成であってもよく、スクリーン投影形式の構成であってもよい。

また、表示部１２のフレームレートは、人間の眼で１フレームが静止画として視認困難となる程度の速度に設定されている。一般的に人間の眼の時間分解能は数十Ｈｚ程度であるので、５０ｆｐｓ以上のフレームレートであれば１フレームを静止画として視認することは困難となる。なお、一の実施形態では、表示部１２のフレームレートを９０ｆｐｓに設定した例を説明する。

表示制御部１３は、記憶部１１の情報に基づいて表示部１２に第１画面および第２画面を表示させるとともに、第１画面および第２画面の表示の切り替えを制御する。図２は、第１画面および第２画面の表示タイミング例を示す模式図である。

表示制御部１３は、９０フレームを１周期としたときに、表示部１２に第１画面を１フレームだけ瞬間的に表示させる（第１期間）。その後、表示制御部１３は、表示部１２に同じ第２画面を８９フレーム分連続的に表示させる（第２期間）。そして、表示制御部１３は、上記の第１期間および第２期間を周期的に繰り返す制御を行う。これにより、表示部１２には基本的に第２画面が表示されるが、１秒おきのタイミングで表示部１２に第１画面が１／９０秒間表示されることとなる。

次に、撮像装置２０の構成を説明する。撮像装置２０は、撮像光学系２１と、撮像素子２２と、Ａ／Ｄ変換部２３と、ＣＰＵ２４と、メモリ２５と、モニタ２６と、メディアＩ／Ｆ２７と、ユーザの操作を受け付ける操作部２８とを有している。ここで、Ａ／Ｄ変換部２３、メモリ２５、モニタ２６、メディアＩ／Ｆ２７および操作部２８は、それぞれＣＰＵ２４と接続されている。

撮像素子２２は、撮像光学系２１を通過した光束に基づく被写体の像を撮像し、撮像画像の画像信号を生成するデバイスである。この撮像素子２２の出力は、Ａ／Ｄ変換部２３に接続されている。また、Ａ／Ｄ変換部２３は、撮像素子２２から出力される画像信号をＡ／Ｄ変換してＣＰＵ２４に入力する。

ここで、上記の撮像素子２２は、表示装置１０の各フレームを検出可能なフレームレートでの高速度撮像が可能なものが用いられる。一の実施形態では、表示部１２のフレームレートが９０ｆｐｓであるので、標本化定理から１８０ｆｐｓ以上のフレームレートでの撮像が可能な撮像素子２２を用いるものとする。

ＣＰＵ２４は、撮像装置２０の動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。例えば、ＣＰＵ２４は、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や、公知の自動露出（ＡＥ）演算をそれぞれ実行する。また、ＣＰＵ２４は、画像処理部２４ａと、判定部２４ｂと、復号部２４ｃとを有している。

画像処理部２４ａは、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部２４ａは、撮像画像に基づいて、モニタ表示用のビュー画像を生成する。

判定部２４ｂは、表示装置１０の画面を連続的に撮像した複数の撮像画像のうちから、時間軸方向での撮像画像の周期的な検出パターンに基づいて、第１画面を撮像した画像を特定する。なお、判定部２４ｂの動作については後述する。

復号部２４ｃは、送信対象画像のバーコードや２次元コードの情報を復号化するデコーダである。

メモリ２５は、ＣＰＵ２４による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。このメモリ２５は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。なお、一の実施形態でのメモリ２５は、高速度撮像時に２秒分以上の撮像画像を保持できる記憶容量を有するものとする。

モニタ２６は、ＣＰＵ２４の制御によって各種画像を表示する。例えば、モニタ２６には、上記のビュー画像や、ＣＰＵ２４によって検出された第１画面に基づく情報を表示できる。

メディアＩ／Ｆ２７には、不揮発性の記憶媒体２７ａを着脱可能に接続できる。そして、メデイアＩ／Ｆは、記憶媒体２７ａに対してデータの書き込み／読み込みを実行する。上記の記憶媒体２７ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２７ａの一例としてメモリカードを図示する。

以下、図３の流れ図を参照しつつ、一の実施形態の情報提供システムにおける撮像装置２０の動作例を説明する。また、図３の処理は、表示装置１０の情報読み取りを行う動作モードの起動操作（例えば電源オン操作やモード切り替え操作など）を、撮像装置２０のＣＰＵ２４がユーザから受け付けたときに開始される。

ステップＳ１０１：ＣＰＵ２４は、撮像素子２２を駆動させて１８０ｆｐｓで撮像画像を連続的に取得する。撮像素子２２から逐次出力される撮像画像のデータは、Ａ／Ｄ変換部２３をパイプライン式に通過して、それぞれメモリ２５に記憶される。

ここで、Ｓ１０１での撮像装置２０は、表示装置１０によって表示された画面を撮像していることを前提とする。また、表示装置１０は、図２に示すタイミングで各画面を表示する動作を行っているものとする。

なお、Ｓ１０１でのＣＰＵ２４は、時間軸方向に間引きされた撮像画像からビュー画像を生成するとともに、モニタ２６にビュー画像を動画表示してもよい。

ステップＳ１０２：ＣＰＵ２４の判定部２４ｂは、時間軸方向に前後する撮像画像を比較して、第１画面の候補画像を抽出する。

例えば、判定部２４ｂは、判定対象の撮像画像と、その１つ前の撮像画像との間で同位置の輝度や色差の差分をとる。そして、これらの差分の絶対値が閾値以上となる場合、判定部２４ｂは、判定対象の撮像画像において判定した位置の絵柄が変化していると判定する。次に、判定部２４ｂは、絵柄に変化のある箇所（画素）のまとまりの大きさが一定以上あって、画像間で絵柄が大きく変化している撮像画像を候補画像とする。そして、判定部２４ｂは、上記の処理を繰り返して、時間軸方向において候補画像となる撮像画像を順次抽出する。

なお、連写撮像時には手ブレなどの影響により、全ての画像が厳密には同じ位置で撮影されていない可能性がある。そのため、画像処理部２４ａは、エッジまたはコーナーを用いた公知の画像間のマッチング処理により、比較する画像間で予め位置合わせ処理を行ってもよい。あるいは、撮像光学系２１または撮像素子２２を撮像時にシフトさせて手ブレ補正を行うことで位置合わせの精度を高めてもよい。

ステップＳ１０３：判定部２４ｂは、上記の候補画像（Ｓ１０２）を対象として、画像間で絵柄に変化のある箇所のマッチング処理を行う。そして、判定部２４ｂは、候補画像のうちで、絵柄のパターンが他と一致しないものを除外する。これにより、残された候補画像は、絵柄のパターンが一致するものに絞り込まれる。

ステップＳ１０４：判定部２４ｂは、Ｓ１０３で残った候補画像の時間軸方向の検出周期が一定か否かを判定する。上記の要件を満たす場合（ＹＥＳ側）にはＳ１０５に処理が移行する。

一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２４は図３の処理を終了する。ここで、判定部２４ｂは、候補画像が検出できない場合にもＳ１０４のＮＯ側を選択するものとする。なお、Ｓ１０４のＮＯ側の場合には、ＣＰＵ２４は第１画面が検出できない旨の表示をモニタ２６に出力するようにしてもよい。

ステップＳ１０５：判定部２４ｂは、残された候補画像を第１画面と特定する。また、判定部２４ｂは、候補画像のうちで絵柄の変化が検出された箇所を、送信対象画像の範囲とする。

ステップＳ１０６：ＣＰＵ２４は、送信対象画像に基づく情報をモニタ２６に表示する。例えば、送信対象画像が文字または図形等であれば、ＣＰＵ２４は、送信対象画像をそのままモニタ２６に表示する。また、送信対象画像がバーコードや二次元コードであれば、ＣＰＵ２４は、復号部２４ｃによって復号化処理を行い、復号部２４ｃで復号化された情報を表示すればよい。以上で図３の流れ図の説明を終了する。

一の実施形態における送信側の表示装置１０は、送信対象画像を一定周期で瞬間的に表示する。そして、撮像装置２０は、高速度撮像により時系列に取得した複数の撮像画像のうちから、直前のフレームと大きく相違し、かつ一定時間おきに共通の画像が検出されるものを送信対象画像として特定する。これにより、一の実施形態では、送信側の表示装置１０によって人間に視認困難な状態で表示される送信対象画像の情報を、受信側の撮像装置２０で取得することができる。

また、一の実施形態の表示装置１０を人間が見た場合には第２画面（広告）のみが視認でき、第１画面の送信対象画像が人間にとって目障りとなることはない。よって、第１画面を静止画として表示すると支障が生じる場合においても、送信対象画像による情報提供が可能となる。

また、一の実施形態の情報提供システムによれば、撮像装置２０のユーザに限定して送信対象画像による情報を提供できる。さらに、一の実施形態の情報提供システムでは、撮像装置２０のユーザが、通常では視認できない送信対象画像を自ら探して情報を取得するようなエンタテイメント性の高い用途にも応用できる。

＜実施形態の補足事項＞
（１）上記実施形態において、送信対象画像は第１画面に電子透かしで埋め込まれる情報であってもよい。この場合には、第１画面と第２画面との差異が小さくなるため、第１画面をより低いフレームレートで表示しても人間に認識されにくくなる。

一例として、フレーム間の差分に対して送信対象画像の透かしパターンを埋め込むものであってもよい。例えば、ｎ番目のフレームには第１の透かしパターンを重畳して埋め込み、ｎ＋１番目のフレームには第１の透かしのパターンの正負を反転させた第２の透かしのパターンを重畳して埋め込む。そして、受信側の撮像装置２０では、ｎ番およびｎ＋１番目のフレームとの差分をとることで、第１画面に埋め込まれた送信対象画像を検出できる。

あるいは、公知のパッチワーク法により第１画面に不可視透かしを埋め込むようにしてもよい。また、第１画面の画像を周波数成分に変換し、特定の周波数成分に不可視透かしの情報を埋め込むようにしてもよい。

（２）上記実施形態の表示装置１０は、第２期間において第２画面を静止画として表示する例を説明したが、第２期間において表示装置１０が動画を表示するようにしてもよい。

この場合、受信側の撮像装置２０は、以下のようにして候補画像を抽出すればよい。まず、撮像装置２０の判定部２４ｂは、例えば、動きベクトル検出のブロックマッチングのアルゴリズムなどによって、判定対象の画像とその直前（または直後）の画像との相関を求める。そして、判定部２４ｂは、２つの画像間の相関が閾値以下となる画像を候補画像として検出すればよい。一般に、第２期間の動画は前後のフレームとの相関が非常に高くなるが、第１期間で表示される第１画面は前後のフレームとの相関は低くなるからである。

（３）図３のＳ１０２の処理において、判定部２４ｂは、画像全体での輝度等の平均値や画像全体での輝度等の分散値などのパラメータが、２つの画像間で大きく変化しているときに候補画像を抽出するようにしてもよい。

（４）上記実施形態において、表示装置１０は複数種類の第１画面を順次切り替えて表示するようにしてもよい。

（５）上記実施形態において、表示装置１０のフレームレートが既知でない場合、撮像装置２０は最も速いフレームレートで高速度撮像を開始し、設定されたフレームレートで第１画面が検出できないときは順次フレームレートを落として第１画面の検出処理を繰り返すようにしてもよい。

（６）図３のＳ１０３の処理において、フリッカによる誤検出を防止するために、判定部２４ｂは、照明装置のフリッカに対応する周期（５０Ｈｚまたは６０Ｈｚ）で検出される画像を候補画像から除外するようにしてもよい。

（７）上記実施形態では、第２画面として広告を表示する例を説明したが、写真、周辺地図、行先案内や、無地ないしは所定の模様の画像などを第２画面で表示しても勿論かまわない。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０…表示装置、１１…記憶部、１２…表示部、１３…表示制御部、２０…撮像装置、２１…撮像光学系、２２…撮像素子、２３…Ａ／Ｄ変換部、２４…ＣＰＵ、２４ａ…画像処理部、２４ｂ…判定部、２４ｃ…復号部、２５…メモリ、２６…モニタ、２７…メディアＩ／Ｆ、２７ａ…記憶媒体、２８…操作部

Claims

送信側の表示装置と受信側の撮像装置とを備える情報提供システムであって、
前記表示装置は、
送信対象画像を含む第１画面と、前記送信対象画像を含まない第２画面とを表示する表示部と、
前記表示部が前記第１画面を瞬間的に表示する第１期間と、前記表示部が前記第２画面を連続的に表示する第２期間とを周期的に繰り返す制御を行う表示制御部と、を含み、
前記撮像装置は、
撮像画像を生成する撮像部と、
前記表示部の画面を連続的に撮像した複数の前記撮像画像のうちから、時間軸方向での前記撮像画像の周期的な検出パターンに基づいて、前記第１画面を撮像した画像を特定する判定部と、を含むことを特徴とする情報提供システム。
請求項１に記載の情報提供システムにおいて、
前記撮像装置は、前記第１画面から得た情報を表示するモニタをさらに含むことを特徴とする情報提供システム。
請求項２に記載の情報提供システムにおいて、
前記送信対象画像は、所定の情報を符号化して示す画像であり、
前記撮像装置は、前記送信対象画像を復号化する復号部をさらに含み、
前記モニタは、前記復号部で復号化された情報を表示することを特徴とする情報提供システム。
請求項１から請求項３のいずれかに記載の情報提供システムにおいて、
前記送信対象画像は、前記第１画面に電子透かしで埋め込まれた情報であることを特徴とする情報提供システム。
請求項１に記載の情報提供システムに適用される撮像装置であって、
撮像画像を生成する撮像部と、
表示装置の表示部の画面を連続的に撮像した複数の前記撮像画像のうちから、時間軸方向での前記撮像画像の周期的な検出パターンに基づいて、送信対象画像を含む第１画面を撮像した画像を特定する判定部と、
を含む撮像装置。
請求項１に記載の情報提供システムに適用される表示装置であって、
電子透かしで埋め込まれた送信対象画像を含む第１画面と、前記送信対象画像を含まない第２画面とを表示する表示部と、
前記表示部が前記第１画面を瞬間的に表示する第１期間と、前記表示部が前記第２画面を連続的に表示する第２期間とを周期的に繰り返す制御を行う表示制御部と、
を含む表示装置。