JP2016163064A - 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法 - Google Patents

Abstract

【課題】手ぶれしても、動画像の電子透かしであっても、電子透かしを正確に抽出する。
【解決手段】撮像素子４は、受光面上に結像する２次元画像を撮像し、２次元画像の画像データを取得する。結像光学系１（レンズ１Ａ、１Ｂ）は、電子透かしが埋め込まれた２次元画像を撮像素子４の受光面に結像させる。開口絞り２は、撮像の露光時間中、結像光学系１から撮像素子４へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行う。画像処理部５は、撮像素子４で取得された画像データに対して開閉パターンに対応する関数を用いたデコンボリューションを実行して、２次元画像の画像データを得る。画像処理部５は、得られた２次元画像の画像データから電子透かしを抽出する。
【選択図】図１

Description

この発明は、撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法に関する。

航空機又は列車の搭乗券、イベントなどの入場券、電子マネー、クーポンなど、２次元コードが認証の役割を担うことが期待されている。紙に印刷された２次元コードに電子透かしを埋め込むことで、不正に複製された２次元コードを識別可能な技術が開示されている（例えば、特許文献１、２参照）。

一方で、携帯電話の画面に表示された２次元コードの複製もより正確に検知する技術の実現が望まれている。

特許第４７１３６９１号公報 特許第４７４２１７５号公報

しかしながら、２次元コードに埋め込まれた電子透かしを抽出する際、手ぶれなどにより撮像される画像データがぼけると、高周波成分である電子透かしを正確に抽出できなくなるおそれがある。また、動画像の電子透かしをぼけることなく撮像して、電子透かしを抽出するのは容易なことではない。

本発明は、上記実情に鑑みてなされたものであり、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
受光面上に結像する２次元画像を撮像し、前記２次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた２次元画像を前記撮像素子の受光面に結像させる結像光学系と、
露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
を備える。

前記電子透かしは、
情報端末の画像に表示されている動画像である、
こととしてもよい。

前記２次元画像は、
情報端末の画像に表示されている２次元コードである、
こととしてもよい。

前記画像処理部は、
前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記２次元画像の画像データを復元し、
復元された前記２次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
こととしてもよい。

液晶駆動部を備え、
前記露光部は、
前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
こととしてもよい。

前記露光部は、
開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
こととしてもよい。

前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りを備え、
前記露光部は、
前記撮像素子への光の入射を遮断するシャッタである、
こととしてもよい。

本発明の第２の観点に係る電子透かしの抽出方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
を含む。

本発明の第３の観点に係る電子透かし及び開閉パターンの最適化方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する。

この発明によれば、露光時間中、結像光学系から撮像素子へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かしが埋め込まれた２次元画像の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と２次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより２次元コードの画像データの像がぼけたり、電子透かしが動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かしの高周波成分を失うことなく、２次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かしを実現することができる。

この発明の実施の形態１に係る撮像装置の光学系の構成を示すブロック図である。 図２（Ａ）は、情報端末の画面に表示される２次元画像であるカバー画像の一例である。図２（Ｂ）は、２次元コードに埋め込まれる電子透かしの一例である。図２（Ｃ）は、電子透かしが埋め込まれた透かし入り２次元画像の一例である。 開閉パターンの一例を示す図である。 図１の画像処理部のハードウエア構成を示すブロック図である。 図１の画像処理部のソフトウエア構成を示すブロック図である。 図１の撮像装置の動作を示すフローチャートである。 図７（Ａ）は、撮像された２次元コードの画像データ（その１）の一例である。図７（Ｂ）は、図７（Ａ）の画像データから抽出された電子透かしの画像データ（その１）である。 撮像装置の構成の他の例を示すブロック図である。 符号化開口の一例を示す図である。 図１０（Ａ）は、撮像された２次元コードの画像データ（その１）の一例である。図１０（Ｂ）は、図１０（Ａ）の画像データから抽出された電子透かしの画像データ（その１）である。 図１１（Ａ）は、撮像された２次元コードの画像データ（その２）の一例である。図１１（Ｂ）は、図１１（Ａ）の画像データから抽出された電子透かしの画像データ（その２）である。 図１２（Ａ）は、符号化開口の他の例である。図１２（Ｂ）は、背景画像の他の例である。図１２（Ｃ）は、２次元画像に埋め込まれる電子透かしの一例である。 この発明の実施の形態２に係る電子透かし及び開閉パターンの設計システムの構成を示す模式図である。 図１３の設計システムの構成を示すブロック図である。 図１３の設計システムの動作の一部を示すフローチャートである。 図１５のステップＳ１２の具体的な処理を示すフローチャートである。 図１７（Ａ）は、符号化露光で撮像されデコンボリューションされた画像の一部（飛行機のコックピットの部分）である。図１７（Ｂ）は、通常の露光で撮像されデコンボリューションされた画像の一部（飛行機のコックピットの部分）である。 図１８（Ａ）は、符号化露光で撮像されデコンボリューションされた画像の一部（電子透かしが埋め込まれた部分）である。図１８（Ｂ）は、通常の露光で撮像されデコンボリューションされた画像の一部（電子透かしが埋め込まれた部分）である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

実施の形態１．
まず、この発明の実施の形態１について説明する。

撮像装置１００は、レンズ１Ａ、開口絞り２と、レンズ１Ｂと、駆動部３、撮像素子４及び画像処理部５を備える。情報端末２００は、画面１０を有する。撮像装置１００は、情報端末２００の画面１０に表示された２次元画像を撮像対象とする。撮像装置１００は、例えば、デジタルカメラ、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ等である。情報端末２００は、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ、バーコードリーダ（設置型，ハンドヘルド型）等である。

情報端末２００の画面１０に表示される２次元画像は、例えば図２（Ａ）に示すような２次元コード（ＱＲ(Quick Response)コード（登録商標））１１を原画像（カバー画像）とする。ＱＲコード（登録商標）は、マトリックス型の２次元コードである。２次元コード（ＱＲコード（登録商標））１１は縦横に情報を持つ。３隅の四角い切り出しシンボル（位置検出パターン、ファインダパターン）が特徴的である。加えて、小さい四角のアラインメントパターンが固定となっており、それ以外の部分に符号が記録される。

この２次元コード１１には、図２（Ｂ）に示す電子透かし１２が埋め込まれている。電子透かし１２は、パターンが時間変化する動画像である。電子透かし技術は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング（データハイディング）技術の一種である。図２（Ａ）に示す２次元コード１１に図２（Ｂ）に示す電子透かし１２が埋め込まれることによって、図２（Ｃ）に示す全体の２次元画像１３が形成される。電子透かし１２が動画像であるので、形成される２次元画像１３も動画像となる。

電子透かし１２の埋め込みは以下のようにして行われる。例えば、図２（Ａ）に示す２次元コード１１は、例えばＲＧＢの各色成分に分離される。各色成分の画像データに対して、それぞれ離散ウェーブレット変換が行われ、各画像データは、ＬＬ成分（低周波成分）、ＬＨ成分（垂直方向が低周波成分、水平方向が高周波成分）、ＨＬ成分（垂直方向が低周波成分、水平方向が高周波成分）及びＨＨ成分（対角方向に高周波数成分）といった周波数成分に分解される。そして、ウェーブレット係数の値（係数値）がＬＨ成分に比べて小さいＬＨ成分、ＨＬ成分、ＨＨ成分の少なくとも１つに透かし情報を埋め込んで、各成分を逆離散ウェーブレット変換して画像を再構築することにより、図２（Ｃ）に示す２次元画像１３が生成される。

このように、図２（Ａ）の２次元コード１１を周波数変換し、高い空間周波成分に図２（Ｂ）に示す電子透かし１２の成分を埋め込んだ後、逆変換を行って画像を再構築し、図２（Ｃ）に示す電子透かし１２が埋め込まれた２次元画像１３が生成される。周波数変換には、上述の離散ウェーブレット変換のほか、離散コサイン変換又はフーリエ変換などの様々な変換方法を適用することが可能である。

図１に戻り、レンズ１Ａ、１Ｂは凸レンズである。レンズ１Ａ、１Ｂで結像光学系１が構成される。結像光学系１は、電子透かし１２が埋め込まれた２次元画像１３を、撮像素子４の受光面に結像させる。結像光学系１の構成は、図１に示すものには限られない。３枚以上のレンズを光軸ＡＸに沿って配置することにより構成される結像光学系であってもよい。

開口絞り２は、結像光学系１（レンズ１Ａ、１Ｂ）の瞳位置に配置されている。開口絞り２には、円形の開口が形成されている。開口絞り２は、例えば、ＯＨＰシートや金属板で作成することができるが、透過型の液晶開口を用いることができる。この実施の形態では、駆動部３が、液晶開口中の所望の画素の透光率を制御する（光を通さない部分の透光率を下げ、光を通す部分の透光率を上げる）ことにより、液晶開口上に所望の形状の開口を形成することができるようになっている。

開口絞り２は、露光時間中、結像光学系１から撮像素子４へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行う。すなわち、この実施の形態では、開口絞り２が露光部として動作する。図３には、この開口絞り２における露光時間中の開閉の時間変化が示されている。図３に示すように、露光時間中の開口絞り２の開閉状態の時間変化は、符号化された開閉パターンとなっている。

撮像素子４は、受光面上に結像する２次元の画像データを撮像する。撮像素子４は例えば、ＣＣＤ（Charge Coupled Device）である。撮像素子４は、複数の画素が受光面上に敷き詰められている。各画素には、撮影中の露光時間に入射した光に対応する電荷が蓄積され、各画素に蓄積された電荷によって２次元のデジタル画像データが生成される。

画面１０に表示された２次元画像１３の像は、結像光学系１（レンズ１Ａ、１Ｂ）によって撮像素子４の受光面上に結像する。その際、撮像素子４に入射する光は、開口絞り２の円形開口を通過する。

画像処理部５は、撮像素子４で取得された画像データに対する画像処理を行う。画像処理部５はコンピュータである。図１の画像処理部５のハードウエア構成を示す図４に示すように、画像処理部５は、制御部２１、主記憶部２２、外部記憶部２３及び入出力部２５を備える。主記憶部２２、外部記憶部２３及び入出力部２５はいずれも内部バス２８を介して制御部２１に接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部２３に記憶され主記憶部２２に格納されるプログラム２９を実行することにより、図１に示す画像処理部５の各構成要素が実現される。

主記憶部２２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部２２には、外部記憶部２３に記憶されているプログラム２９がロードされる。この他、主記憶部２２は、制御部２１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部２３には、制御部２１に実行させるためのプログラム２９があらかじめ記憶されている。また、外部記憶部２３は、制御部２１の指示に従って、このプログラム２９の実行の際に用いられるデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

入出力部２５は、撮像素子４から画像データを入力する。一方で、入出力部２５は、演算結果を出力する。

図１に示す画像処理部５の各種構成要素は、図４に示すプログラム２９が、制御部２１、主記憶部２２、外部記憶部２３及び入出力部２５などをハードウエア資源として用いて実行されることによってその機能を発揮する。

図１の画像処理部５のソフトウエア構成を示す図５に示すように、画像処理部５は、デコンボリューション部３０と、抽出部３１とを備える。

デコンボリューション部３０は、撮像素子４で取得された画像データに対して開閉パターンに対応する関数を用いたデコンボリューション（逆疊込み演算）を実行して、２次元画像の画像データを得る。

抽出部３１は、デコンボリューション部３０で得られた２次元画像の画像データから電子透かしを抽出する。具体的には、画像データに対してＲＧＢの各色成分に分離された後、Ｒ、Ｇ、Ｂの色別に離散ウェーブレット変換が施され、電子透かしが埋め込まれたＨＨ成分等が抽出され、そのＨＨ成分等に対して逆変換が施されることにより電子透かしが抽出される。

次に、この実施の形態に係る撮像装置１００の動作について説明する。

図６に示すように、撮像装置１００は、開口絞り２を符号化された開閉パターンで開閉しつつレンズを介して電子透かし１２が埋め込まれた２次元画像１３の画像データを撮像素子４で撮像する（ステップＳ１）。例えば、電子透かしが、電子透かし１２でなく、物体が右から左へ移動するような動画像であった場合には、図７（Ａ）に示すように、画像データは、左右にぶれた画像となる。

続いて、デコンボリューション部３０は、撮像素子４で撮像された画像データに対して開閉パターンに対応する関数を用いてデコンボリューションを実行して、２次元画像１３の画像データを得る（ステップＳ２）。この場合、図７（Ｂ）に示すように、デコンボリューション後の画像データは、左右のぶれが著しく低減している。

続いて、抽出部３１は、デコンボリューション部３０で得られた２次元画像１３の画像データから電子透かし１２を抽出する（ステップＳ３）。具体的には、画像データを周波数変換し、電子透かし１２が埋め込まれている高周波数成分を抽出して、逆変換することにより電子透かし１２を抽出する。

このように、電子透かし１２を正確に抽出するのに、撮像（露光時間）中に開口絞り２を符号化された開閉パターンで開閉すれば、電子透かし１２が埋め込まれた２次元画像の高い空間周波数成分が損なわれないようにすることができるので、得られた画像データに対して開閉パターンに対応する関数でデコンボリューションを行えば、電子透かし１２を正確に抽出することができる。

以上詳細に説明したように、この実施の形態によれば、露光時間中、結像光学系１から撮像素子４へ到達する光が通過する開口絞り２を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かし１２が埋め込まれた２次元画像１３の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と２次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより２次元画像１３の画像データの像がぼけたり、電子透かし１２が動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かし１２の高い空間周波成分を失うことなく、２次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かし１２が動画像データであったりしても、電子透かし１２を正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かし１２を実現することができる。

情報端末２００に表示された２次元画像を他の情報端末で撮像し、表示させることによって２次元画像を複製した場合、得られた画像データに対してデコンボリューションを行わずにその画像データを画面に表示しても、その画像は、高い空間周波数成分が失われたままの画像となっているので、電子透かし１２を正確に抽出するのが困難になる。すなわち、この実施の形態によれば、符号化された開閉パターンによるコンボリューション及びデコンボリューションを取り入れることによって、電子透かし１２が埋め込まれた２次元画像の複製を検知することができるようにもなっている。

なお、露光時間中に開閉パターンにしたがって開閉するのは開口絞り２には限られない。図８に示すように、シャッタ１５を、露光時間中、開閉パターンに従って駆動部３で開閉するようにしてもよい。

実施の形態２．
次に、この発明の実施の形態２について説明する。上記実施の形態では、時間軸方向に変化する符号化された開閉パターンを用いて、電子透かし１２が埋め込まれた２次元画像１３の撮像を行ったが、この実施の形態では、符号化露光に加え、開口絞り２に符号化開口を形成し、符号化開口を用いて撮像を行う。

この実施の形態では、開口絞り２には、図９に示すような、符号化開口２０が形成されている。図９に示すように、この開口絞り２の符号化開口２０では、正方形の開口部分がモザイク状に配置されている。ここで、符号化開口２０とは、符号化された開口パターンを含んでいる。符号化された開口パターンは、複数の方向に、広い周波数帯域の空間周波数成分を含んでいる。

ここで、開口絞り２の符号化開口２０の空間上の位置（光線が通過する位置）を（Ｘ、Ｙ；Ｘ、Ｙは光軸ＡＸに直交）と置く。仮に、開口絞り２の開口の形状が円形だった場合には、撮像素子４の各画素に入射する光は、入射した光の開口内の位置情報（Ｘ、Ｙ）に関する情報が失われた光となる。これに対して、開口絞り２の開口パターンが符号化された符号化開口であれば、撮像素子４の各画素に入射する光には、その光が通過した開口内の位置情報（Ｘ、Ｙ）に関する情報が残ることになる。

開口絞り２は、透過型の液晶開口を用いることができる。この実施の形態では、駆動部３が、液晶開口中の所望の画素の透光率を制御することにより、液晶開口上に所望の形状の符号化開口２０を形成することができるようになっている。

符号化開口２０を用いれば、例えば、図１０（Ａ）に示すような２次元画像の画像データに対して、図１０（Ｂ）に示すような電子透かし１２が抽出される。抽出された電子透かし１２は、本来の電子透かし１２に極めて近いパターンとなっている。

開口絞り２として符号化開口２０を用いることにより、図１１（Ａ）に示すように、２次元コードが傾斜した状態であっても、図１１（Ｂ）に示すように電子透かし１２をほぼ正確に抽出することができる。

また、符号化開口２０の開口パターン、カバー画像等は、上述のものには限られない。例えば、図１２（Ａ）に示すようにパターンを採用することができる。また、カバー画像として図１２（Ｂ）に示すような画像を採用することもできる。このような符号化開口２０の開口パターン及び画像を採用しても、図１２（Ｃ）に示すような電子透かし１２を埋め込んで、抽出することができる。

この実施の形態では、撮像素子４で取得された画像データは、開口絞り２の開閉パターンで時間方向にコンボリューションされ、開口絞り２の符号化開口２０により、空間方向にコンボリューションした画像データとなる。そこで、デコンボリューション部３０は、
開閉パターンに対応する関数を用いたデコンボリューションと、符号化開口２０に対応するぼけ関数を用いたデコンボリューションを両方行う必要がある。この場合、どちらを先におこなってもよい。

符号化開口２０を介して得られる画像データは、符号化開口２０に対応するぼけ関数と２次元画像の像とがコンボリューションした画像となる。この画像データは、符号化開口２０に対応するぼけ関数を用いてデコンボリューションされる。焦点ずれにより２次元画像の画像データの像がぼけたとしても、その画像データを焦点ずれに応じたぼけ関数でデコンボリューションすれば、電子透かし１２の高周波成分を失うことなく、２次元画像の画像データを得ることができる。この結果、焦点ずれしても、電子透かし１２を正確に抽出することができる。

実施の形態３．
次に、この発明の実施の形態３について説明する。上記実施の形態では、電子透かし１２が埋め込まれた２次元画像の撮像に、開口絞り２の開閉パターン及び符号化開口２０が用いられた。この実施の形態においても、電子透かし１２が埋め込まれた２次元画像の撮像に、開口絞り２の開閉パターン及び符号化開口２０を用いる。そして、電子透かし１２の抽出率が最適になるような電子透かし１２のパターン及び符号化開口２０の設計方法について説明する。

図１３には、電子透かし１２及び開閉パターンの設計システム５００が示されている。図１３に示すように、設計システム５００は、撮像装置１００及び情報端末２００の他、コンピュータ３００を備えている。コンピュータ３００は、ＣＰＵ及びメモリその他のハードウエアを備えており、ＣＰＵがメモリに格納されたプログラムを実行することにより、その機能を実現する。

撮像装置１００及び情報端末２００の構成及び動作は、上記実施の形態１と同じである。コンピュータ３００は、無線通信又は有線通信により、撮像装置１００及び情報端末２００とデータ送受信が可能である。情報端末２００は、電動ステージ２０１の上に搭載されており、情報端末２００に手ぶれを模した移動を生じさせることが可能となっている。

図１４に示すように、コンピュータ３００は、抽出率算出部３２と、最適化部３３と、開閉パターン生成部３４と、画像生成部３５とを備える。

抽出率算出部３２は、撮像装置１００の画像処理部５から、抽出された電子透かし１２の画像データを入力する。抽出率算出部３２は、入力された電子透かし１２の画像データと、電子透かし１２の参照画像データとのマッチングを行い、一致する画素の数の全画素数に対する比率を電子透かし１２の抽出率として算出する。

最適化部３３は、抽出率算出部３２で算出される抽出率に基づいて、開口絞り２の開閉パターン及び電子透かし１２のパターンの最適化を、最適化手法を用いて行う。この実施の形態では、最適化手法として遺伝的アルゴリズムが採用される。

最適化部３３は、開口絞り２の開閉パターン及び情報端末２００の画面１０における電子透かし１２のパターンを変更しながら、情報端末２００の画面１０への電子透かし１２が埋め込まれた２次元画像の表示と、撮像装置１００における開口絞り２を用いた撮像とを行わせる。最適化部３３は、電子透かし１２のパターン及び開口絞り２の開閉パターンを変更しながら、最適化手法を用いて、抽出率が最大となる電子透かし１２のパターン及び開口絞り２の開閉パターンを探索する。

開閉パターン生成部３４は、最適化部３３からの指示に従って、開口絞り２の開閉パターンを生成する。開閉パターン生成部３４は、生成した開口絞り２の開閉パターンを駆動部３に出力する。駆動部３は入力した開閉パターンに基づいて、開口絞り２の液晶開口を駆動し、その開閉パターンにしたがって、露光時間中、開口絞り２を開閉する。

画像生成部３５は、最適化部３３からの指示に従って、電子透かし１２が埋め込まれた２次元画像データを生成する。画像生成部３５は、情報端末２００に、生成した画像データを送信する。情報端末２００は、受信した２次元画像を画面１０に表示する。

図１５には、最適化部３３を中心にして行われる最適化工程の処理の流れが示されている。図１５に示すように、まず、最適化部３３は、親世代の候補を複数選択する（ステップＳ１１）。この候補は、電子透かし１２のパターンと、開口絞り２の開閉パターンとの組み合わせの候補である。

続いて、最適化部３３は、選択された電子透かし１２のパターンと開口絞り２の開閉パターンとの組み合わせを、開閉パターン生成部３４と画像生成部３５に指示し、撮像装置１００及び情報端末２００に上記組み合わせのそれぞれで撮像及び電子透かし１２の抽出を実行させる（ステップＳ１２）。ここでは、選択された電子透かし１２のパターンと開口絞り２の開閉パターンとの組み合わせそれぞれでの電子透かし１２の抽出率が、抽出率算出部３２により算出され、最適化部３３に出力される。

ステップＳ１２では、具体的には、図１６に示すように、まず、最適化部３３は、開閉パターン生成部３４を介して開口絞り２の開閉パターンを駆動部３に設定し、画像生成部３５を介して、電子透かし１２が埋め込まれた２次元画像を情報端末２００に設定し、その２次元画像を情報端末２００の画面１０に表示させる（ステップＳ１）。

続いて、開閉パターンに従って開口絞り２を開閉して、結像光学系１を介して、電子透かし１２が埋め込まれた２次元画像の画像データを撮像素子４で撮像する（ステップＳ２）。

続いて、撮像装置１００（画像処理部５のデコンボリューション部３０）は、撮像素子４で撮像された画像データに対して開口絞り２の開閉パターンに対応する関数を用いてデコンボリューションを実行して、２次元画像の画像データを得る（ステップＳ３）。前述のとおり、電子透かし１２の動画像の動きに関わらず、クリアな画像データが取得される。

続いて、画像処理部５（抽出部３１）は、デコンボリューション部３０で得られた２次元画像の画像データから電子透かし１２を抽出する（ステップＳ４）。前述のとおり、ここで、周波数変換、高い周波数帯域の抽出、逆変換により、電子透かし１２の画像データが得られる。

続いて、コンピュータ３００（抽出率算出部３２）は、抽出された電子透かし１２の抽出率を算出する（ステップＳ５）。前述のとおり、得られた電子透かし１２の画像データと参照用の電子透かし１２の画像データとの一致度に基づいて、電子透かし１２の抽出率が算出される。

続いて、最適化部３３は、全ての移動パターン（手ぶれを模した情報端末２００の微小な移動）での抽出が完了しているか否かを判定する（ステップＳ６）。まだ完了していなければ（ステップＳ６；Ｎｏ）、最適化部３３は、電動ステージ２０１を駆動して、撮像装置１００と、情報端末２００に手ぶれなどを模した動きを生じさせる（ステップＳ７）。その後、最適化部３３は、再び撮像（ステップＳ２）、デコンボリューション（ステップＳ３）、電子透かし１２の抽出（ステップＳ４）、抽出率算出（ステップＳ５）、抽出完了判定（ステップＳ６）が繰り返される。

全ての移動パターンでの電子透かし１２の抽出が完了したと判定されると（ステップＳ６；Ｙｅｓ）、最適化部３３は、開口絞り２の開閉パターンと電子透かし１２のパターンの全ての組み合わせで、電子透かし１２の抽出が完了したか否かが判定される（ステップＳ８）。完了していなければ（ステップＳ８；Ｎｏ）、最適化部３３は、次の候補である電子透かし１２のパターン及び開口絞り２の開閉パターンを設定する（ステップＳ１）。以降、ステップＳ２〜Ｓ８が繰り返され、次の候補での処理が行われる。全てのパターンの組み合わせが完了すると（ステップＳ８；Ｙｅｓ）、最適化部３３は、ステップＳ１２の処理を終了する。

最適化部３３は、このようにして、電子透かし１２のパターン及び開口絞り２の開閉パターンを変更し、情報端末２００の移動パターンを変更ながら、撮像（ステップＳ２）と、デコンボリューション（ステップＳ３）と、電子透かし１２の検出（ステップＳ４）と、抽出率の算出（ステップＳ５）とを繰り返し行う。

図１５に戻り、続いて、最適化部３３は、遺伝的アルゴリズム（ＧＡ）により子世代の候補を複数生成する（ステップＳ１３）。ＧＡでは、候補を個体として、交叉（組み替え）、突然変異を行って子世代の候補を生成する処理である。なお、子世代の個体には、親世代で最良であった個体をそのまま残すようにする。

続いて、最適化部３３は、電子透かし１２の抽出率の値が一定範囲内に収束したか否かを判定する（ステップＳ１４）。いわゆる探索の終了判定である。終了判定の判定条件には、世代数が所定数となることであってもよいし、抽出率が閾値を上回ることであってもよい。

抽出率の値が収束していないと判定された場合（ステップＳ１４；Ｎｏ）、最適化部３３は、ステップＳ１２に戻り、子世代における電子透かし１２の抽出の実行（ステップＳ１２）、子世代の候補の生成（ステップＳ１３）、抽出率の収束判定（ステップＳ１４）を繰り返し行う。

抽出率が収束したと判定された場合（ステップＳ１４；Ｙｅｓ）、最適化部３３は、最も抽出率が高い候補を最終的なパターンとして決定する（ステップＳ１５）。続いて、最適化部３３は、決定された候補を出力し（ステップＳ１６）、処理を終了する。

なお、最適化手法は、遺伝的アルゴリズムには限られない。山登り法、焼き鈍し法、粒子群最適化、差分進化法などを用いるようにしてもよい。また、電子透かし１２及び開口絞り２の開閉パターンに加えて、符号化開口２０の開口パターンを最適化するようにしてもよい。また、目的関数が複数である多目的最適化アルゴリズムを用いるようにしてもよい。例えば、第一目的関数を透かしの抽出率とし、第二目的関数を、透かしを抽出可能な手ぶれの範囲として、多目的最適化アルゴリズムを実行することで、透かしの抽出の容易さと頑健さの双方を考慮した最適化も可能となる。

電子透かし１２はより高周波のパターンとして２次元画像に埋め込まれているため、ナンバープレート又はバーコードのぼけを除去する符号化開口と比較して、符号化開口２０のパターンは、より高い空間周波数成分を含むものとするのが望ましい。

図１７（Ａ）には、符号化露光により撮像されデコンボリューションされた画像の一部（飛行機のコクピットの部分）が示され、図１７（Ｂ）には、通常の露光により撮像されデコンボリューションされた画像の一部（飛行機のコクピットの部分）が示されている。図１７（Ａ）と図１７（Ｂ）とを比較するとわかるように、符号化露光で得られた画像はよく復元できているのに対し、通常の露光で得られた画像は、縦方向の縞が表れている。これは、通常露光では、シャッタが開いた間のすべての光の積分値により各画素が構成されるので、撮像対象が横方向に動いていると、ＨＬ成分が失われるためである。

図１８（Ａ）には、符号化露光により撮像されデコンボリューションされた画像の一部（電子透かし１２が埋め込まれた部分）が示され、図１８（Ｂ）には、通常の露光により撮像されデコンボリューションされた画像の一部（電子透かし１２が埋め込まれた部分）が示されている。図１８（Ａ）と図１８（Ｂ）とを比較するとわかるように、符号化露光で得られた画像は、ＨＬ成分（垂直方向の高周波数成分）、ＬＨ成分（水平方向の高周波数成分）、ＨＨ成分（対角方向の高周波数成分）ともによく復元できているのに対し、通常の露光で得られた画像は、撮像対象が横方向に動いているため、ＨＬ成分が失われている。

上記実施の形態では、情報端末２００の画面１０に表示された２次元画像１３から電子透かし１２を抽出する場合について説明したが、本発明はこれには限られない。紙媒体に印刷された２次元画像から電子透かし１２を抽出する場合にも本発明を適用することができる。

なお、上記の実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto−Optical Disc）等のコンピュータが読み取り可能な記録媒体に格納して配布し、そのプログラムを、コンピュータ等にインストールすることにより、図６、図１５、図１６に示す処理を実行するコンピュータ３００を構成することとしてもよい。

また、上述のプログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

また、上述の図６、図１５、図１６に示す処理を、各ＯＳ（Operating System）が分担して実現する場合、または、ＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

この発明は、２次元コードに埋め込まれる電子透かしを抽出するシステムに適用することができる。特に動画像の電子透かしを抽出するシステムに適用することができる。

１ 結像光学系、１Ａ、１Ｂ レンズ、２ 開口絞り、３ 駆動部、４ 撮像素子、５ 画像処理部、１０ 画面、１１ ２次元コード、１２ 電子透かし、１３ ２次元画像、１５ シャッタ、２０ 符号化開口、２１ 制御部、２２ 主記憶部、２３ 外部記憶部、２５ 入出力部、２８ 内部バス、２９ プログラム、３０ デコンボリューション部、３１ 抽出部、３２ 抽出率算出部、３３ 最適化部、３４ 開閉パターン生成部、３５ 画像生成部、１００ 撮像装置、２００ 情報端末、２０１ 電動ステージ、３００ コンピュータ、５００ 設計システム

Claims (9)

1. 受光面上に結像する２次元画像を撮像し、前記２次元画像の画像データを取得する撮像素子と、
   電子透かしが埋め込まれた２次元画像を前記撮像素子の受光面に結像させる結像光学系と、
   露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
   前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
   を備える撮像装置。
2. 前記電子透かしは、
   情報端末の画像に表示されている動画像である、
   請求項１に記載の撮像装置。
3. 前記２次元画像は、
   情報端末の画像に表示されている２次元コードである、
   請求項１に記載の撮像装置。
4. 前記画像処理部は、
   前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記２次元画像の画像データを復元し、
   復元された前記２次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
   請求項１から３のいずれか一項に記載の撮像装置。
5. 液晶駆動部を備え、
   前記露光部は、
   前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記露光部は、
   開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
   請求項５に記載の撮像装置。
7. 前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りを備え、
   前記露光部は、
   前記撮像素子への光の入射を遮断するシャッタである、
   請求項１から４のいずれか一項に記載の撮像装置。
8. 結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
   前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
   を含む電子透かしの抽出方法。
9. 結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
   前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
   前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
   を含み、
   前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する
   電子透かし及び開閉パターンの最適化方法。

Images