JP2016165070A - 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法 - Google Patents

Abstract

【課題】焦点ずれしても、電子透かしを正確に抽出する。
【解決手段】撮像素子４は、受光面上に結像する２次元画像を撮像し、２次元画像の画像データを取得する。結像光学系１（レンズ１Ａ、１Ｂ）は、電子透かしが埋め込まれた２次元画像を撮像素子４の受光面に結像させる。開口絞り２は、結像光学系１の瞳位置に配置され、結像光学系１を介して撮像素子４に入射する光が通過する符号化開口を有する。画像処理部５は、撮像素子４で取得された画像データに対して符号化開口に対応するぼけ関数を用いたデコンボリューションを実行して、２次元画像の画像データを得る。画像処理部５は、得られた２次元画像の画像データから電子透かしを抽出する。
【選択図】図１

Description

この発明は、撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法に関する。

航空機又は列車の搭乗券、イベントなどの入場券、電子マネー、クーポンなど、２次元コードが認証の役割を担うことが期待されている。紙に印刷された２次元コードに電子透かしを埋め込むことで、不正に複製された２次元コードを識別可能な技術が開示されている（例えば、特許文献１、２参照）。

一方で、携帯電話の画面に表示された２次元コードの複製もより正確に検知する技術の実現が望まれている。

特許第４７１３６９１号公報 特許第４７４２１７５号公報

しかしながら、２次元コードに埋め込まれた電子透かしを抽出する際、焦点ずれなどにより撮像される画像データがぼけると、その画像データから高周波成分である電子透かしを正確に抽出するのが困難になる。

本発明は、上記実情に鑑みてなされたものであり、焦点ずれしても、電子透かしを正確に抽出することができる撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
受光面上に結像する２次元画像を撮像し、前記２次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた２次元画像を前記撮像素子の受光面に結像させる結像光学系と、
前記結像光学系を介して前記撮像素子に入射する光の光路上に配置された符号化開口を有する開口絞りと、
前記撮像素子で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理部と、
を備える。

前記符号化開口には、
周波数解析により前記２次元画像から分解された複数の画像のうち、前記電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成されている、
こととしてもよい。

前記画像処理部は、
前記符号化開口に対応するぼけ関数を用いたデコンボリューションを実行して、前記２次元画像の画像データを復元し、
復元された前記２次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
こととしてもよい。

前記画像処理部は、
前記符号化開口に対応するぼけ関数と、前記電子透かしを抽出する関数とが合成された関数を用いたデコンボリューションを実行して、前記電子透かしを抽出する、
こととしてもよい。

液晶駆動部を備え、
前記開口絞りは、
前記液晶駆動部によって駆動されることにより、前記符号化開口を形成する透過型の液晶開口である、
こととしてもよい。

前記液晶駆動部は、
前記２次元画像を抽出するための第１の開口と、前記電子透かしを抽出する前記符号化開口としての第２の開口とが交互に形成されるように前記液晶開口を駆動し、
前記画像処理部は、
前記第１の開口を介して前記撮像素子に入射した光に基づいて取得された第１の画像データに対して画像処理を実行して前記２次元画像を抽出し、
前記第２の開口を介して前記撮像素子に入射した光に基づいて取得された第２の画像データに対して画像処理を実行して前記電子透かしを抽出する、
こととしてもよい。

前記開口絞りは、
前記２次元画像を抽出するための第１の開口と、前記電子透かしを抽出する前記符号化開口としての第２の開口と、を有し、
前記結像光学系は、
前記第１の開口を介した光に基づく第１の像と、前記第２の開口を介した光に基づく第２の像とを、前記撮像素子上に別々に結像させる光分割手段を有し、
前記画像処理部は、
前記第１の像の画像データに対して画像処理を実行して前記２次元画像を抽出し、
前記第２の像の画像データに対して画像処理を実行して前記電子透かしを抽出する、
こととしてもよい。

前記２次元画像は、
情報端末の画像に表示されている２次元コードである、
こととしてもよい。

前記開口絞りは、前記結像光学系の瞳位置に配置される、
こととしてもよい。

本発明の第２の観点に係る電子透かしの抽出方法は、
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
を含む。

本発明の第３の観点に係る電子透かし及び符号化開口の最適化方法は、
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記符号化開口のパターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記符号化開口を決定する。

この発明によれば、符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた２次元画像の画像データが撮像素子で撮像される。符号化開口を介して得られる画像データは、符号化開口に対応するぼけ関数と２次元画像とがコンボリューションした画像となる。この画像は、符号化開口により高い空間周波数成分が失われない状態で撮像素子上に結像する。このため、焦点ずれにより２次元コードの画像データの像がぼけたとしても、その画像データを焦点ずれに応じた符号化開口に対応するぼけ関数でデコンボリューションを含む画像処理を行えば、電子透かしの高い空間周波数成分を失うことなく、２次元コードの画像データを得ることができる。この結果、焦点ずれしても、電子透かしを正確に抽出することができる。また、符号化開口を備えた装置でなければ復号できない電子透かしを実現することができる。

この発明の実施の形態１に係る撮像装置の光学系の構成を示すブロック図である。 図２（Ａ）は、情報端末の画面に表示される２次元画像であるカバー画像の一例である。図２（Ｂ）は、２次元コードに埋め込まれる電子透かしの一例である。図２（Ｃ）は、電子透かしが埋め込まれた透かし入り２次元画像の一例である。 符号化開口の一例を示す図である。 図１の画像処理部のハードウエア構成を示すブロック図である。 図１の画像処理部のソフトウエア構成を示すブロック図である。 図１の撮像装置の動作を示すフローチャートである。 図７（Ａ）は、撮像された２次元コードの画像データ（その１）の一例である。図７（Ｂ）は、図７（Ａ）の画像データから抽出された電子透かしの画像データ（その１）である。 図８（Ａ）は、撮像された２次元コードの画像データ（その２）の一例である。図８（Ｂ）は、図８（Ａ）の画像データから抽出された電子透かしの画像データ（その２）である。 図９（Ａ）は、円形の開口絞りを用いて撮像された２次元コードの画像データの一例である。図９（Ｂ）は、図９（Ａ）の画像データから抽出された電子透かしの画像データである。 図１０（Ａ）は、符号化開口の他の例である。図１０（Ｂ）は、２次元画像の他の例である。図１０（Ｃ）は、２次元画像に埋め込まれる電子透かしの一例である。 この発明の実施の形態２に係る電子透かし及び符号化開口の設計システムの構成を示す模式図である。 図１１の設計システムの構成を示すブロック図である。 図１１の設計システムの動作の一部を示すフローチャートである。 図１３のステップＳ１２の具体的な処理を示すフローチャートである。 図１５（Ａ）は、チェックパターンの符号化開口と電子透かしの検出結果を示す図である。図１５（Ｂ）は、円形開口と電子透かしの検出結果を示す図である。図１５（Ｃ）は、符号化開口（Ｚｈｏｕコード）と電子透かしの検出結果を示す図である。図１５（Ｄ）は、他の符号化開口（Ｚｈｏｕコード）と電子透かしの検出結果を示す図である。 図１６（Ａ）は、円形開口を示す図である。図１６（Ｂ）は、符号化開口を示す図である。図１６（Ｃ）は、撮像装置の構成の変形例（その１）を示す図である。 図１７（Ａ）は、円形開口及び符号化開口が形成された開口絞りを示す図である。図１７（Ｂ）は、撮像装置の構成の変形例（その２）を示す図である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

実施の形態１．
まず、この発明の実施の形態１について説明する。

撮像装置１００は、レンズ１Ａ、開口絞り２と、レンズ１Ｂと、駆動部３、撮像素子４と、画像処理部５とを備える。情報端末２００は、画面１０を有する。撮像装置１００は、情報端末２００の画面１０に表示された２次元画像を撮像対象とする。撮像装置１００は、例えば、デジタルカメラ、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ等である。情報端末２００は、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ，バーコードリーダ（設置型，ハンドヘルド型）等である。

情報端末２００の画面１０に表示される２次元画像は、例えば図２（Ａ）に示すような２次元コード（ＱＲ(Quick Response)コード（登録商標））１１を原画像（カバー画像）とする。ＱＲコード（登録商標）は、マトリックス型の２次元コードである。２次元コード（ＱＲコード（登録商標））１１は縦横に情報を持ち、３隅の四角い切り出しシンボル（位置検出パターン、ファインダパターン）が特徴的である。加えて、小さい四角のアラインメントパターンが固定されている。そして、それ以外の部分に符号が記録される。

この２次元コード１１には、電子透かしが埋め込まれている。図２（Ｂ）に示すように、電子透かし１２も、２次元コードである。電子透かし技術は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング（データハイディング）技術の一種である。図２（Ａ）に示す２次元コード１１に図２（Ｂ）に示す電子透かし１２が埋め込まれることによって、図２（Ｃ）に示す全体の２次元画像１３が形成される。

電子透かし１２の埋め込みは以下のようにして行われる。例えば、図２（Ａ）に示す２次元コード１１は、例えばＲＧＢの各色成分に分離される。各色成分の画像データに対して、それぞれ離散ウェーブレット変換が行われ、各画像データは、ＬＬ成分（低周波成分）、ＬＨ成分（垂直方向が低周波成分、水平方向が高周波成分）、ＨＬ成分（垂直方向が高周波成分、水平方向が低周波成分）及びＨＨ成分（対角方向が高周波成分）といった周波数成分に分解される。そして、ウェーブレット係数の値（係数値）がＬＬ成分以外の成分、ＨＨ成分、ＬＨ成分、ＨＬ成分の少なくとも１つに透かし情報を埋め込んで、各成分を逆離散ウェーブレット変換して画像を再構築することにより、図２（Ｃ）に示す２次元画像１３が生成される。

このように、図２（Ａ）の２次元コード１１を周波数変換し、高い空間周波成分に図２（Ｂ）に示す電子透かし１２の成分を埋め込んだ後、逆変換を行って画像を再構築し、図２（Ｃ）に示す電子透かし１２が埋め込まれた２次元画像１３が生成される。周波数変換には、上述の離散ウェーブレット変換のほか、離散コサイン変換又はフーリエ変換などの様々な変換方法を適用することが可能である。

図１に戻り、レンズ１Ａ、１Ｂは凸レンズである。レンズ１Ａ、１Ｂで結像光学系１が構成される。結像光学系１は、電子透かし１２が埋め込まれた２次元画像１３を、撮像素子４の受光面に結像させる。結像光学系１の構成は、図１に示すものには限られない。３枚以上のレンズを光軸ＡＸに沿って配置することにより構成される結像光学系であってもよい。

開口絞り２は、結像光学系１（レンズ１Ａ、１Ｂ）の瞳位置など、結像光学系１を介して撮像素子４に入射される光の光路上に配置されている。開口絞り２には、図３に示すような、符号化開口２０が形成されている。図３に示すように、この開口絞り２の符号化開口２０では、正方形の開口部分がモザイク状に配置されている。符号化開口２０には、符号化された開口パターンが形成されている。符号化された開口パターンは、複数の方向に、広い帯域の空間周波数成分を含んでいる。

ここで、開口絞り２の符号化開口２０の面内位置（光線が通過する位置）を（Ｘ、Ｙ）と置く。仮に、開口絞り２の開口の形状が円形だった場合には、撮像素子４の各画素に入射する光は、入射した光の開口内の位置情報（Ｘ、Ｙ）に関する情報が失われた光となる。これに対して、開口絞り２の開口パターンが符号化された符号化開口２０であれば、撮像素子４の各画素に入射する光には、その光が通過した開口内の位置情報（Ｘ、Ｙ）に関する情報が残ることになる。

開口絞り２は、例えば、ＯＨＰシートや金属板で作成することができるが、透過型の液晶開口を用いることができる。この実施の形態では、駆動部３が、液晶開口中の所望の画素の透光率を制御する（光を通す部分の透光率を上げ、光を通さない部分の透光率を下げる）ことにより、液晶開口上に所望の符号パターンを含む符号化開口２０を形成することができるようになっている。

撮像素子４は、受光面上に結像する２次元の画像データを撮像する。撮像素子４は例えば、ＣＣＤ（Charge Coupled Device）である。撮像素子４は、複数の画素が受光面上に敷き詰められている。各画素には、撮影中の露光時間に入射した光に対応する電荷が蓄積され、各画素に蓄積された電荷によって２次元のデジタル画像データが生成される。

画面１０に表示された２次元画像１３の像は、結像光学系１（レンズ１Ａ、１Ｂ）によって撮像素子４の受光面上に結像する。その際、撮像素子４に入射する光は、符号化開口２０を通過する。これにより、撮像素子４上に結像する２次元画像１３の像は、画面１０に表示された２次元画像１３と、符号化開口２０に対応するぼけ関数がコンボリューションされた画像となる。このぼけ関数は、２次元コードの画像データの結像位置と撮像素子４の受光面との光軸方向のずれ、すなわちフォーカスずれに応じて異なったものとなる。このぼけ関数は、カーネルともいう。このぼけ関数は、フーリエ光学における光学伝達関数（ＯＴＦ）に対応する。

したがって、仮に、撮像素子４の位置が、２次元画像１３の結像位置に対してフォーカスずれしていたとしても、その像を符号化開口２０に対応し、フォーカスずれ量に対応するぼけ関数を用いたデコンボリューションを含む画像処理により、元の画像データを復元することが可能である。

画像処理部５は、撮像素子４で取得された画像データに対する画像処理を行う。画像処理部５はコンピュータである。図１の画像処理部５のハードウエア構成を示す図４に示すように、画像処理部５は、制御部２１、主記憶部２２、外部記憶部２３及び入出力部２５を備える。主記憶部２２、外部記憶部２３及び入出力部２５はいずれも内部バス２８を介して制御部２１に接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部２３に記憶され主記憶部２２に格納されるプログラム２９を実行することにより、図１に示す画像処理部５の各構成要素が実現される。

主記憶部２２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部２２には、外部記憶部２３に記憶されているプログラム２９がロードされる。この他、主記憶部２２は、制御部２１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部２３には、制御部２１に実行させるためのプログラム２９があらかじめ記憶されている。また、外部記憶部２３は、制御部２１の指示に従って、このプログラム２９の実行の際に用いられるデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

入出力部２５は、撮像素子４から画像データを入力する。一方で、入出力部２５は、演算結果を出力する。

図１に示す画像処理部５の各種構成要素は、図４に示すプログラム２９が、制御部２１、主記憶部２２、外部記憶部２３及び入出力部２５などをハードウエア資源として用いて実行されることによってその機能を発揮する。

図５（図１の画像処理部５のソフトウエア構成）に示すように、画像処理部５は、デコンボリューション部３０と、抽出部３１とを備える。

デコンボリューション部３０は、撮像素子４で取得された画像データに対して，例えば符号化開口２０に対応するぼけ関数を用いたデコンボリューション（逆畳込み演算）を実行して、２次元画像１３の画像データを得る。デコンボリューション部３０には、例えば、様々な複数のデフォーカス量と、そのデフォーカス量に対応するぼけ関数がそれぞれ対応づけられて記憶されている。デコンボリューション部３０は、複数のぼけ関数それぞれについてデコンボリューションを行う。そして、デコンボリューション部３０は、デコンボリューションの結果得られた複数の画像の中から、元の２次元画像１３とのマッチングを行い、一致度が最も高い画像を、デコンボリューションの結果得られる画像データとして出力する。

抽出部３１は、デコンボリューション部３０で得られた２次元コードの画像データから電子透かしを抽出する。具体的には、画像データに対してＲＧＢの各色成分に分離された後、Ｒ、Ｇ、Ｂの色別の画像に離散ウェーブレット変換が施され、電子透かしが埋め込まれたＨＨ成分、ＬＨ成分、ＨＬ成分の少なくとも１つが抽出され、抽出されたＨＨ成分、ＬＨ成分、ＨＬ成分の少なくとも１つに対して逆変換を施すことにより電子透かしが抽出される。

次に、この実施の形態に係る撮像装置１００の動作について説明する。

図６に示すように、撮像装置１００は、符号化開口２０を開口絞り２として用いて、結像光学系１を介して電子透かし１２が埋め込まれた２次元画像１３の画像データを撮像素子４で撮像する（ステップＳ１）。これにより、図７（Ａ）に示すような２次元画像データが得られる。

続いて、デコンボリューション部３０は、撮像素子４で撮像された画像データに対して符号化開口２０に対応するぼけ関数を用いてデコンボリューションを実行して、２次元画像１３の画像データを得る（ステップＳ２）。

続いて、抽出部３１は、デコンボリューション部３０で得られた２次元画像１３の画像データから電子透かしを抽出する（ステップＳ３）。具体的には、抽出部３１は、画像データを周波数変換し、電子透かしが埋め込まれている高い空間周波数成分を抽出して、逆変換することにより電子透かしを抽出する。図７（Ｂ）には、抽出された電子透かしの一例が示されている。

開口絞り２として符号化開口２０を用いることにより、図８（Ａ）に示すように、２次元画像１３が傾斜した状態であっても、図８（Ｂ）に示すように電子透かしを抽出することができる。これに対し、開口絞り２の開口パターンに円形の開口を用いた場合には、図９（Ａ）に示す２次元画像に対して抽出される電子透かしは、図９（Ｂ）に示すように、本来の電子透かし１２（図２（Ｂ）参照）とは大きく異なる画像となる。

また、符号化開口２０の開口パターン、カバー画像等は、上述のものには限られない。例えば、図１０（Ａ）に示すようにパターンを採用することができる。また、カバー画像として図１０（Ｂ）に示すような画像を採用することもできる。このような符号化開口２０の開口パターン及び背景画像を採用しても、図１０（Ｃ）に示すような電子透かしを埋め込んで、抽出することができる。

このように、電子透かしを正確に抽出するのに、開口絞り２として符号化開口２０を用いれば、電子透かしが埋め込まれた２次元画像の高い空間周波数成分が損なわれないようにすることができるので、得られた画像データに対して画像処理を行えば、電子透かしを正確に抽出することができる。

なお、画像処理部５では、デコンボリューションと、電子透かしの抽出を分けて行ったが、符号化開口に対応するぼけ関数と、電子透かしを抽出する関数（電子透かしが埋め込まれている高い空間周波数成分を抽出するための関数）とが合成された関数を用いたデコンボリューションを実行して、電子透かしを抽出するようにしてもよい。

以上詳細に説明したように、この実施の形態によれば、符号化開口２０を有する開口絞り２を介して電子透かし１２が埋め込まれた２次元画像１３の画像データが得られる。符号化開口２０を介して得られる画像データは、符号化開口２０に対応するぼけ関数と２次元画像の像とがコンボリューションした画像となる。この画像データは、例えば，符号化開口２０に対応するぼけ関数を用いてデコンボリューションされる。画像データを焦点ずれに応じたぼけ関数でデコンボリューションすれば、電子透かし１２の高い空間周波成分を失うことなく、２次元画像の画像データを得ることができる。この結果、焦点ずれにより２次元画像の画像データの像がぼけたとしても、電子透かし１２を正確に抽出することができる。これにより、例えば、焦点を合致させることなく撮影するなどして画質が劣化した状態でも、電子透かし１２を精度良く抽出することができる。また、符号化開口を備えた装置でなければ復号できない電子透かしを実現することができる。

また、情報端末２００に表示された２次元画像を他の情報端末で撮像し、表示させることによって２次元画像を複製した場合、得られた画像データに対してデコンボリューション等の画像処理を行わずにその画像データを画面に表示しても、その画像は、高い空間周波成分が失われたままの画像となることが多いので、その画像から電子透かしを正確に抽出するのが困難になる。すなわち、この実施の形態によれば、符号化開口２０によるコンボリューション及びデコンボリューションを取り入れることによって、電子透かしが埋め込まれた２次元画像の複製を検知することができるようにもなっている。

実施の形態２．
次に、この発明の実施の形態２について説明する。上記実施の形態では、電子透かしが埋め込まれた２次元画像の撮像に、開口絞り２として符号化開口２０が用いられた。この実施の形態においても、電子透かしが埋め込まれた２次元画像の撮像に、開口絞り２として符号化開口２０を用いる。そして、電子透かしの抽出率が最適になるような電子透かしのパターン及び符号化開口２０の開口パターンの設計方法について説明する。

図１１には、電子透かし及び符号化開口２０の設計システム５００が示されている。図１１に示すように、設計システム５００は、撮像装置１００及び情報端末２００の他、コンピュータ３００を備えている。コンピュータ３００は、ＣＰＵ及びメモリその他のハードウエアを備えており、ＣＰＵがメモリに格納されたプログラムを実行することにより、その機能を実現する。

撮像装置１００及び情報端末２００の構成及び動作は、上記実施の形態１と同じである。コンピュータ３００は、無線通信又は有線通信により、撮像装置１００及び情報端末２００とデータ送受信が可能である。情報端末２００は、電動ステージ２０１の上に搭載されており、撮像装置１００と情報端末２００との距離を調整可能となっている。撮像装置１００と情報端末２００との距離を調整できれば、電動ステージ２０１はなくてもよいが、電動ステージ２０１を用いることで焦点ずれにより頑健な透かしと符号化開口を効率的に設計できる。

図１２に示すように、コンピュータ３００は、抽出率算出部３２と、最適化部３３と、符号化開口生成部３４と、画像生成部３５とを備える。

抽出率算出部３２は、撮像装置１００の画像処理部５から、抽出部３１で抽出された電子透かしの画像データを入力する。抽出率算出部３２は、入力された電子透かしの画像データと、電子透かしの参照画像データとのマッチングを行い、輝度値が一致する画素の数の全画素数に対する比率を電子透かしの抽出率として算出する。

最適化部３３は、抽出率算出部３２で算出される抽出率に基づいて、符号化開口２０の開口パターン及び電子透かしのパターンの最適化を、最適化手法を用いて行う。この実施の形態では、最適化手法として遺伝的アルゴリズムが採用される。

最適化部３３は、符号化開口２０の開口パターン及び情報端末２００の画面１０における電子透かしのパターンを変更しながら、情報端末２００の画面１０への電子透かしが埋め込まれた２次元画像の表示と、撮像装置１００における符号化開口２０の開口絞り２を用いた撮像とを行わせる。最適化部３３は、電子透かしのパターン及び符号化開口２０の開口パターンを変更しながら、最適化手法を用いて、抽出率が最大となる電子透かしのパターン及び符号化開口２０の開口パターンを探索する。

符号化開口生成部３４は、最適化部３３からの指示に従って、符号化開口２０の開口パターンを生成する。符号化開口生成部３４は、生成した符号化開口２０の開口パターンを駆動部３に送信する。駆動部３は受信した開口パターンに基づいて、開口絞り２の液晶開口を駆動し、その開口パターンに対応する符号化開口２０を形成する。

画像生成部３５は、最適化部３３からの指示に従って、電子透かしが埋め込まれた２次元画像データを生成する。画像生成部３５は、情報端末２００に、生成した画像データを送信する。情報端末２００は、受信した２次元画像を画面１０に表示する。

図１３には、最適化部３３を中心にして行われる最適化工程の処理の流れが示されている。図１３に示すように、まず、最適化部３３は、親世代の候補を複数選択する（ステップＳ１１）。この候補は、電子透かしのパターンと、符号化開口２０のパターンとの組み合わせの候補である。

続いて、最適化部３３は、選択された電子透かしのパターンと符号化開口２０の開口パターンとの組み合わせを、符号化開口生成部３４と画像生成部３５に指示し、上記パターンの組み合わせのそれぞれで撮像装置１００及び情報端末２００に撮像及び電子透かしの抽出を実行させる（ステップＳ１２）。ここでは、選択された電子透かしのパターンと符号化開口２０の開口パターンとの組み合わせそれぞれでの電子透かしの抽出率が、抽出率算出部３２により算出され、最適化部３３に出力される。

ステップＳ１２では、具体的には、図１４に示すように、まず、最適化部３３は、符号化開口生成部３４を介して符号化開口２０の開口パターンを駆動部３に設定し、画像生成部３５に、電子透かしが埋め込まれた２次元画像１３を生成させることにより、その電子透かしを設定する（ステップＳ１）。２次元画像１３は、情報端末２００に送信され、情報端末２００の画面１０に表示され、駆動部３の駆動により、開口絞り２に符号化開口２０が形成される。

続いて、符号化開口２０を開口絞り２として用いて、結像光学系１を介して、電子透かしが埋め込まれた２次元画像の画像データを撮像素子４で撮像する（ステップＳ２）。

続いて、撮像装置１００（画像処理部５のデコンボリューション部３０）は、撮像素子４で撮像された画像データに対して符号化開口２０に対応するぼけ関数を用いてデコンボリューションを実行して、２次元画像の画像データを得る（ステップＳ３）。前述のとおり、撮像素子４の受光面と２次元画像１３の結像面とのフォーカスずれに応じたぼけ関数によりデコンボリューションされたクリアな画像データがここで取得される。

続いて、画像処理部５（抽出部３１）は、デコンボリューション部３０で得られた２次元画像の画像データから電子透かしを抽出する（ステップＳ４）。前述のとおり、ここで、周波数変換、高い周波数帯域の抽出、逆変換が行われ、電子透かしの画像データが得られる。

続いて、コンピュータ３００（抽出率算出部３２）は、抽出された電子透かしの抽出率を算出する（ステップＳ５）。前述のとおり、得られた電子透かしの画像データと参照用の電子透かしの画像データとの一致度に基づいて、電子透かしの抽出率が算出される。

続いて、最適化部３３は、全ての距離（撮像装置１００と情報端末２００との距離）での抽出が完了しているか否かを判定する（ステップＳ６）。まだ完了していなければ（ステップＳ６；Ｎｏ）、最適化部３３は、電動ステージ２０１を駆動して、撮像装置１００と、情報端末２００との距離を変更する（ステップＳ７）。その後、最適化部３３は、再び撮像（ステップＳ２）、デコンボリューション（ステップＳ３）、電子透かし抽出（ステップＳ４）、抽出率算出（ステップＳ５）、抽出完了判定（ステップＳ６）を繰り返す。

全ての距離での電子透かしの抽出が完了したと判定されると（ステップＳ６；Ｙｅｓ）、最適化部３３は、符号化開口２０の開口パターンと電子透かしのパターンの全ての組み合わせで、電子透かしの抽出が完了したか否かが判定される（ステップＳ８）。完了していなければ（ステップＳ８；Ｎｏ）、最適化部３３は、次の候補である電子透かしのパターン及び符号化開口２０の開口パターンを設定する（ステップＳ１）。以降、ステップＳ２〜Ｓ８が繰り返され、次の候補での処理が行われる。全ての組み合わせが完了すると（ステップＳ８；Ｙｅｓ）、最適化部３３は、ステップＳ１２の処理を終了する。

最適化部３３は、このようにして、電子透かしのパターン及び符号化開口２０の開口パターンを変更し、撮像装置１００と情報端末２００との距離を変更ながら、撮像（ステップＳ２）と、デコンボリューション（ステップＳ３）と、電子透かしの検出（ステップＳ４）と、抽出率の算出（ステップＳ５）とを繰り返し行う。

図１３に戻り、続いて、最適化部３３は、遺伝的アルゴリズム（ＧＡ）により子世代の候補を複数生成する（ステップＳ１３）。ＧＡでは、候補を個体として、交叉（組み替え）、突然変異を行って子世代の候補を生成する処理である。なお、子世代の個体には、親世代で最良であった個体をそのまま残すようにする。

続いて、最適化部３３は、電子透かしの抽出率の値が一定範囲内に収束したか否かを判定する（ステップＳ１４）。いわゆる探索の終了判定である。終了判定の判定条件には、世代数が所定数となることであってもよいし、抽出率が閾値を上回ることであってもよい。

抽出率の値が収束していないと判定された場合（ステップＳ１４；Ｎｏ）、最適化部３３は、ステップＳ１２に戻り、子世代における電子透かし抽出の実行（ステップＳ１２）、子世代の候補の生成（ステップＳ１３）、抽出率の収束判定（ステップＳ１４）を繰り返し行う。

抽出率が収束したと判定された場合（ステップＳ１４；Ｙｅｓ）、最適化部３３は、最も抽出率が高い候補を最終的なパターンとして決定する（ステップＳ１５）。続いて、最適化部３３は、決定された候補を出力し（ステップＳ１６）、処理を終了する。

なお、最適化手法は、遺伝的アルゴリズムには限られない。山登り法、焼き鈍し法、粒子群最適化、差分進化法などを用いるようにしてもよい。また、目的関数が複数である多目的最適化アルゴリズムを用いるようにしてもよい。例えば、第一目的関数を透かしの抽出率とし、第二目的関数を、透かしを抽出可能なデフォーカスの範囲として、多目的最適化アルゴリズムを実行することで、透かしの抽出の容易さと頑健さの双方を考慮した最適化も可能となる。

なお、電子透かしはより高周波のパターンとして２次元画像に埋め込まれているため、ナンバープレート又はバーコードのぼけを除去する符号化開口と比較して、符号化開口２０の開口パターンは、より高周波なパターンとなる。

上述のような符号化開口の符号パターンの最適化方法を用いた結果、周波数解析により２次元画像から分解された複数の画像のうち、電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成された符号化開口２０が電子透かしを良好に抽出可能であることが判明した。例えば、２次元画像がＬＬ成分、ＬＨ成分、ＨＬ成分、ＨＨ成分の画像に分割され、電子透かしが、ＨＨ成分の画像に埋め込まれた場合には、水平方向及び垂直方向に交差する斜め方向に空間周波数成分を有する符号パターン、すなわち上述のような図１５（Ａ）に示す斜め方向に空間周波数成分を有するチェックパターンが形成された符号化開口２０が電子透かしを良好に抽出できることが判明した。

この符号化開口２０が、電子透かし抽出用として良好であることを確認するために、電子透かしを良好に抽出できるとされるチェックパターンの符号化開口２０と、円形開口と、ぼけ除去に用いられる符号化開口（Ｚｈｏｕコード）とにおける電子透かし抽出の比較実験を行った。図１５（Ａ）には、チェックパターンの符号化開口２０（左）と、チェックパターンを用いたときの電子透かしの検出結果（右）が示されている。また、図１５（Ｂ）には。円形開口４０と、円形開口４０を用いたときの電子透かしの検出結果が示されている。図１５（Ｃ）には、符号化開口（Ｚｈｏｕコード）４１と、そのコードを用いたときの電子透かしの検出結果が示されている。図１５（Ｄ）には、他の符号化開口（Ｚｈｏｕコード）４２と、そのコードを用いたときの電子透かしの検出結果が示されている。図１５（Ａ）と図１５（Ｂ）〜図１５（Ｄ）とを比較するとわかるように、チェックパターンの符号化開口２０が、最も良好に電子透かしを抽出できている。

なお、電子透かしがＬＨ成分に埋め込まれている場合には、符号化開口２０の符号パターンは、垂直方向に空間周波数成分を有するだけのパターンであってもよいし、電子透かしがＨＬ成分に埋め込まれている場合には、水平方向に空間周波数成分を有するだけのパターンであってもよい。

なお、開口絞り２は、上述のものには限られない。開口絞り２が液晶開口である場合、図１６（Ａ）に示す円形開口４０と図１６（Ｂ）に示す符号化開口２０とが交互に形成されるように、液晶開口の開口形状を時間変化させるようにしてもよい。円形開口４０は、２次元画像（カバー画像）を抽出するための開口絞りであり、符号化開口２０は、電子透かしを抽出するための開口絞りである。図１６（Ｃ）に示すように、駆動部３は、現在円形開口４０を表示しているか、符号化開口２０を表示しているかを示す信号を画像処理部５に出力している。画像処理部５は、この信号に基づいて、開口絞り２に円形開口４０が表示されているときに、円形開口４０を介して撮像素子４に入射した光に基づいて取得された画像データに対して画像処理を実行して２次元画像を抽出する。一方、画像処理部５は、入力される信号に基づいて、開口絞り２に符号化開口２０が表示されているときに、符号化開口２０を介して撮像素子４に入射した光に基づいて取得された画像データに対して画像処理を実行し、電子透かしを抽出する。このようにすれば、２次元画像と、電子透かしとを両方精度良く抽出することが可能となる。

開口絞り２には、図１７（Ａ）に示すように、２次元画像を抽出するための円形開口４０と、電子透かしを抽出する符号化開口２０とが形成されるようにしてもよい。この場合、結像光学系１には、図１７（Ｂ）に示すように、円形開口４０を介した光に基づく像Ａと、符号化開口２０を介した光に基づく像Ｂとを、撮像素子４上に別々に結像させるためにハーフミラー１Ｃ、ミラー１Ｄ、１Ｅ及びハーフミラー１Ｆが設けられている。画面１０上の２次元画像から発せられる光束は、レンズ１Ａを介してハーフミラー１Ｃに入射する。ハーフミラー１Ｃは、入射光束の一部を反射し、残りを透過させる。ハーフミラー１Ｃで反射した光束は、光軸ＡＸ１に沿って、ミラー１Ｄで反射し円形開口４０を通過後、ミラー１Ｅで反射しハーフミラー１Ｆでさらに反射しレンズ１Ｂを経て撮像素子４に入射する。また、ハーフミラー１Ｃを透過した光束は、光軸ＡＸ２に沿って、符号化開口２０を介してハーフミラー１Ｆに入射し、ハーフミラー１Ｆを透過した光束がレンズ１Ｂを経て撮像素子４に入射する。

この結像光学系１では、円形開口４０を通過した光束により結像する画像Ａと、符号化開口２０を通過した光束により結像する画像Ｂとが撮像素子４上に別々に結像するように構成されている。画像処理部５は、像Ａの画像データに対して画像処理を実行して２次元画像を抽出し、像Ｂの画像データに対して画像処理を実行して電子透かしを抽出する。

なお、ハーフミラー１Ｃ、１Ｆ及びミラー１Ｄ、１Ｅを用いる構成に代えて、マイクロレンズアレイ、レンチキュラレンズなどを光分割手段として用いて、結像光学系１を構成し、円形開口４０を介した像と、符号化開口２０を介した像とを別々に撮像素子４に結像させるようにしてもよい。

また、高周波成分である透かし画像と，低周波成分であるカバー画像とに対してそれぞれぼけ除去を行えるような２つの符号化開口を上述の円形開口４０及び符号化開口２０と同様に、時間的または空間的に組みあわせることも可能である。

上記実施の形態では、情報端末２００の画面１０に表示された２次元画像１３から電子透かし１２を抽出する場合について説明したが、本発明はこれには限られない。紙媒体に印刷された２次元画像から電子透かしを抽出する場合にも本発明を適用することができる。

なお、上記の実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto−Optical Disc）等のコンピュータが読み取り可能な記録媒体に格納して配布し、そのプログラムを、コンピュータ等にインストールすることにより、図６、図１３、図１４に示す処理を実行するコンピュータ３００を構成することとしてもよい。

また、上述のプログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

また、上述の図６、図１３、図１４に示す処理を、各ＯＳ（Operating System）が分担して実現する場合、または、ＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

この発明は、２次元コードに埋め込まれる電子透かしを抽出するシステムに適用することができる。

１ 結像光学系、１Ａ、１Ｂ レンズ、１Ｃ ハーフミラー、１Ｄ、１Ｅ ミラー、１Ｆ ハーフミラー、２ 開口絞り、３ 駆動部、４ 撮像素子、５ 画像処理部、１０ 画面、１１ ２次元コード、１２ 電子透かし、１３ ２次元画像、２０ 符号化開口、２１ 制御部、２２ 主記憶部、２３ 外部記憶部、２５ 入出力部、２８ 内部バス、２９ プログラム、３０ デコンボリューション部、３１ 抽出部、３２ 抽出率算出部、３３ 最適化部、３４ 符号化開口生成部、３５ 画像生成部、４０ 円形開口、４１、４２ 符号化開口（Ｚｈｏｕコード）、１００ 撮像装置、２００ 情報端末、２０１ 電動ステージ、３００ コンピュータ、５００ 設計システム

Claims (11)

1. 受光面上に結像する２次元画像を撮像し、前記２次元画像の画像データを取得する撮像素子と、
   電子透かしが埋め込まれた２次元画像を前記撮像素子の受光面に結像させる結像光学系と、
   前記結像光学系を介して前記撮像素子に入射する光の光路上に配置された符号化開口を有する開口絞りと、
   前記撮像素子で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理部と、
   を備える撮像装置。
2. 前記符号化開口には、
   周波数解析により前記２次元画像から分解された複数の画像のうち、前記電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成されている、
   請求項１に記載の撮像装置。
3. 前記画像処理部は、
   前記符号化開口に対応するぼけ関数を用いたデコンボリューションを実行して、前記２次元画像の画像データを復元し、
   復元された前記２次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
   請求項１又は２に記載の撮像装置。
4. 前記画像処理部は、
   前記符号化開口に対応するぼけ関数と、前記電子透かしを抽出する関数とが合成された関数を用いたデコンボリューションを実行して、前記電子透かしを抽出する、
   請求項１又は２に記載の撮像装置。
5. 液晶駆動部を備え、
   前記開口絞りは、
   前記液晶駆動部によって駆動されることにより、前記符号化開口を形成する透過型の液晶開口である、
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記液晶駆動部は、
   前記２次元画像を抽出するための第１の開口と、前記電子透かしを抽出する前記符号化開口としての第２の開口とが交互に形成されるように前記液晶開口を駆動し、
   前記画像処理部は、
   前記第１の開口を介して前記撮像素子に入射した光に基づいて取得された第１の画像データに対して画像処理を実行して前記２次元画像を抽出し、
   前記第２の開口を介して前記撮像素子に入射した光に基づいて取得された第２の画像データに対して画像処理を実行して前記電子透かしを抽出する、
   請求項５に記載の撮像装置。
7. 前記開口絞りは、
   前記２次元画像を抽出するための第１の開口と、前記電子透かしを抽出する前記符号化開口としての第２の開口と、を有し、
   前記結像光学系は、
   前記第１の開口を介した光に基づく第１の像と、前記第２の開口を介した光に基づく第２の像とを、前記撮像素子上に別々に結像させる光分割手段を有し、
   前記画像処理部は、
   前記第１の像の画像データに対して画像処理を実行して前記２次元画像を抽出し、
   前記第２の像の画像データに対して画像処理を実行して前記電子透かしを抽出する、
   請求項１から６のいずれか一項に記載の撮像装置。
8. 前記２次元画像は、
   情報端末の画像に表示されている２次元コードである、
   請求項１から７のいずれか一項に記載の撮像装置。
9. 前記開口絞りは、前記結像光学系の瞳位置に配置される、
   請求項１から８のいずれか一項に記載の撮像装置。
10. 結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
    前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
    を含む電子透かしの抽出方法。
11. 結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた２次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
    前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
    前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
    を含み、
    前記電子透かしのパターン及び前記符号化開口のパターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記符号化開口を決定する、
    電子透かし及び符号化開口の最適化方法。

Images