JP2004328496A

JP2004328496A - Image processing method

Info

Publication number: JP2004328496A
Application number: JP2003122345A
Authority: JP
Inventors: Takashi Yamaguchi; 隆山口; Takeo Miki; 武郎三木; Masaya Tokuda; 真哉徳田; Kenji Miyazaki; 賢二宮崎
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-04-25
Filing date: 2003-04-25
Publication date: 2004-11-18
Anticipated expiration: 2023-04-25
Also published as: JP4064863B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing method for stably restoring and extracting sub information comprising a contrast image and code information from image information subjected to electronic watermark processing. <P>SOLUTION: In the image processing method wherein other sub information is embedded to main image information in an invisible state and the embedded sub information is restored, supplement processing of essential configuration information of the code information is applied to the sub information restored after the electronic watermark restoration processing by using a positioning mark detected in advance for a reference. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、可視状態の主画像情報（人物の顔画像など）に対して別の付加的な副情報（セキュリティ情報など）を不可視状態で埋め込み合成して合成画像情報を作成し、この作成した合成画像情報を記録媒体上に記録したり、その記録した合成画像情報からその中に埋込まれた副情報を復元したりする画像処理方法に関する。
【０００２】
【従来の技術】
近年、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになってきた。特に、主画像情報に付加的な副情報（副画像情報）を不可視状態で埋め込む電子透かし技術は、ＩＤカードなどの個人認証媒体や著作権情報を埋め込んだ写真に対する不正コピー、偽造、改ざん対策として提案されている。
【０００３】
たとえば、印刷物へ出力される画像データに対して、人間が感知しにくい高い空間周波数成分および色差成分の特性を利用してデータを埋め込む電子透かし挿入方法が知られている（たとえば、特許文献１参照）。
また、光学フィルタで確認できる電子透かしの印刷装置が知られている（たとえば、特許文献２参照）。
【０００４】
【特許文献１】
特開平９−２４８９３５号公報
【０００５】
【特許文献２】
特開２００１−２６８３４６号公報
【０００６】
【発明が解決しようとする課題】
上記したように、個人認証媒体における個人認証用の顔画像の記録などに電子透かし技術を適用して、顔画像自体のセキュリティ性を高めることが最近要求されてきている。電子透かし処理で主画像情報に埋め込まれる副情報として、たとえば、２次元コードに代表されるコード情報を用いることがある。
【０００７】
しかし、副情報を復元処理した場合に、主画像情報（被埋め込み画像情報）の状態や記録したプリンタや読取ったスキャナなどの装置の変動や環境条件などの影響で、副情報を１００％完全に元に戻して復元することは難しい。
【０００８】
ＱＲ（クイックレスポンス）コードに代表される２次元バーコードでは、コード情報が誤り訂正機能を持っている場合もあるが、コード情報の必須構成情報が復元に失敗していた場合、コード自体がコードと認識されないため誤り訂正機能も働かず、副情報そのものが無効になってしまう可能性が高い。
【０００９】
そこで、本発明は、電子透かし処理を行なった画像情報から濃淡画像およびコード情報で構成される副情報を安定して復元して取出すことが可能になる画像処理方法を提供することを目的とする。
【００１０】
また、本発明は、副情報が誤り訂正機能を持っている場合、誤り訂正機能を用いることが可能になる画像処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録し、前記記録媒体上に記録された合成画像情報を読取り、この読取った合成画像情報から前記副情報を復元する画像処理方法において、前記副情報は２値または多値の濃淡画像で表現されるコード情報で構成されていて、前記主画像情報に前記副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決めステップと、前記主画像情報に対して前記副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込みステップと、この埋め込みステップにより作成された合成画像情報および前記位置出しマークを記録媒体上に記録する記録ステップと、前記記録媒体上に記録された合成画像情報を読取る読取りステップと、この読取りステップにより読取られた合成画像情報から前記副情報または前記副情報と等価な情報を復元する復元ステップと、前記読取りステップにより読取られた合成画像情報から前記位置出しマークの位置を検出する検出ステップと、この検出ステップにより検出された位置出しマークを基準にして、前記復元ステップにより復元された副情報から当該副情報を構成するコード情報の全副情報に共通な必須構成情報を補完する補完ステップとを具備している。
【００１２】
また、本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録し、前記記録媒体上に記録された合成画像情報を読取り、この読取った合成画像情報から前記副情報を復元する画像処理方法において、前記副情報は２値または多値の濃淡画像で表現されるコード情報で構成されていて、前記副情報から全副情報に共通な必須構成情報の少なくとも一部を削除することにより圧縮副情報を作成する副情報圧縮ステップと、前記主画像情報に前記副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決めステップと、前記主画像情報に対して前記副情報圧縮ステップにより作成された圧縮副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込みステップと、この埋め込みステップにより作成された合成画像情報および前記位置出しマークを記録媒体上に記録する記録ステップと、前記記録媒体上に記録された合成画像情報を読取る読取りステップと、この読取りステップにより読取られた合成画像情報から前記圧縮副情報または前記圧縮副情報と等価な情報を復元する復元ステップと、前記読取りステップにより読取られた合成画像情報から前記位置出しマークの位置を検出する検出ステップと、この検出ステップにより検出された位置出しマークを基準にして、前記復元ステップにより復元された圧縮副情報に対し削除された必須構成情報を補完する補完ステップとを具備している。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る画像処理方法の全体の流れを示すものである。この例は、たとえば、ＩＤカードなどの個人認証媒体における個人認証用の顔画像の処理に適用した場合を示しており、以下、詳細に説明する。
【００１４】
最初に、ステップＳ１０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。
【００１５】
次に、ステップＳ１０２により、ステップＳ１０１の画像入力処理で得られた顔画像情報（主画像情報）に副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決め処理を行なう。
【００１６】
次に、ステップＳ１０３により、主画像情報（以下、被埋め込み画像情報ともいう）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報（副画像情報）を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。
【００１７】
次に、ステップＳ１０４により、ステップＳ１０３により作成された合成画像情報を、個人認証媒体となるカード状の記録媒体上に、サーマルヘッドなどの記録デバイスにより印刷記録することにより、個人認証媒体Ｍが作成される。この作成された個人認証媒体Ｍは利用者に渡され、利用者により使用されることになる。
【００１８】
さて、上記のように作成された個人認証媒体Ｍ上の合成画像情報に対し真偽判定が必要になった場合、画像入力ステップ１０５により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体Ｍ上に記録された合成画像情報をデジタル情報として読取る。
【００１９】
次に、ステップＳ１０６により、画像入力ステップ１０５により得られた合成画像情報に対し、あらかじめ設定された鍵情報を用いて電子透かし復元処理を行なうことにより、副情報を復元する。次に、ステップＳ１０７により、画像入力ステップ１０５により得られた合成画像情報から位置出しマークを検出する。
【００２０】
次に、ステップＳ１０８により、ステップＳ１０７により検出された位置出しマークを基準にして、ステップＳ１０６により復元された副情報から当該副情報を構成するコード情報の全副情報に共通な必須構成情報を補完する。
【００２１】
次に、ステップＳ１０９により、ステップＳ１０８により補完処理された副情報に対し、コード情報の読取りおよび認識処理を行ない、コード情報の内容を認識する。最後に、ステップＳ１０９により、ステップＳ１０９により認識したコード情報を判定して、個人認証媒体Ｍの真偽判定を行ない、その判定結果を出力する。
【００２２】
図２は、作成されたＩＤカードなどの個人認証媒体Ｍの具体例を示す。個人認証媒体Ｍには、持ち主の個人認証用顔画像２０２が印刷記録されているが、この顔画像２０２は図１で説明した処理によって作成され印刷されたものである。また、識別番号（いわゆるＩＤ番号）、氏名、生年月日、有効期限などの個人管理情報２０３が記録されている。これらの個人管理情報２０３を、図１におけるステップＳ１０３の電子透かし埋め込み処理の副情報として用いることにより、個人認証媒体Ｍの認証用顔画像２０２と個人管理情報２０３とが関連付けられるため、個人認証媒体Ｍの一部を改ざんしたり、偽造することが困難になり、セキュリティ性を高めることが可能になる。なお、本例では、副情報として識別番号である「１２３４５６７８９０」の数字を用いている。
【００２３】
また、個人認証用顔画像２０２の四隅には、副情報の補完を行なう際に用いる例えば星（☆）印の位置出しマーク２０４が記録されている。なお、本例では、位置出しマーク２０４として個人認証用顔画像２０２の四隅に星印を記録したが、位置が特定できるならば２箇所でも構わないし、矩形（□）印や丸（○）印でも機能的に何ら問題ない。
【００２４】
本実施の形態では、副情報に濃淡画像で表現されたコード情報を用いるが、副情報として識別番号である「１２３４５６７８９０」の数字を用いる場合に、濃淡画像への変換例として２次元バーコードの一種であるＱＲコードを用いた場合を図３に示す。
【００２５】
図３に示すＱＲコードは、バージョン１といわれる規格で、セル２１×２１サイズ、誤り訂正レベルＭ（〜１５％）となっている。なお、ＱＲコードは、国際標準仕様であるＩＳＯ／ＩＥＣ１８００４において定義されている。なお、本実施の形態ではＱＲコードを用いたが、他の２次元コードでも機能的には何ら問題ない。
【００２６】
図４にＱＲコードの構造を示す。ＱＲコード４０１は、次に示す４つの項目から構成されていて、
（１）切り出しシンボル４０２
（２）タイミングパターン４０３
（３）マージン（４セル以上）４０４
（４）データセル４０５
（４）のデータセルは、この場合、副情報に依存して可変情報となるので、固定される必須構成情報は（１）〜（３）の３項目になる。
【００２７】
したがって、図１におけるステップＳ１０８の副情報補完処理では、
（１）切り出しシンボル４０２
（２）タイミングパターン４０３
（３）マージン（４セル以上）４０４
を全ての復元処理後の副情報に対して補完することになる。
【００２８】
図５（ａ）に、復元処理後の副情報であるＱＲコードに図１におけるステップＳ１０８の副情報補完処理を行なわない場合の例を示し、図５（ｂ）に、図１におけるステップＳ１０８の副情報補完処理を行なった場合の例を示す。
【００２９】
図５（ａ）のＱＲコード５０１では、復元処理の後で左上のデータが１／４程度欠落している。この欠落しているデータ５０２の中に切り出しシンボル４０２が含まれているために、ＱＲコード５０１の必須構成情報が満足されず、このデータはＱＲコード５０１とは認識されない可能性が非常に高い。もし認識されない場合は、ＱＲコード自体が持っている誤り訂正機能は機能しないので、図５（ａ）のＱＲコード５１１は無効となる。
【００３０】
図５（ｂ）のＱＲコード５１１では、図５（ａ）のＱＲコード５０１と同じく、復元処理の後で左上のデータが１／４程度欠落しているが、補完処理が行なわれているため、必須構成情報である切り出しシンボル５１２が補完されている。このため、このＱＲコード５１１は正しくＱＲコードと認識されるため、本来持っている誤り訂正機能が有効になり、データの欠落が約１５％（レベルＭの場合）までは自動的に訂正されて、読出すことが可能になる。
【００３１】
図６は、個人認証媒体Ｍの認証用顔画像６０２に副情報としてＱＲコード６０５を用いて電子透かしを埋め込んで印刷記録した例を示す。個人認証媒体Ｍには、持ち主の個人認証用顔画像６０２が印刷記録されているが、この顔画像６０２は図１で説明した処理によって作成され印刷されたものである。また、識別番号（Ｎｏ．）、氏名、生年月日、有効期限などの個人管理情報６０３が記録されている。
【００３２】
本実施の形態では、副情報として識別番号である「１２３４５６７８９０」の数字を用いて、それを２次元バーコードであるＱＲコード６０５に変換して電子透かし処理を行なうことにより、被埋め込み画像情報に不可視状態で埋め込んでいる。なお、ＱＲコード６０５は、図６ではあたかも目視で確認できるように示しているが、これは表現上の問題で、実際には視覚的に認識できないように不可視状態で埋め込まれている。個人認証用顔画像６０２の四隅に記録してある星印が位置出しマーク６０４である。
【００３３】
ここで、復元処理後の副情報に対して行なう位置出しマーク６０４を基準にした補完処理の概要について図７を参照して説明する。
スキャナなどで読取った後に復元処理を行なった副情報の濃淡画像７０１、および、復元されたＱＲコードで表現された副情報７０３があり、そこに位置出しマーク検出処理によって検出された位置出しマーク７０２を重ね合わせたものが図７である。最初に、左上の位置出しマーク７０２を基準にｘ軸（水平軸）７０４を決定し、次にｙ軸（垂直軸７０５）を決定する。それぞれの座標軸は、位置出しマーク７０２の重心を通る２点間の直線として決定している。ｘ軸とｙ軸の交点を原点として、
（１）切り出しシンボル
（２）タイミングパターン
（３）マージン（４セル以上）
の位置を決定する。たとえば、切り出しシンボルの場合は、位置ベクトルＰ１、Ｐ２、Ｐ３により位置決めを行ない、その位置に切り出しシンボルを上書きすることにより補完処理を行なう。この場合、データが欠落している切り出しシンボルを検出し、当該切り出しシンボルに対してのみ切り出しシンボルを上書きしてもよく、あるいは、データが欠落している切り出しシンボルを検出した場合、全ての切り出しシンボルに対して切り出しシンボルを上書きしてもよい。なお、他のタイミングパターンやマージンについても同様に処理できる。
【００３４】
次に、電子透かし埋め込み処理について説明する。本実施の形態では、電子透かしの手法一般に適用可能であるが、特に副情報と主画像情報（被埋め込み画像情報）とを重畳処理することによって埋め込みを行なう手法と相性がよい。
【００３５】
この電子透かし埋め込み処理手法の詳細は、たとえば、特開平１１−１６８６１６号公報や特開２００１−２６８３４６号公報などに記述されており、これらを適用することが可能である。これらの手法は、基本的に主画像情報がカラー（フルカラー）画像であることを前提に記述されているが、これらに対し更に例えば特開平１１−３５５５５４号公報に記述されている技術を加えて応用することにより、白黒画像に対しても副情報（副画像情報）を不可視状態で埋め込むことが可能である。
【００３６】
もし、個人認証媒体の顔画像の真偽判定が必要になった場合は、上記公報などに記載されている復元処理を鍵情報を利用して行なうことによって、不可視状態で記録されていた副情報が復元される。
【００３７】
図８および図９に、特開平１１−１６８６１６号公報に記述されている色差変調方式を用いた電子透かし埋め込み処理の流れ図を示し、本実施の形態への適用例を説明する。この方式では、
（１）人間の視覚特性を利用
・画像の周波数が高くなるほど階調識別能力が低下
・輝度情報よりも色差情報の方が判別困難
（２）補色の関係例…赤色＋シアン色＝無彩色（白）（加法混色の場合）
（３）高周波キャリアパターン画像に補色の関係および色差情報を適用（色差変調処理）
を用いることにより、画質劣化を招くことなく、主画像情報に副情報を不可視状態で埋め込むことが可能になっている。
【００３８】
上記（２）の例でいえば、赤色とシアン色（＝緑色＋青色）は、加法混色の場合、補色の関係にあり、赤色とシアン色とが隣り合っていても人間の目には判別しにくく無彩色に見える。
上記（３）の例のように、高周波キャリアパターン画像を用いることで、赤色リッチな画素とシアン色リッチな画素とが繰り返し配置されているため、人間の目ではこれらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう人間の視覚特性を利用している。この方式で作成した合成画像情報（電子透かし入り画像情報）は、格納する画像フォーマットに依存しないので、現在流通しているＢＭＰやＴＩＦＦ、ＪＰＥＧなどの画像フォーマットだけでなく、将来新しい画像フォーマットに変更されても全く問題ない。
【００３９】
図８は、電子透かし埋め込み処理の流れを模式的に示したものである。
図８において、被埋め込み画像情報である主画像情報８０１は、たとえば、個人認証用の顔画像情報、埋め込み情報である副情報８０２は、たとえば、主画像情報８０１のセキュリティ性を高める情報（今回は数字の「１７４」）で、氏名や誕生日などをコード化して画像としたものや会社のロゴマークなどの図形を用いる。鍵情報８０３は、電子透かし埋め込み処理によって不可視状態で埋め込まれた副情報を後で復元するための鍵となる情報である。
【００４０】
最初に、主画像情報８０１と副情報８０２と鍵情報８０３とを用いて電子透かし埋め込み処理８０４を行なうことにより、合成画像情報８０５を作成する。次に、作成した合成画像情報８０５に対し記録（印刷）処理８０６を行なうことにより、個人認証媒体８０７が完成する。
【００４１】
図９は、特開平１１−１６８６１６号公報に記述されている電子透かし埋め込み処理の流れを示しており、基本的にこの電子透かし埋め込み処理方式を適用可能である。以下、この電子透かし埋め込み処理について簡単に説明しておく。なお、詳細については特開平１１−１６８６１６号公報の記述内容を参照されたい。
【００４２】
被埋め込み画像情報（主画像情報）９０１は、埋め込み情報が埋め込まれる画像情報で、個人認証媒体では所有者の顔写真（顔画像）に相当する。これは、１画素当たり２４ビット（ＲＧＢ各８ビット）の情報を持っている。埋め込み画像情報（副情報）９０２は、埋め込む情報を２値画像に変換したもので、個人認証媒体では例えば識別番号などに相当する。これは、１画素あたり１ビットの情報を持っている。マスク画像情報（鍵情報）９０３は、合成処理時および埋め込み画像情報の復元（再生）時に用いる画像情報で、１画素あたり１ビットの情報を持っている。
【００４３】
最初に、平滑化処理ステップ９０４において、埋め込み画像情報９０２の黒画素を「１」、白画素を「０」として平滑化処理を行なう。ここでは、ｘ方向について注目画素の両端の画素を３×１画素の領域を切り出して、重み平均を取る。次に、位相変調処理ステップ９０５において、平滑化処理ステップ９０４における平滑化処理の結果を基にマスク画像情報９０３に対し位相変調を行なう。
【００４４】
次に、色差変調処理ステップ９０７において、位相変調処理ステップ９０５における位相変調結果を基に、色差量ΔＣｄを用いて色差変調処理を行なう。この場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分を別々に計算する。次に、重畳処理ステップ９０８において、色差変調処理ステップ９０７における色差変調結果（重畳用画像情報）と被埋込み画像情報９０１とから、重畳処理を行なうことにより、合成画像情報９０９を作成する。
【００４５】
以上の説明からも明らかなように、図９の被埋め込み画像情報９０１と埋め込み画像情報９０２とマスク画像情報９０３は、図８で説明した本実施の形態における主画像情報８０１と副情報８０２と鍵情報８０３と全く同じものである。したがって、基本的には図９に示した電子透かし埋め込み処理方式を本実施の形態に適用可能であることは明らかである。
【００４６】
重畳処理ステップ９０８における重畳処理に関しては、被埋め込み画像情報９０１、重畳用画像情報、合成画像情報９０９を下記のように定義すると、
被埋め込み画像情報：ＳＲＣ−Ｃ（ｘ，ｙ）（Ａ−１）
重畳用画像情報：ＳＴＬ−Ｃ（ｘ，ｙ）（Ａ−２）
合成画像情報：ＤＥＳ−Ｃ（ｘ，ｙ）（Ａ−３）
ｘ，ｙは画像の座標値
Ｃ＝｛Ｒ（赤）、Ｇ（緑）、Ｂ（青）｝プレーンを示す
それぞれの値は２４ビットカラー演算の場合、０〜２５５の整数値
次式で表わされる。
ＤＥＳ−Ｒ（ｘ，ｙ）＝ＳＲＣ−Ｒ（ｘ，ｙ）＋ＳＴＬ−Ｒ（ｘ，ｙ）（Ｂ−１）
ＤＥＳ−Ｇ（ｘ，ｙ）＝ＳＲＣ−Ｇ（ｘ，ｙ）＋ＳＴＬ−Ｇ（ｘ，ｙ）（Ｂ−２）
ＤＥＳ−Ｂ（ｘ，ｙ）＝ＳＲＣ−Ｂ（ｘ，ｙ）＋ＳＴＬ−Ｂ（ｘ，ｙ）（Ｂ−３）
本実施の形態では、加法混色での演算として色の基本原色にＲ（赤）、Ｇ（緑）、Ｂ（青）を用いたが、減法混色での演算では色の基本原色にＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）を用いても本質的には変わらない。
【００４７】
図９の電子透かし埋め込み処理方式では、上記のように補色の関係を用いて色差変調処理９０７を行なっている。そのときに、あらかじめ定められた色差量ΔＣｄを用いている。これは、あらかじめ実験的に求めた赤とシアンとの輝度値の差分量（一定値）をデータとして保有している。また、マスク画像情報９０３は、埋め込み画像情報９０２の必要時に復元するための鍵となるため、設定パラメータとしてはある程度制限を受けるので、色差量ΔＣｄの値が設定パラメータとして重要な役割を持つ。
【００４８】
次に、電子透かしの復元処理について簡単に説明する。一番簡単な方法は、周波数フィルタを用いる方法である。まず、最初に、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体上に記録（印刷）された合成画像情報をデジタル情報として読取る。
【００４９】
次に、鍵情報の設定処理を行なう。これは、たとえば、複数の鍵情報を使い分けているならば、どの鍵情報を用いているのか、個人認証媒体に関連付けられた情報（たとえば、識別情報など）から判断して鍵情報を特定する。また、単一の鍵情報ならば直接、鍵情報の特定周波数の情報をあらかじめテーブルとして保持しておく。
【００５０】
次に、電子透かし復元処理を行なう。これは、入力デバイスにより得られた合成画像情報に対し、鍵情報により得られた特定周波数による周波数フィルタリング処理を行なう。周波数フィルタリング処理は、たとえば、ＦＦＴ演算やデジタル周波数フィルタなどが使用できる。
【００５１】
以上説明したように、第１の実施の形態によれば、電子透かし復元処理後に復元された副情報に対して、あらかじめ検出した位置出しマークを基準にしてコード情報の必須構成情報を補完処理することにより、復元されたコード情報が正しくコード情報として認識されるため、本来持っている誤り訂正機能が有効になり、データの欠落が自動的に訂正されて、安定的に読出すことが可能になる。
【００５２】
なお、上記説明では、コード情報としてＱＲコードを用いたが、その他のコード、たとえば、「データコード」、「ＰＤＦ４１７」、「マキシコード」などでも問題なく適用可能である。
【００５３】
次に、第２の実施の形態について説明する。
図１０は、第２の実施の形態に係る画像処理方法の全体の流れを示すものであり、以下、詳細に説明する。
【００５４】
最初に、ステップＳ２０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。次に、ステップ２０２により、全ての副情報に共通した必須構成情報の削除を行なう副情報圧縮処理を行なう。
【００５５】
次に、ステップＳ２０３により、ステップＳ２０１の画像入力処理で得られた顔画像情報（主画像情報）に副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決め処理を行なう。
【００５６】
次に、ステップＳ２０４により、主画像情報（被埋め込み画像情報）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。
【００５７】
次に、ステップＳ２０５により、ステップＳ２０４により作成された合成画像情報を、個人認証媒体となるカード状の記録媒体上に、サーマルヘッドなどの記録デバイスにより印刷記録することにより、個人認証媒体Ｍが作成される。この作成された個人認証媒体Ｍは利用者に渡され、利用者により使用されることになる。
【００５８】
さて、上記のように作成された個人認証媒体Ｍ上の合成画像情報に対し真偽判定が必要になった場合、画像入力ステップ２０６により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体Ｍ上に記録された合成画像情報をデジタル情報として読取る。
【００５９】
次に、ステップＳ２０７により、画像入力ステップ２０６により得られた合成画像情報に対し、あらかじめ設定された鍵情報を用いて電子透かし復元処理を行なうことにより、副情報を復元する。次に、ステップＳ２０８により、画像入力ステップ２０６により得られた合成画像情報から位置出しマークを検出する。
【００６０】
次に、ステップＳ２０９により、ステップＳ２０８により検出された位置出しマークを基準にして、ステップＳ２０７により復元された副情報から当該副情報を構成するコード情報に対し、ステップＳ２０２の副情報圧縮処理で削除された全副情報に共通な必須構成情報を補完する処理を行なう。
【００６１】
次に、ステップＳ２１０により、ステップＳ１０９により補完処理された副情報に対し、コード情報の読取りおよび認識処理を行ない、コード情報の内容を認識する。最後に、ステップＳ２１１により、ステップＳ２１０により認識したコード情報を判定して、個人認証媒体Ｍの真偽判定を行ない、その判定結果を出力する。
【００６２】
図１１に、ステップＳ２０２の副情報圧縮処理を説明するための模式図を示す。図１１（ａ）に示すＱＲコード１１０１は、バージョン１といわれる規格で、セル２１×２１サイズ、誤り訂正レベルＭ（〜１５％）となっている。ＱＲコード１１０１では、図１１（ａ）のように、３つの切り出しシンボル１１０２，１１０３，１１０４が存在するが、これらはヘッダ情報であり、データそのものではない。
【００６３】
そこで、これら３つの切り出しシンボル１１０２，１１０３，１１０４を削除することにより、図１１（ｂ）に示すように、副情報の情報量（＝面積）を減少させることができる。本実施の形態の場合は、図１１（ｂ）を圧縮後の新しい副情報として用いてもよいし、図１１（ｂ）をさらに分割して複数のブロックに分けて、圧縮後の新しい副情報として用いることも可能である。
【００６４】
当然、圧縮後の副情報は切り出しシンボルが存在しないので、ステップＳ２０７の電子透かし復元処理後の復元情報はＱＲコードとは認識されない。そこで、ステップＳ２０９の副情報伸張・補完処理を行ない、図１１（ｂ）から図１１（ａ）の状態に逆変換を行なうことにより、副情報をＱＲコードとして認識できるようになる。
【００６５】
一般に、電子透かし処理において、埋め込むデータ量と埋め込んだ後の画像情報の画質は相反している。したがって、埋め込んだ後の画像情報の画質を上げるには、埋め込むデータ量が少なければ少ないほどよいことがわかる。そこで、上記した第２の実施の形態を用いることにより、副情報の埋め込み時のデータ量を減少させるため、副情報の本来の情報量を減らすことなく、電子透かし埋め込み後の画像情報の画質を向上させることが可能になる。
【００６６】
次に、第３の実施の形態について説明する。
図１２は、第３の実施の形態に係る画像処理方法の全体の流れを示すものである。第３の実施の形態は、前述した第１の実施の形態に対して、さらに電子透かし復元時に読取り画像情報から副情報と等価な第２の副情報を作成し、復元した副情報と照合する酔うにしたものであり、以下、詳細に説明する。
【００６７】
最初に、ステップＳ３０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。
【００６８】
次に、ステップＳ３０２により、ステップＳ３０１の画像入力処理で得られた顔画像情報（主画像情報）に副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決め処理を行なう。
【００６９】
次に、ステップＳ３０３により、主画像情報（以下、被埋め込み画像情報ともいう）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報（副画像情報）を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。
【００７０】
次に、ステップＳ３０４により、ステップＳ３０３により作成された合成画像情報を、個人認証媒体となるカード状の記録媒体上に、サーマルヘッドなどの記録デバイスにより印刷記録することにより、個人認証媒体Ｍが作成される。この作成された個人認証媒体Ｍは利用者に渡され、利用者により使用されることになる。
【００７１】
さて、上記のように作成された個人認証媒体Ｍ上の合成画像情報に対し真偽判定が必要になった場合、画像入力ステップ３０５により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体Ｍ上に記録された合成画像情報をデジタル情報として読取る。
【００７２】
次に、ステップＳ３０６により、画像入力ステップ３０５により得られた合成画像情報に対し、あらかじめ設定された鍵情報を用いて電子透かし復元処理を行なうことにより、副情報を復元する。次に、ステップＳ３０７により、画像入力ステップ３０５により得られた合成画像情報から位置出しマークを検出する。
【００７３】
次に、ステップＳ３０８により、ステップＳ３０７により検出された位置出しマークを基準にして、ステップＳ３０６により復元された副情報から当該副情報を構成するコード情報の全副情報に共通な必須構成情報を補完する。
【００７４】
次に、ステップＳ３０９により、ステップＳ３０８により補完処理された副情報に対し、コード情報の読取りおよび認識処理を行ない、コード情報の内容を認識する。
【００７５】
次に、ステップＳ３１０により、画像入力ステップ３０５により得られた合成画像情報から主画像情報に付随した情報を基にして副情報と等価な照合処理のための第２の副情報を作成する。たとえば、本例のように、埋め込み画像情報である副情報が識別番号である場合、それがあらかじめ判明しているので、画像入力ステップ３０５により得られた合成画像情報から識別番号を認識し、この認識した識別番号から第２の副情報としての２次元バーコード（ＱＲコード）を作成するものである。
【００７６】
次に、ステップＳ３１１により、ステップＳ３０８の副情報補完処理により得られた補完済み副情報とステップＳ３１０の第２の副情報作成処理より作成された第２の副情報とを照合する。最後に、ステップＳ３１２により、ステップＳ３１１の照合結果を判定して、個人認証媒体Ｍの真偽判定を行ない、その判定結果を出力する。
【００７７】
ステップＳ３１１の照合処理について更に説明する。これは、ステップＳ３０８の副情報補完処理により得られた補完済み副情報およびステップＳ３１０の第２の副情報作成処理より作成された第２の副情報の２つの副情報を比較して、両者が一致しているかどうかで真偽判定を行なう。
【００７８】
照合処理で一番簡単な方法は単純類似度を求める方法であり、復元の結果得られた副情報をＰ、入力された合成画像情報から内部で作成された第２の副情報をＱというベクトルで表現すると、次式となる。
【００７９】
【数１】

【００８０】
これらベクトルＰ，Ｑの内積を取り、結果が「０」に近いほど２つの類似度が低いと判定し、結果が「１」に近づくほど２つの類似度が高いと判定する。単純類似度の判定式を次式に示す。
【００８１】
【数２】

【００８２】
以上説明したように、第３の実施の形態によれば、副情報の類似度を用いることにより、副情報の復元時に誤り訂正機能以上の欠損があった場合でも、副情報の真偽判定が可能になる。また、コード情報としてＱＲコードを例として挙げてきたが、第３実施の形態の場合では、コード情報にこだわる必要はなく、あらかじめ定められたシードから生成されるランダムパターン画像を副情報として用いることも可能になる。
【００８３】
次に、第４の実施の形態について説明する。
図１３は、第４の実施の形態に係る画像処理方法の全体の流れを示すものである。第４の実施の形態は、前述した第２の実施の形態に対して、さらに電子透かし復元時に読取り画像情報から副情報と等価な第２の副情報を作成し、復元した副情報と照合するようにしたものであり、以下、詳細に説明する。
【００８４】
最初に、ステップＳ４０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。次に、ステップ４０２により、全ての副情報に共通した必須構成情報の削除を行なう副情報圧縮処理を行なう。
【００８５】
次に、ステップＳ４０３により、ステップＳ４０１の画像入力処理で得られた顔画像情報（主画像情報）に副情報を埋め込む際に可視状態の位置出しマークと副情報との相対位置をあらかじめ設定した値にする位置決め処理を行なう。
【００８６】
次に、ステップＳ４０４により、主画像情報（被埋め込み画像情報）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。
【００８７】
次に、ステップＳ４０５により、ステップＳ４０４により作成された合成画像情報を、個人認証媒体となるカード状の記録媒体上に、サーマルヘッドなどの記録デバイスにより印刷記録することにより、個人認証媒体Ｍが作成される。この作成された個人認証媒体Ｍは利用者に渡され、利用者により使用されることになる。
【００８８】
さて、上記のように作成された個人認証媒体Ｍ上の合成画像情報に対し真偽判定が必要になった場合、画像入力ステップ４０６により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体Ｍ上に記録された合成画像情報をデジタル情報として読取る。
【００８９】
次に、ステップＳ４０７により、画像入力ステップ４０６により得られた合成画像情報に対し、あらかじめ設定された鍵情報を用いて電子透かし復元処理を行なうことにより、副情報を復元する。次に、ステップＳ４０８により、画像入力ステップ４０６により得られた合成画像情報から位置出しマークを検出する。
【００９０】
次に、ステップＳ４０９により、ステップＳ４０８により検出された位置出しマークを基準にして、ステップＳ４０７により復元された副情報から当該副情報を構成するコード情報に対し、ステップＳ４０２の副情報圧縮処理で削除された全副情報に共通な必須構成情報を補完する処理を行なう。
【００９１】
次に、ステップＳ４１０により、ステップＳ４０９により補完処理された副情報に対し、コード情報の読取りおよび認識処理を行ない、コード情報の内容を認識する。
【００９２】
次に、ステップＳ４１１により、画像入力ステップ４０６により得られた合成画像情報から主画像情報に付随した情報を基にして副情報と等価な照合処理のための第２の副情報を作成する。たとえば、本例のように、埋め込み画像情報である副情報が識別番号である場合、それがあらかじめ判明しているので、画像入力ステップ４０６により得られた合成画像情報から識別番号を認識し、この認識した識別番号から第２の副情報としての２次元バーコード（ＱＲコード）を作成するものである。
【００９３】
次に、ステップＳ４１２により、ステップＳ４０９の副情報補完処理により得られた補完済み副情報とステップＳ４１１の第２の副情報作成処理より作成された第２の副情報とを照合する。最後に、ステップＳ４１３により、ステップＳ４１２の照合結果を判定して、個人認証媒体Ｍの真偽判定を行ない、その判定結果を出力する。
【００９４】
なお、ステップＳ４１２の照合処理は、前述した第３の実施の形態と同様であるので説明は省略する。
【００９５】
以上説明したような画像処理方法を用いることにより、電子透かし処理を行なった画像情報から濃淡画像およびコード情報で構成される副情報を安定して復元して取出すことが可能になる。
また、副情報が誤り訂正機能を持っている場合、誤り訂正機能を用いることが可能になる。
また、副情報の埋め込み時のデータ量を減少させることができるため、副情報の本来の情報量を減らすことなく、電子透かし埋め込み後の画像情報の画質を向上させることが可能になる。
さらに、副情報の類似度を用いることにより、副情報の復元時に誤り訂正機能異常の欠損があった場合でも、副情報の真偽判定が可能になる。
【００９６】
【発明の効果】
以上詳述したように本発明によれば、電子透かし処理を行なった画像情報から濃淡画像およびコード情報で構成される副情報を安定して復元して取出すことが可能になる画像処理方法を提供できる。
【００９７】
また、本発明によれば、副情報が誤り訂正機能を持っている場合、誤り訂正機能を用いることが可能になる画像処理方法を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。
【図２】作成された個人認証媒体の一例を模式的に示す平面図。
【図３】副情報として用いるＱＲコードを示す模式図。
【図４】ＱＲコードの構成を示す模式図。
【図５】復元した副情報を補完した一例を示す模式図。
【図６】個人認証媒体にＱＲコードからなる副情報を適用した例を示す模式図。
【図７】副情報の補完方法を説明するための模式図。
【図８】電子透かし埋め込み処理全体の流れを示す図。
【図９】電子透かし埋め込み処理の手順を模式的に示す流れ図。
【図１０】本発明の第２の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。
【図１１】第２の実施の形態における副情報の圧縮処理を説明する模式図。
【図１２】本発明の第３の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。
【図１３】本発明の第４の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。
【符号の説明】
Ｓ１０１…画像入力ステップ、Ｓ１０２…副情報位置決めステップ（位置決めステップ）、Ｓ１０３…電子透かし埋め込みステップ（埋め込みステップ）、Ｓ１０４…記録ステップ（記録ステップ）、Ｓ１０５…画像入力ステップ（読取りステップ）、Ｓ１０６…電子透かし復元ステップ（復元ステップ）、Ｓ１０７…位置出しマーク検出ステップ（検出ステップ）、Ｓ１０８…副情報補完ステップ（補完ステップ）、Ｓ１０９…副情報読取り・認識ステップ、Ｓ１１０…真偽判定ステップ、Ｍ，８０７…個人認証媒体、２０２…顔画像、２０３…個人管理情報、２０４…位置出しマーク、４０１…ＱＲコード、４０２…切り出しシンボル、４０３…タイミングパターン、４０４…マージン、４０５…データセル、８０１…主画像情報、８０２…副情報（副画像情報）、８０３…鍵情報、８０５…合成画像情報。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention creates composite image information by embedding another additional sub-information (such as security information) in an invisible state with main image information (such as a face image of a person) in a visible state, and The present invention relates to an image processing method for recording created composite image information on a recording medium and restoring sub-information embedded therein from the recorded composite image information.
[0002]
[Prior art]
In recent years, with the digitization of information and the spread of the Internet, techniques such as digital watermarking and digital signatures have become increasingly important for preventing forgery and falsification of images. In particular, digital watermarking technology that embeds additional sub-information (sub-image information) in the main image information in an invisible state is a countermeasure against unauthorized copying, counterfeiting, and falsification of personal authentication media such as ID cards and photos in which copyright information is embedded. Proposed.
[0003]
For example, there is known a digital watermark insertion method for embedding data into image data output to a printed matter using characteristics of a high spatial frequency component and a color difference component that are hardly perceived by a human (for example, see Patent Document 1). ).
Also, a digital watermark printing device that can be confirmed with an optical filter is known (for example, see Patent Document 2).
[0004]
[Patent Document 1]
JP-A-9-248935
[0005]
[Patent Document 2]
JP 2001-268346 A
[0006]
[Problems to be solved by the invention]
As described above, it has been recently required to apply a digital watermarking technique to recording of a face image for personal authentication on a personal authentication medium and to enhance the security of the face image itself. Code information represented by, for example, a two-dimensional code may be used as sub-information embedded in main image information in digital watermarking.
[0007]
However, when the sub-information is restored, 100% of the sub-information is completely lost due to the state of the main image information (embedded image information), the fluctuation of the device such as the printer that has recorded and the scanner that has read, and the environmental conditions. It is difficult to undo and restore.
[0008]
In a two-dimensional barcode represented by a QR (quick response) code, the code information may have an error correction function. However, if the essential component information of the code information fails to be restored, the code itself becomes a code. Therefore, there is a high possibility that the error correction function does not work and the sub information itself becomes invalid.
[0009]
Accordingly, it is an object of the present invention to provide an image processing method capable of stably restoring and extracting sub information composed of a grayscale image and code information from image information subjected to digital watermarking processing. .
[0010]
It is another object of the present invention to provide an image processing method that can use an error correction function when the sub-information has an error correction function.
[0011]
[Means for Solving the Problems]
The image processing method according to the present invention records, in a visible state on a recording medium, composite image information created by embedding sub-information in a state invisible to human eyes with respect to main image information in a state visible to human eyes. An image processing method for reading composite image information recorded on the recording medium and restoring the sub information from the read composite image information, wherein the sub information is represented by a binary or multi-valued gray image. A positioning step of setting a relative position between a positioning mark and sub-information in a visible state when embedding the sub-information in the main image information to a predetermined value, An embedding step of creating composite image information by embedding the sub-information in an invisible state; and combining the composite image information created by the embedding step and the position output. A recording step of recording a mark on a recording medium; a reading step of reading the composite image information recorded on the recording medium; and a sub-information equivalent to the sub-information or the sub-information from the composite image information read by the reading step. A restoring step of restoring information; a detecting step of detecting the position of the positioning mark from the combined image information read by the reading step; and the restoring step based on the positioning mark detected by the detecting step. And a supplementing step of supplementing essential configuration information common to all sub-information of the code information constituting the sub-information from the sub-information restored by the above.
[0012]
Further, the image processing method of the present invention, in the main image information visible to the human naked eye, the composite image information created by embedding the sub-information invisible to the human naked eye, in a visible state on the recording medium In an image processing method for recording, reading composite image information recorded on the recording medium, and restoring the sub-information from the read composite image information, the sub-information is represented by a binary or multi-valued gray image. Sub-information compression step of creating compressed sub-information by deleting at least a part of essential configuration information common to all sub-information from the sub-information, and the sub-information A step of setting the relative position between the positioning mark in the visible state and the sub information to a predetermined value when embedding, and the sub information compression step for the main image information An embedding step of creating composite image information by embedding the compressed sub information created in an invisible state, and a recording step of recording the composite image information created by the embedding step and the positioning mark on a recording medium, A reading step of reading composite image information recorded on the recording medium; a restoring step of restoring the compressed sub information or information equivalent to the compressed sub information from the composite image information read by the reading step; A detecting step of detecting the position of the positioning mark from the combined image information read by the step; and deleting the compressed sub-information restored by the restoration step with reference to the positioning mark detected by the detecting step. And a complementing step for supplementing the required configuration information.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, a first embodiment will be described.
FIG. 1 shows an overall flow of the image processing method according to the first embodiment. This example shows a case where the present invention is applied to processing of a face image for personal authentication on a personal authentication medium such as an ID card, and will be described in detail below.
[0014]
First, an image input process is performed in step S101. Here, the face image information of the individual is digitized by inputting the face image of the owner of the personal authentication medium using a camera or capturing the face photo with an image input device such as a scanner.
[0015]
Next, in step S102, when embedding the sub information in the face image information (main image information) obtained in the image input processing in step S101, the relative position between the positioning mark in the visible state and the sub information is set in advance. Is performed.
[0016]
Next, in step S103, a digital watermark embedding process is performed on main image information (hereinafter also referred to as embedded image information). Here, composite image information is created in which the sub-information (sub-image information) is embedded in the embedded image information in an invisible state so that it cannot be perceived by human eyes.
[0017]
Next, in step S104, the personal authentication medium M is created by printing and recording the composite image information created in step S103 on a card-like recording medium serving as the personal authentication medium by a recording device such as a thermal head. Is done. The created personal authentication medium M is passed to the user and used by the user.
[0018]
If it is necessary to determine the authenticity of the composite image information on the personal authentication medium M created as described above, the image input step 105 uses an input device such as a scanner or a camera to execute the personal authentication medium. The combined image information recorded on M is read as digital information.
[0019]
Next, in step S106, sub-information is restored by performing digital watermark restoring processing on the composite image information obtained in the image input step 105 using preset key information. Next, in step S107, a positioning mark is detected from the composite image information obtained in the image input step 105.
[0020]
Next, in step S108, based on the positioning mark detected in step S107, the essential component information common to all the sub-information of the code information constituting the sub-information is supplemented from the sub-information restored in step S106. .
[0021]
Next, in step S109, code information reading and recognition processing are performed on the sub information complemented in step S108, and the contents of the code information are recognized. Finally, in step S109, the code information recognized in step S109 is determined, the authenticity of the personal authentication medium M is determined, and the determination result is output.
[0022]
FIG. 2 shows a specific example of the created personal authentication medium M such as an ID card. A personal authentication face image 202 of the owner is printed and recorded on the personal authentication medium M. The face image 202 is created and printed by the processing described with reference to FIG. Also, personal management information 203 such as an identification number (so-called ID number), name, date of birth, and expiration date is recorded. By using these personal management information 203 as sub-information of the digital watermark embedding process in step S103 in FIG. 1, the authentication face image 202 of the personal authentication medium M and the personal management information 203 are associated with each other. It becomes difficult to falsify or forge a part of M, and it is possible to enhance security. In this example, the number of “123456890” as the identification number is used as the sub information.
[0023]
Further, at the four corners of the face image for personal authentication 202, for example, a positioning mark 204 of a star (*) mark used for complementing the sub-information is recorded. Note that, in this example, stars are recorded at the four corners of the personal authentication face image 202 as the positioning marks 204, but two positions may be used if the position can be specified, and a rectangular (□) mark or a circle (（) mark may be used. But there is no problem functionally.
[0024]
In the present embodiment, code information represented by a grayscale image is used as the sub-information. However, when the number of the identification number “12345678990” is used as the sub-information, a two-dimensional barcode FIG. 3 shows a case where a kind of QR code is used.
[0025]
The QR code shown in FIG. 3 is a standard called version 1 and has a cell size of 21 × 21 and an error correction level M (Ｍ15%). Note that the QR code is defined in ISO / IEC18004, which is an international standard specification. Although the QR code is used in this embodiment, other two-dimensional codes have no functional problem.
[0026]
FIG. 4 shows the structure of the QR code. The QR code 401 is composed of the following four items.
(1) Cutout symbol 402
(2) Timing pattern 403
(3) Margin (4 cells or more) 404
(4) Data cell 405
In this case, since the data cell of (4) becomes variable information depending on the sub-information, the fixed essential configuration information includes the three items (1) to (3).
[0027]
Therefore, in the sub information supplement processing of step S108 in FIG.
(1) Cutout symbol 402
(2) Timing pattern 403
(3) Margin (4 cells or more) 404
Is complemented for all the sub-information after the restoration processing.
[0028]
FIG. 5A shows an example in which the QR code which is the sub-information after the restoration process is not subjected to the sub-information supplementing process of step S108 in FIG. 1, and FIG. An example of the case where the sub information supplement processing is performed will be described.
[0029]
In the QR code 501 of FIG. 5A, the upper left data is missing about １／ after the restoration processing. Since the cutout symbol 402 is included in the missing data 502, the essential configuration information of the QR code 501 is not satisfied, and it is highly likely that this data is not recognized as the QR code 501. If it is not recognized, the error correction function of the QR code itself does not work, and the QR code 511 in FIG. 5A becomes invalid.
[0030]
In the QR code 511 of FIG. 5B, although the upper left data is lost by about 1/4 after the restoration processing, similar to the QR code 501 of FIG. 5A, the complement processing is performed. , A cutout symbol 512 as essential configuration information is supplemented. For this reason, since the QR code 511 is correctly recognized as a QR code, the inherent error correction function is enabled, and data loss is automatically corrected up to about 15% (in the case of level M). , Can be read.
[0031]
FIG. 6 shows an example in which an electronic watermark is embedded and printed in the authentication face image 602 of the personal authentication medium M using the QR code 605 as sub-information. A personal authentication face image 602 of the owner is printed and recorded on the personal authentication medium M. The face image 602 is created and printed by the processing described with reference to FIG. Also, personal management information 603 such as an identification number (No.), name, date of birth, and expiration date is recorded.
[0032]
In the present embodiment, the embedding image information is converted into a two-dimensional bar code QR code 605 by using the number of the identification number “123456890” as the sub-information and performing a digital watermarking process. Embedded invisible. Although the QR code 605 is shown in FIG. 6 as if it can be visually confirmed, this is a problem in expression, and is embedded in an invisible state so that it cannot actually be visually recognized. The asterisks recorded at the four corners of the personal authentication face image 602 are the positioning marks 604.
[0033]
Here, an outline of the complementing process performed on the sub-information after the restoration process based on the positioning mark 604 will be described with reference to FIG.
There is a grayscale image 701 of sub-information subjected to restoration processing after being read by a scanner or the like, and sub-information 703 expressed by a restored QR code, and a positioning mark 702 detected by the positioning mark detection processing is located there. FIG. 7 shows a superposition of. First, the x-axis (horizontal axis) 704 is determined based on the upper left positioning mark 702, and then the y-axis (vertical axis 705) is determined. Each coordinate axis is determined as a straight line between two points passing through the center of gravity of the positioning mark 702. With the intersection of the x-axis and the y-axis as the origin,
(1) Cutout symbol
(2) Timing pattern
(3) Margin (4 cells or more)
Determine the position of For example, in the case of a cutout symbol, positioning is performed using the position vectors P1, P2, and P3, and a complementing process is performed by overwriting the cutout symbol at that position. In this case, a cutout symbol with missing data may be detected, and the cutout symbol may be overwritten only on the cutout symbol, or if a cutout symbol with missing data is detected, May be overwritten with the cutout symbol. Note that other timing patterns and margins can be similarly processed.
[0034]
Next, the digital watermark embedding process will be described. Although the present embodiment is applicable to general digital watermarking techniques, it is particularly compatible with a technique of embedding by superimposing sub-information and main image information (embedded image information).
[0035]
The details of this digital watermark embedding processing method are described in, for example, JP-A-11-168616 and JP-A-2001-268346, and these can be applied. These methods are basically described on the assumption that the main image information is a color (full-color) image. However, the techniques described in JP-A-11-355554 are further added thereto. By applying, sub-information (sub-image information) can be embedded in a black and white image in an invisible state.
[0036]
If it is necessary to determine the authenticity of the face image on the personal authentication medium, by performing the restoration process described in the above publication using key information, the sub-information recorded in the invisible state can be obtained. Is restored.
[0037]
FIGS. 8 and 9 show flowcharts of a digital watermark embedding process using the color difference modulation method described in JP-A-11-168616, and an example of application to the present embodiment will be described. In this scheme,
(1) Utilizing human visual characteristics
・ The higher the image frequency, the lower the gradation discrimination ability
・ Color difference information is more difficult to distinguish than luminance information
(2) Relationship between complementary colors Example: red + cyan = achromatic (white) (additive color mixture)
(3) Applying complementary color relationships and color difference information to high-frequency carrier pattern images (color difference modulation processing)
By using, it is possible to embed the sub information in the main image information in an invisible state without deteriorating the image quality.
[0038]
In the example of the above (2), red and cyan colors (= green + blue) have a complementary color relationship in the case of additive color mixture, and even if red and cyan colors are adjacent to each other, they are discriminated by the human eye. It is hard to do and looks achromatic.
As in the example of the above (3), by using the high-frequency carrier pattern image, the red-rich pixels and the cyan-rich pixels are repeatedly arranged. It utilizes human visual characteristics that cannot be identified and the color difference amount is determined to be plus or minus “0”. Since the composite image information (image information with digital watermark) created by this method does not depend on the image format to be stored, it will be changed to a new image format in the future in addition to the image formats currently distributed such as BMP, TIFF, and JPEG. There is no problem at all.
[0039]
FIG. 8 schematically shows the flow of the digital watermark embedding process.
In FIG. 8, main image information 801 that is embedded image information is, for example, face image information for personal authentication, and sub information 802 that is embedded information is, for example, information that increases the security of main image information 801 (this time, The number “174”) is used to encode a name, a birthday, and the like into an image or a figure such as a company logo. The key information 803 is information serving as a key for later restoring the sub information embedded in an invisible state by the digital watermark embedding process.
[0040]
First, a digital watermark embedding process 804 is performed using the main image information 801, the sub information 802, and the key information 803, thereby creating composite image information 805. Next, a recording (printing) process 806 is performed on the created composite image information 805 to complete the personal authentication medium 807.
[0041]
FIG. 9 shows the flow of a digital watermark embedding process described in Japanese Patent Application Laid-Open No. 11-168616, and this digital watermark embedding process method can be basically applied. Hereinafter, the digital watermark embedding process will be briefly described. For details, refer to the description in JP-A-11-168616.
[0042]
Embedded image information (main image information) 901 is image information in which embedded information is embedded, and corresponds to a face photograph (face image) of the owner on a personal authentication medium. This has information of 24 bits (8 bits for each of RGB) per pixel. The embedded image information (sub information) 902 is obtained by converting the information to be embedded into a binary image, and corresponds to, for example, an identification number in a personal authentication medium. It has one bit of information per pixel. The mask image information (key information) 903 is image information used at the time of synthesis processing and restoration (reproduction) of embedded image information, and has 1-bit information per pixel.
[0043]
First, in the smoothing process step 904, the smoothing process is performed by setting the black pixel of the embedded image information 902 to “1” and the white pixel to “0”. Here, the pixels at both ends of the target pixel in the x direction are cut out into a 3 × 1 pixel area, and a weighted average is calculated. Next, in a phase modulation processing step 905, phase modulation is performed on the mask image information 903 based on the result of the smoothing processing in the smoothing processing step 904.
[0044]
Next, in a color difference modulation processing step 907, color difference modulation processing is performed using the color difference amount ΔCd based on the phase modulation result in the phase modulation processing step 905. In this case, three components of R (red), G (green), and B (blue) are separately calculated. Next, in a superimposition processing step 908, superimposition processing is performed based on the color difference modulation result (image information for superimposition) in the color difference modulation processing step 907 and the embedding image information 901 to create composite image information 909.
[0045]
As is clear from the above description, the embedded image information 901, the embedded image information 902, and the mask image information 903 in FIG. 9 correspond to the main image information 801, the sub information 802, and the key in the present embodiment described in FIG. This is exactly the same as the information 803. Therefore, it is apparent that the digital watermark embedding processing method shown in FIG. 9 can be basically applied to the present embodiment.
[0046]
Regarding the superimposition processing in the superimposition processing step 908, if the embedded image information 901, the image information for superimposition, and the composite image information 909 are defined as follows,
Embedded image information: SRC-C (x, y) (A-1)
Image information for superimposition: STL-C (x, y) (A-2)
Synthetic image information: DES-C (x, y) (A-3)
x and y are the coordinate values of the image
C = {R (red), G (green), B (blue)} plane
Each value is an integer from 0 to 255 for 24-bit color operation
It is expressed by the following equation.
DES-R (x, y) = SRC-R (x, y) + STL-R (x, y) (B-1)
DES-G (x, y) = SRC-G (x, y) + STL-G (x, y) (B-2)
DES-B (x, y) = SRC-B (x, y) + STL-B (x, y) (B-3)
In the present embodiment, R (red), G (green), and B (blue) are used as basic color primaries for the operation in the additive color mixture, but C (cyan) is used in the arithmetic in the subtractive color mixture. ), M (magenta) and Y (yellow) are essentially the same.
[0047]
In the digital watermark embedding processing method shown in FIG. 9, the color difference modulation processing 907 is performed using the complementary color relationship as described above. At this time, a predetermined color difference amount ΔCd is used. This holds the difference amount (constant value) between the luminance values of red and cyan which is experimentally obtained in advance as data. Further, since the mask image information 903 is a key for restoring the embedded image information 902 when necessary, it is somewhat limited as a setting parameter, so that the value of the color difference amount ΔCd plays an important role as a setting parameter.
[0048]
Next, the digital watermark restoration processing will be briefly described. The simplest method is to use a frequency filter. First, using an input device such as a scanner or a camera, composite image information recorded (printed) on a personal authentication medium is read as digital information.
[0049]
Next, key information setting processing is performed. For example, if a plurality of key information are properly used, the key information is specified by judging which key information is used from information (for example, identification information) associated with the personal authentication medium. In the case of single key information, information on a specific frequency of the key information is directly stored in a table in advance.
[0050]
Next, a digital watermark restoration process is performed. This performs a frequency filtering process on the composite image information obtained by the input device using a specific frequency obtained by the key information. For the frequency filtering processing, for example, an FFT operation or a digital frequency filter can be used.
[0051]
As described above, according to the first embodiment, the essential information of the code information is complemented with respect to the sub-information restored after the digital watermark restoration processing based on the positioning mark detected in advance. As a result, the restored code information is correctly recognized as code information, so that the original error correction function is enabled, and the loss of data is automatically corrected, thereby enabling stable reading. Become.
[0052]
In the above description, the QR code is used as the code information. However, other codes such as “data code”, “PDF417”, and “maxi code” can be applied without any problem.
[0053]
Next, a second embodiment will be described.
FIG. 10 shows an overall flow of the image processing method according to the second embodiment, which will be described in detail below.
[0054]
First, an image input process is performed in step S201. Here, the face image information of the individual is digitized by inputting the face image of the owner of the personal authentication medium using a camera or capturing the face photo with an image input device such as a scanner. Next, in step 202, a sub-information compression process for deleting essential configuration information common to all sub-information is performed.
[0055]
Next, in step S203, when embedding the sub information in the face image information (main image information) obtained in the image input processing in step S201, the relative position between the positioning mark in the visible state and the sub information is set in advance. Is performed.
[0056]
Next, in step S204, a digital watermark embedding process is performed on the main image information (embedded image information). Here, composite image information is created in which the sub-information is embedded in the embedded image information in an invisible state so that the sub-information cannot be perceived by human vision.
[0057]
Next, in step S205, the combined image information created in step S204 is printed and recorded on a card-shaped recording medium serving as a personal authentication medium by a recording device such as a thermal head, whereby the personal authentication medium M is created. Is done. The created personal authentication medium M is passed to the user and used by the user.
[0058]
If it is necessary to determine whether the composite image information on the personal authentication medium M created as described above is true or false, the image input step 206 uses an input device such as a scanner or a camera to execute the personal authentication medium. The combined image information recorded on M is read as digital information.
[0059]
Next, in step S207, the sub-information is restored by performing a digital watermark restoring process on the composite image information obtained in the image input step 206 by using preset key information. Next, in step S208, a positioning mark is detected from the composite image information obtained in the image input step 206.
[0060]
Next, in step S209, based on the positioning mark detected in step S208, the sub-information restored from step S207 is used to delete the code information constituting the sub-information by the sub-information compression processing in step S202. A process for complementing the essential configuration information common to all the sub information thus performed is performed.
[0061]
Next, in step S210, code information reading and recognition processing are performed on the sub information complemented in step S109, and the contents of the code information are recognized. Finally, in step S211, the code information recognized in step S210 is determined, the authenticity of the personal authentication medium M is determined, and the determination result is output.
[0062]
FIG. 11 is a schematic diagram for explaining the sub-information compression processing in step S202. The QR code 1101 shown in FIG. 11A is a standard called version 1, and has a cell size of 21 × 21 and an error correction level M (〜15%). In the QR code 1101, there are three

cutout symbols

1102, 1103, and 1104 as shown in FIG. 11A, but these are header information and not data itself.
[0063]
Therefore, by deleting these three

cutout symbols

1102, 1103, and 1104, the information amount (= area) of the sub information can be reduced as shown in FIG. In the case of the present embodiment, FIG. 11B may be used as new sub-information after compression, or FIG. 11B may be further divided into a plurality of blocks to obtain new sub-information after compression. It is also possible to use as.
[0064]
Naturally, since there is no cutout symbol in the compressed sub-information, the restoration information after the digital watermark restoration processing in step S207 is not recognized as a QR code. Therefore, by performing the sub-information decompression / supplement processing in step S209 and performing the inverse conversion from the state shown in FIG. 11B to the state shown in FIG. 11A, the sub-information can be recognized as a QR code.
[0065]
In general, in the digital watermarking process, the amount of data to be embedded and the image quality of image information after embedding are in conflict. Therefore, in order to improve the image quality of the image information after embedding, it is understood that the smaller the amount of data to be embedded, the better. Therefore, by using the above-described second embodiment, the data amount at the time of embedding the sub-information is reduced, so that the image quality of the image information after the digital watermark is embedded can be reduced without reducing the original information amount of the sub-information. It can be improved.
[0066]
Next, a third embodiment will be described.
FIG. 12 shows an overall flow of the image processing method according to the third embodiment. The third embodiment is different from the first embodiment in that the second sub-information equivalent to the sub-information is created from the read image information when the digital watermark is restored, and is compared with the restored sub-information. It is a drunk, and will be described in detail below.
[0067]
First, an image input process is performed in step S301. Here, the face image information of the individual is digitized by inputting the face image of the owner of the personal authentication medium using a camera or capturing the face photo with an image input device such as a scanner.
[0068]
Next, in step S302, when embedding sub-information in the face image information (main image information) obtained in the image input processing in step S301, the relative position between the positioning mark in the visible state and the sub-information is set in advance. Is performed.
[0069]
Next, in step S303, a digital watermark embedding process is performed on main image information (hereinafter, also referred to as embedded image information). Here, composite image information is created in which the sub-information (sub-image information) is embedded in the embedded image information in an invisible state so that it cannot be perceived by human eyes.
[0070]
Next, in step S304, the combined image information created in step S303 is printed and recorded on a card-shaped recording medium serving as an individual authentication medium by a recording device such as a thermal head, whereby the personal authentication medium M is created. Is done. The created personal authentication medium M is passed to the user and used by the user.
[0071]
If it is necessary to determine the authenticity of the synthesized image information on the personal authentication medium M created as described above, the image input step 305 uses an input device such as a scanner or a camera to execute the personal authentication medium. The combined image information recorded on M is read as digital information.
[0072]
Next, in step S306, the sub-information is restored by performing digital watermark restoring processing on the composite image information obtained in the image input step 305 using preset key information. Next, in step S307, a positioning mark is detected from the composite image information obtained in the image input step 305.
[0073]
Next, in step S308, based on the positioning mark detected in step S307, the essential information common to all the sub-information of the code information constituting the sub-information is supplemented from the sub-information restored in step S306. .
[0074]
Next, in step S309, the sub-information complemented in step S308 is subjected to code information reading and recognition processing to recognize the contents of the code information.
[0075]
Next, in step S310, second sub-information for matching processing equivalent to sub-information is created from the composite image information obtained in the image input step 305 based on the information attached to the main image information. For example, as in this example, when the sub-information that is the embedded image information is an identification number, since it is known in advance, the identification number is recognized from the composite image information obtained in the image input step 305, and the identification number is recognized. A two-dimensional barcode (QR code) as second sub-information is created from the recognized identification number.
[0076]
Next, in step S311, the complemented sub-information obtained by the sub-information supplementing process in step S308 is compared with the second sub-information created by the second sub-information creating process in step S310. Finally, in step S312, the collation result in step S311 is determined, the authenticity of the personal authentication medium M is determined, and the determination result is output.
[0077]
The collation processing in step S311 will be further described. This is because two pieces of sub-information, that is, the complemented sub-information obtained by the sub-information supplementing process of step S308 and the second sub-information created by the second sub-information creating process of step S310, are compared. A judgment is made as to whether they match.
[0078]
The simplest method in the matching process is a method of obtaining a simple similarity. The sub-information obtained as a result of the restoration is a vector P, and the second sub-information created internally from the input composite image information is a vector Q. Expressed as follows,
[0079]
(Equation 1)

[0080]
The inner product of these vectors P and Q is taken, and it is determined that the closer the result is to "0", the lower the two similarities are, and the closer the result is to "1", the higher the two similarities are. The equation for determining the degree of simple similarity is shown below.
[0081]
(Equation 2)

[0082]
As described above, according to the third embodiment, by using the similarity of the sub-information, even if there is a defect beyond the error correction function when the sub-information is restored, the true / false judgment of the sub-information is performed. Will be possible. Although the QR code has been described as an example of the code information, in the case of the third embodiment, there is no need to stick to the code information, and a random pattern image generated from a predetermined seed is used as the sub-information. Also becomes possible.
[0083]
Next, a fourth embodiment will be described.
FIG. 13 shows the entire flow of the image processing method according to the fourth embodiment. The fourth embodiment is different from the above-described second embodiment in that the second sub-information equivalent to the sub-information is created from the read image information at the time of restoring the digital watermark, and is compared with the restored sub-information. This will be described in detail below.
[0084]
First, an image input process is performed in step S401. Here, the face image information of the individual is digitized by inputting the face image of the owner of the personal authentication medium using a camera or capturing the face photo with an image input device such as a scanner. Next, in step 402, a sub-information compression process for deleting essential configuration information common to all sub-information is performed.
[0085]
Next, in step S403, when embedding the sub information in the face image information (main image information) obtained in the image input processing in step S401, the relative position between the positioning mark in the visible state and the sub information is set in advance. Is performed.
[0086]
Next, in step S404, a digital watermark embedding process is performed on the main image information (embedded image information). Here, composite image information is created in which the sub-information is embedded in the embedded image information in an invisible state so that the sub-information cannot be perceived by human vision.
[0087]
Next, in step S405, the combined image information created in step S404 is printed and recorded on a card-shaped recording medium serving as a personal authentication medium by a recording device such as a thermal head, whereby the personal authentication medium M is created. Is done. The created personal authentication medium M is passed to the user and used by the user.
[0088]
If it is necessary to determine the authenticity of the composite image information on the personal authentication medium M created as described above, the image input step 406 uses an input device such as a scanner or a camera to execute the personal authentication medium. The combined image information recorded on M is read as digital information.
[0089]
Next, in step S407, the sub-information is restored by performing digital watermark restoration processing on the composite image information obtained in the image input step 406 using preset key information. Next, in step S408, a positioning mark is detected from the composite image information obtained in the image input step 406.
[0090]
Next, in step S409, based on the positioning mark detected in step S408, the code information constituting the sub information is deleted from the sub information restored in step S407 by the sub information compression processing in step S402. A process for complementing the essential configuration information common to all the sub information thus performed is performed.
[0091]
Next, in step S410, reading and recognition processing of the code information is performed on the sub information complemented in step S409, and the contents of the code information are recognized.
[0092]
Next, in step S411, second sub-information for matching processing equivalent to sub-information is created from the composite image information obtained in the image input step 406, based on information accompanying the main image information. For example, as in this example, when the sub-information that is the embedded image information is an identification number, since it is known in advance, the identification number is recognized from the composite image information obtained in the image input step 406. A two-dimensional bar code (QR code) as second sub-information is created from the recognized identification number.
[0093]
Next, in step S412, the complemented sub-information obtained by the sub-information complementing process in step S409 is compared with the second sub-information created by the second sub-information creating process in step S411. Finally, in step S413, the collation result in step S412 is determined, the authenticity of the personal authentication medium M is determined, and the determination result is output.
[0094]
Note that the collation processing in step S412 is the same as in the third embodiment described above, and a description thereof will be omitted.
[0095]
By using the image processing method described above, it is possible to stably restore and extract the sub-information composed of the grayscale image and the code information from the image information on which the digital watermark processing has been performed.
When the sub information has an error correction function, the error correction function can be used.
Further, since the data amount at the time of embedding the sub-information can be reduced, the image quality of the image information after embedding the digital watermark can be improved without reducing the original information amount of the sub-information.
Further, by using the similarity of the sub-information, it is possible to determine the authenticity of the sub-information even when there is a defect of the error correction function abnormality when restoring the sub-information.
[0096]
【The invention's effect】
As described in detail above, according to the present invention, there is provided an image processing method capable of stably restoring and extracting sub-information composed of a grayscale image and code information from image information on which digital watermark processing has been performed. it can.
[0097]
Further, according to the present invention, it is possible to provide an image processing method that can use the error correction function when the sub-information has the error correction function.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an overall flow of an image processing method according to a first embodiment of the present invention.
FIG. 2 is a plan view schematically showing an example of a created personal authentication medium.
FIG. 3 is a schematic diagram showing a QR code used as sub information.
FIG. 4 is a schematic diagram showing a configuration of a QR code.
FIG. 5 is a schematic view showing an example in which restored sub-information is supplemented.
FIG. 6 is a schematic diagram showing an example in which sub-information composed of a QR code is applied to a personal authentication medium.
FIG. 7 is a schematic diagram for explaining a method of supplementing sub information.
FIG. 8 is a diagram showing the flow of the entire digital watermark embedding process.
FIG. 9 is a flowchart schematically showing a procedure of a digital watermark embedding process.
FIG. 10 is a flowchart showing an overall flow of an image processing method according to a second embodiment of the present invention.
FIG. 11 is a schematic diagram illustrating compression processing of sub-information according to the second embodiment.
FIG. 12 is a flowchart showing an overall flow of an image processing method according to a third embodiment of the present invention.
FIG. 13 is a flowchart showing an overall flow of an image processing method according to a fourth embodiment of the present invention.
[Explanation of symbols]
S101: Image input step, S102: Sub-information positioning step (positioning step), S103: Digital watermark embedding step (embedding step), S104: Recording step (recording step), S105: Image input step (reading step), S106: Electronic Watermark restoring step (restoring step), S107: Positioning mark detecting step (detecting step), S108: Sub-information supplementing step (complementing step), S109: Sub-information reading / recognition step, S110: True / false judgment step, M, 807 ... personal authentication medium, 202 ... face image, 203 ... personal management information, 204 ... positioning mark, 401 ... QR code, 402 ... cutout symbol, 403 ... timing pattern, 404 ... margin, 405 ... data cell, 801 ... main image Information, 80 ... sub-information (sub-image information), 803 ... key information, 805 ... synthetic image information.

Claims

For the main image information visible to the human naked eye, the composite image information created by embedding the sub-information in the invisible state to the human naked eye is recorded in a visible state on a recording medium, and recorded on the recording medium. An image processing method for reading the combined image information and restoring the sub-information from the read combined image information.
The sub-information is constituted by code information represented by a binary or multi-valued gray image,
When embedding the sub-information in the main image information, a positioning step of setting the relative position between the visible positioning mark and the sub-information to a preset value,
An embedding step of creating composite image information by embedding the sub information in an invisible state with respect to the main image information,
Recording a composite image information created by the embedding step and the positioning mark on a recording medium;
A reading step of reading composite image information recorded on the recording medium,
A restoring step of restoring the sub-information or information equivalent to the sub-information from the composite image information read by the reading step;
A detecting step of detecting the position of the positioning mark from the combined image information read by the reading step;
A complementing step of complementing essential configuration information common to all sub-information of the code information constituting the sub-information from the sub-information restored by the restoration step, based on the positioning mark detected by the detection step;
An image processing method comprising:

For the main image information visible to the human naked eye, the composite image information created by embedding the sub-information in the invisible state to the human naked eye is recorded in a visible state on a recording medium, and recorded on the recording medium. An image processing method for reading the combined image information and restoring the sub-information from the read combined image information.
The sub-information is constituted by code information represented by a binary or multi-valued gray image,
A sub-information compression step of creating compressed sub-information by deleting at least a part of essential configuration information common to all sub-information from the sub-information;
When embedding the sub-information in the main image information, a positioning step of setting the relative position between the visible positioning mark and the sub-information to a preset value,
An embedding step of creating composite image information by embedding the compressed sub information created by the sub information compression step in the invisible state for the main image information;
Recording a composite image information created by the embedding step and the positioning mark on a recording medium;
A reading step of reading composite image information recorded on the recording medium,
A restoration step of restoring the compressed sub-information or information equivalent to the compressed sub-information from the composite image information read by the reading step;
A detecting step of detecting the position of the positioning mark from the combined image information read by the reading step;
A complementing step of supplementing the deleted essential component information with respect to the compressed sub-information restored in the restoring step, based on the positioning mark detected in the detecting step;
An image processing method comprising:

For the main image information visible to the human naked eye, the composite image information created by embedding the sub-information in the invisible state to the human naked eye is recorded in a visible state on a recording medium, and recorded on the recording medium. An image processing method for reading the combined image information and restoring the sub-information from the read combined image information.
The sub-information is constituted by code information represented by a binary or multi-valued gray image,
When embedding the sub-information in the main image information, a positioning step of setting the relative position between the visible positioning mark and the sub-information to a preset value,
An embedding step of creating composite image information by embedding the sub information in an invisible state with respect to the main image information,
Recording a composite image information created by the embedding step and the positioning mark on a recording medium;
A reading step of reading composite image information recorded on the recording medium,
A restoring step of restoring the sub-information or information equivalent to the sub-information from the composite image information read by the reading step;
A detecting step of detecting the position of the positioning mark from the combined image information read by the reading step;
A complementing step of complementing essential configuration information common to all sub-information of the code information constituting the sub-information from the sub-information restored by the restoration step, based on the positioning mark detected by the detection step;
A second sub-information creating step of creating second sub-information equivalent to the sub-information based on information attached to the main image information from the combined image information read by the reading step;
A collation step of collating the second sub-information created by the second sub-information creation step with the sub-information supplemented by the complementing step;
An image processing method comprising:

For the main image information visible to the human naked eye, the composite image information created by embedding the sub-information in the invisible state to the human naked eye is recorded in a visible state on a recording medium, and recorded on the recording medium. An image processing method for reading the combined image information and restoring the sub-information from the read combined image information.
The sub-information is constituted by code information represented by a binary or multi-valued gray image,
A sub-information compression step of creating compressed sub-information by deleting at least a part of essential configuration information common to all sub-information from the sub-information;
When embedding the sub-information in the main image information, a positioning step of setting the relative position between the visible positioning mark and the sub-information to a preset value,
An embedding step of creating composite image information by embedding the compressed sub information created by the sub information compression step in the invisible state for the main image information;
Recording a composite image information created by the embedding step and the positioning mark on a recording medium;
A reading step of reading composite image information recorded on the recording medium,
A restoration step of restoring the compressed sub-information or information equivalent to the compressed sub-information from the composite image information read by the reading step;
A detecting step of detecting the position of the positioning mark from the combined image information read by the reading step;
A complementing step of supplementing the deleted essential component information with respect to the compressed sub-information restored in the restoring step, based on the positioning mark detected in the detecting step;
A second sub-information creating step of creating second sub-information equivalent to the sub-information based on information attached to the main image information from the combined image information read by the reading step;
A collation step of collating the second sub-information created by the second sub-information creation step with the sub-information supplemented by the complementing step;
An image processing method comprising: