JP2004228866A - Communication terminal with digital camera, image authentication system using it, and image authentication method - Google Patents

Communication terminal with digital camera, image authentication system using it, and image authentication method Download PDF

Info

Publication number
JP2004228866A
JP2004228866A JP2003013576A JP2003013576A JP2004228866A JP 2004228866 A JP2004228866 A JP 2004228866A JP 2003013576 A JP2003013576 A JP 2003013576A JP 2003013576 A JP2003013576 A JP 2003013576A JP 2004228866 A JP2004228866 A JP 2004228866A
Authority
JP
Japan
Prior art keywords
authentication
authentication information
digital image
image
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003013576A
Other languages
Japanese (ja)
Inventor
Hideto Shimozato
秀人 下里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003013576A priority Critical patent/JP2004228866A/en
Publication of JP2004228866A publication Critical patent/JP2004228866A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication terminal with a digital camera which enables a third person to guarantee the presence / absence of an alteration to photographed digital images, an image authentication system using it, and an image authentication method. <P>SOLUTION: The communication terminal with the digital camera is provided with an optical system (S110) for forming the optical image of a subject, a conversion means (S115) for converting the formed optical image of the object into a digital image, a first generation means (S120) for generating first authentication information for discriminating the presence / absence of an alteration to the digital image on the basis of the digital image converted in the conversion means, a transmission means (S135) for transmitting the first authentication information to an authentication server, and an output means (S145) for outputting the digital image. A user can access only the digital image after the first authentication information is generated. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明はディジタルカメラ付き通信端末及びそれを用いた画像認証システム、並びに画像認証方法に関する。
【0002】
【従来の技術】
近年、ディジタルカメラ機能を備える携帯電話が普及している。このため、何等かの理由により証拠写真を撮影する必要が不意に生じたとき、その撮影に携帯電話が備えるディジタルカメラが用いられる機会が増えるものと予想される。例えば、交通事故が起き、損害保険の支払を請求する際の証拠写真とするためにその現場を撮影するとき、ディジタルカメラ機能を備える携帯電話を持っていればそのディジタルカメラでその場を撮影することは予想され得ることである。しかしながら、ディジタルカメラで記録したディジタル画像は加工が容易であり、改竄されて悪用される恐れがあるという問題がある
【0003】
従来、改竄されたか否かを検出することのできるディジタル画像を出力するディジタルカメラが知られている(例えば特許文献1。)。特許文献1のディジタルカメラによると、画像データ(ディジタル画像)から特徴データ(第一認証情報)を生成し、生成した特徴データを画像データに埋め込むことで、特徴データを埋め込んだ以降に画像データが改竄されたか否かを判別できる。
【0004】
【特許文献1】
特開2001−78070号公報
【0005】
【発明が解決しようとする課題】
しかしながら、従来のディジタルカメラによると、ディジタル画像に特徴データが埋め込まれた以降の改竄は判別できるものの、特徴データを埋め込む前の撮影者本人による改竄は判別できないという問題がある。特徴データを埋め込む前に撮影者本人によってディジタル画像が改竄されると、改竄後のディジタル画像に基づいて生成した特徴データが改竄後のディジタル画像に埋め込まれることになる。この場合、その後に改竄が成されなければ、埋め込まれた特徴データを用いて判別したところで改竄無しと判別されるだけである。従って撮影者本人によって改竄が成されたディジタル画像が有効な証拠として扱われてしまうことになる。
【0006】
本発明は、かかる問題に鑑みて創作されたものであって、撮影したディジタル画像に対する改竄有無を第三者が保証できるディジタルカメラ付き通信端末及びそれを用いた画像認証システム、並びに画像認証方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するため、本発明に係るディジタルカメラ付き通信端末は、被写体の光学像を結像させる光学系と、結像された被写体の光学像をディジタル画像に変換する変換手段と、変換手段で変換されたディジタル画像に基づいて当該ディジタル画像に対する改竄有無を判別するための第一認証情報を生成する第一生成手段と、第一認証情報を認証サーバに送信する送信手段と、ディジタル画像を出力する出力手段と、を備え、ユーザは第一認証情報が生成された後のディジタル画像にのみアクセス可能であることを特徴とする。このディジタルカメラ付き通信端末によると、ユーザは生成手段で第一認証情報が生成される前のディジタル画像にはアクセスできない。従って、第一認証情報が生成される前のディジタル画像については例え撮影者本人であっても改竄できない。生成された第一認証情報は認証サーバへ送信されるため、ディジタル画像へのアクセスが可能になった以降の改竄については、認証サーバに送信した第一認証情報と、改竄されたディジタル画像に基づいて生成した認証情報とを照合することで判別できる。従って、例え撮影者本人によってなされた改竄であっても判別できる。この認証サーバを第三者としての認証機関に設置すると、ディジタル画像に基づいて生成した認証情報を認証機関に送信すれば、撮影したディジタル画像に対する改竄有無を第三者が保証できる。この他、本発明に係るディジタルカメラ付き通信端末は、認証サーバにディジタル画像そのものを送信するのではなく第一認証情報を送信するため、送信負荷や認証サーバの記憶の負荷が少なくて済む。
【0008】
さらに本発明に係るディジタルカメラ付き通信端末は、第一認証情報を送信するか否かを指示するための送信指示手段を更に備え、送信手段は、送信指示手段により送信するよう指示されているときのみ第一認証情報を送信することを特徴とする。このディジタルカメラ付き通信端末によると、第一認証情報を送信するか否かをユーザが指示できる。
【0009】
さらに本発明に係るディジタルカメラ付き通信端末は、ディジタル画像に第一認証情報を電子透かしとして埋め込む埋込手段を更に備え、出力手段は、第一認証情報が埋め込まれたディジタル画像を出力することを特徴とする。このディジタルカメラ付き通信端末によると、第一認証情報を埋め込んだ後の改竄についてはディジタル画像のみに基づいて改竄有と判別でき、認証サーバの負荷を低減できる。
【0010】
さらに本発明に係るディジタルカメラ付き通信端末の送信手段は、当該ディジタルカメラ付き通信端末を一意に識別可能なカメラIDを認証サーバに第一認証情報と関連付けて送信し、出力手段は、カメラIDをディジタル画像と関連付けて出力することを特徴とする。このディジタルカメラ付き通信端末によると、カメラIDを送信及び出力することで改竄有無の判別に対する信頼性を向上できる。
【0011】
上記目的を達成するため、本発明に係る画像認証システムは、請求項1に記載のディジタルカメラ付き通信端末、認証サーバ及び認証端末を用いた画像認証システムであって、認証サーバは、ディジタルカメラ付き通信端末から第一認証情報を受信する受信手段と、受信した第一認証情報を記憶する記憶手段と、認証端末から第二認証情報を受信する照合要求受信手段と、記憶手段に記憶した第一認証情報及び認証端末から受信した第二認証情報に基づいて照合を行い、照合結果を返信する照合結果返信手段と、を備え、認証端末は、ディジタル画像を入力する入力手段と、入力したディジタル画像から第二認証情報を生成する第二生成手段と、生成した第二認証情報を認証サーバに送信する照合要求送信手段と、認証サーバから受信した照合結果に基づいてディジタル画像の改竄有無を判別する判別手段と、を備えることを特徴とする。この画像認証システムによると、認証サーバを第三者としての認証機関に設置することで、撮影したディジタル画像に対する改竄有無を第三者が保証できる。
【0012】
さらに本発明に係る画像認証システムの記憶手段は、第一認証情報を受信時に関連付けて記憶し、照合結果返信手段は、認証端末から受信した第二認証情報に一致する第一認証情報が記憶手段に記憶されているとき、当該第一認証情報に関連付けて記憶されている受信時を照合結果に関連付けて返信することを特徴とする。この画像認証システムによると、ディジタル画像が撮影された概ねの時を知ることができ、ディジタル画像の証拠としての有効性が向上する。
【0013】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態を実施例に基づいて説明する。
図2は、本発明の一実施例に係る画像認証システム1の構成を示す模式図である。画像認証システム1は、ディジタルカメラ付き通信端末としての携帯電話2、認証サーバ3及び認証端末4で構成される。図示するように携帯電話2は基地局Lを介して携帯電話網Mに接続される。携帯電話網Mはインターネットなどの通信ネットワークNに接続されており、認証サーバ3及び認証端末4は通信ネットワークNに接続されている。これにより携帯電話2、認証サーバ3及び認証端末4が通信可能に接続される。認証サーバ3は第三者としての例えば認証機関に設置され、認証端末4は例えば保険会社に設置される。
【0015】
図3は、携帯電話2の構成を示すブロック図である。
送信手段及び出力手段としての無線通信部25は、変調/復調回路、基地局Lと無線通信を行うアンテナなどを備える。無線通信部25はアンテナで受信した信号を復調することで音声データなどの各種のディジタル信号を受信するとともに、音声データ、ディジタル画像、第一認証情報、カメラIDなどの各種のディジタル信号を変調してアンテナから送信する。
【0016】
音声入出力部22は、D/Aコンバータ、A/Dコンバータ、スピーカ、マイクなどを備える。音声入出力部22は、無線通信部25から入力される音声データをD/Aコンバータによりアナログ信号に変換してスピーカで発音するとともに、マイクから入力されるアナログ信号をA/Dコンバータによりディジタル信号に変換して無線通信部25に出力する。
【0017】
光学系11は、筐体に収容されたレンズ、絞り等で構成されている。光学系11はイメージセンサ12の受光面に被写体の光学像を結像させる。
変換手段としてのイメージセンサ12は、2次元空間に離散的に配置された光電変換素子とCCD(Charge Coupled Device)等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ12は、センサコントローラ16によって駆動される。イメージセンサ12は、光電変換して得られる電荷を光電変換素子毎に一定時間蓄積し、光電変換素子毎の受光量に応じたアナログ信号を出力する。受光面にC(Cyan)、M(Magenta)、Y(Yellow)及びG(Green)の4色の補色フィルタ、又はR(Red)、G(Green)及びB(Blue)の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【0018】
変換手段としてのA/D変換部(ADC)13は、イメージセンサ12から出力されるアナログ信号を量子化し、ディジタル信号に変換する。具体的には例えば、ADC13は、アナログ信号に含まれる雑音の低減処理、ゲインの調整によるアナログ信号のレベル調整処理、量子化処理等を行う。
変換手段としての画像形成部14は、ADC13から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、γ補正、色空間変換等を施し、各画素についてR、G、Bの階調値や、Y、Cb、Crの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、一色分の濃度情報からなる画素を近傍画素の異なる色の濃度情報で補間することにより画素毎にRGB又はYCbCrの3つの階調値を持つディジタル画像を出力する処理である。
【0019】
圧縮・伸張部15は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を所定の圧縮率で圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換(DCT)、量子化、ウェーブレット変換、ランレングス符号化、ハフマン符号化等を用いてディジタル画像データを圧縮する。このうち本実施例の圧縮・伸張部15は、DCT、量子化、ハフマン符号化を用いて圧縮するものとする。DCT及び量子化を行うと一部の情報が捨てられるため、圧縮前のディジタル画像に対して第一認証情報を埋め込むと、伸張したときに第一認証情報を復元できなくなる。このため、圧縮・伸張部15はDCT及び量子化を行って一部の情報が捨てられた後のディジタル画像を後述する認証情報の生成プロセス52に出力し、後述する認証情報の埋込プロセス51から第一認証情報が埋め込まれたディジタル画像が出力されると、出力されたディジタル画像に対して残りの圧縮処理であるハフマン符号化を実行する。
【0020】
送信指示手段としての操作部18は、電話番号などを入力するための複数の番号スイッチ、発信を指示するための発信スイッチ、応答を指示するための応答スイッチ、光学像をディジタル画像に変換する指示を入力するためのシャッタスイッチ、LCD26に表示される各種のメニューの選択を行うためのスイッチなどの各種の押しボタンスイッチを備える。
【0021】
LCD26は、撮影モードで電子ビューファインダとして機能する。ディスプレイコントローラ23は、LCD26に表示するデータを格納するためのフレームバッファと、フレームバッファに格納されたデータに基づいてLCD26を駆動するための表示回路とを備える。
CPU17は、ROM19に記憶されているコンピュータプログラムを実行することにより、携帯電話2の全体を制御する。また、CPU17はROM19に記憶されているコンピュータプログラムを実行することで、第一生成手段及び埋込手段としても機能する。ROM19はCPU17が動作するために必要なコンピュータプログラム、データ、携帯電話2を一意に識別できるID(カメラID)を予め記憶しているメモリである。ワークメモリ20は各種のプログラム、データ等を一時的に記憶するメモリである。フラッシュメモリ27は、圧縮されたディジタル画像を記憶するための不揮発性メモリである。
【0022】
図4は、認証サーバ3のハードウェア構成を示すブロック図である。認証サーバ3は、CPU30、ROM31、RAM32及び記憶手段としての記憶部34、並びに受信手段、照合要求受信手段及び照合結果返信手段としての通信部33を備え、それらはバス35で相互に接続されている。CPU30はROM31や記憶部34に記憶されたコンピュータプログラムを実行して認証サーバ3の全体を制御する。また、CPU30はコンピュータプログラムを実行することで照合結果返信手段としても機能する。更に、CPU30はデータベース管理プログラムを実行することで認証サーバ3をデータベースとしても機能させる。ROM31はCPU30が動作するために必要なプログラムやデータを予め記憶しているメモリである。RAM32は各種のプログラム、データ等を一時的に記憶するメモリである。記憶部34はハードディスクなどで構成され、オペレーティングシステム(OS)、各種のコンピュータプログラム、第一認証情報、カメラID、受信時などのデータを記憶する。通信部33はモデムやネットワークインタフェースカードなどにより通信ネットワークNに接続可能に構成されている。
【0023】
図5は、認証端末4のハードウェア構成を示すブロック図である。認証端末4は、CPU40、ROM41、RAM42、入力手段及び照合要求送信手段としての通信部47、記憶部45、操作部43及び表示部44を備え、それらはバス48で相互に接続されている。CPU40はROM41や記憶部45に記憶されたコンピュータプログラムを実行して認証端末4の全体を制御する。また、CPU40はコンピュータプログラムを実行することで第二生成手段及び判別手段としても機能する。操作部43はマウスやキーボードなどで構成され、認証サーバ3に照合を要求するディジタル画像の選択などに用いられる。表示部44はCRTやLCD(Liquid Crystal Display)などで構成され、ディジタル画像を選択するための画面や改竄有無を判別した結果を通知するための画面などを表示する。
【0024】
これらのプログラムや各種のデータは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、図示しないリムーバブルメモリ等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。
図6は、携帯電話2におけるデータフロー図である。
認証情報の生成プロセス52は、ディジタル画像に基づいて当該ディジタル画像の改竄有無を判別するための第一認証情報を生成するプロセスである。認証情報の生成プロセス52は、圧縮・伸張部15からDCT変換及び量子化までを行った後のディジタル画像[0]が出力されると、出力されたディジタル画像[0]に基づいて第一認証情報を生成し、第一認証情報を生成した後のディジタル画像[1]と生成した第一認証情報とを認証情報の埋込プロセス51に出力する。更に、生成した第一認証情報を認証情報の送信プロセス55に出力する。認証情報の生成プロセス52は、具体的には例えばMD5、SHA、RIPEMDなどのハッシュ関数を用いてディジタル画像のハッシュ値を算出し、算出したハッシュ値を第一認証情報とする。これにより第一認証情報を生成する。ハッシュ関数を用いると、各々のディジタル画像に対して異なる第一認証情報を生成することができる。尚、本実施例では第一認証情報の生成をハッシュ関数により行うが、チェックサム、CRC方式など、ディジタル画像がオリジナルから変更されているか否かを検出できる方法であればハッシュ関数以外の方法を用いてもよい。
【0025】
認証情報の埋込プロセス51は、第一認証情報を電子透かしとしてディジタル画像に埋め込むプロセスである。認証情報の埋込プロセス51は認証情報の生成プロセス52からディジタル画像[1]と第一認証情報とが出力されると、ディジタル画像[1]に対して第一認証情報を埋め込み、第一認証情報を埋め込んだディジタル画像[2]を圧縮・伸張部15に出力する。出力したディジタル画像[2]は圧縮・伸張部15で圧縮についての残りの処理であるハフマン符号化が行われ、圧縮後のディジタル画像[2]がファイルの管理プロセス53に出力される。第一認証情報の埋め込みは、具体的には例えばパッチワーク法により行う。パッチワーク法とは、ディジタル画像に対して統計的な偏りを生じさせることで情報を埋め込む方法である。ディジタル画像を構成する画素の部分集合であって互いに重ならない部分集合A={a1,a2,・・・,an}と部分集合B={b1,b2,・・・,bn}とがあるとき、ディジタル画像には以下の式で表される画素値の差の期待値Yがほぼ0になるという性質がある。
Y=Σ(ai−bi)/N
この性質によれば、部分集合Aの各画素値に「X」を加え、部分集合Bの各画素値から「X」を減じると、期待値Yはほぼ「2X」となる。逆に、部分集合Aの各画素値から「X」を減じ、部分集合Bの各画素値に「X」を加えると、期待値Yはほぼ「−2X」となる。従って、ある正負の閾値を設定し、期待値Yが正の閾値より大きければ”1”、負の閾値より小さければ”0”が埋め込まれていると判定でき、その中間にあれば情報は埋め込まれていないと判定できる。これにより1ビット分の情報を埋め込むことができる。従って128ビットのハッシュ値を生成したとすると、ディジタル画像を256個の部分集合に分割すれば第一認証情報を電子透かしとして埋め込むことができる。埋め込まれた情報を抜き出すには埋め込む際に分割した部分集合を特定する情報が必要である。埋め込む側においてディジタル画像を構成する画素を部分集合に分割する方法及び抜き出す側において分割されている部分集合を一意に特定する方法としてホワイトノイズマスクを用いる方法が公知である。認証情報の埋込プロセス51は、具体的には例えば認証端末4が部分集合の特定に用いるホワイトノイズマスクを予めROMに記憶し、記憶したホワイトノイズマスクを用いてディジタル画像を部分集合に分割する。ホワイトノイズマスクを用いると、部分集合の要素数がほぼ均一で、互いに重なり合わず、一つの部分集合を構成する画素をディジタル画像全体からバランス良く選択できる。電子透かしを埋め込むと、第一認証情報を埋め込んだ後の改竄についてはディジタル画像のみに基づいて判別できる。従って認証サーバ3の負荷を低減できる。
【0026】
ファイルの管理プロセス53は、フラッシュメモリ27へのディジタル画像の書き込み及び読み出しを一元管理するプロセスである。ファイルの管理プロセス53は圧縮・伸張部15から圧縮後のディジタル画像[2]が出力されると、出力されたディジタル画像をフラッシュメモリ27に記憶させる。このときファイルの管理プロセス53はディジタル画像[2]をそのまま記憶させるのではなく、ディジタル画像[2]に撮影時とカメラIDとを付加したディジタル画像[3]を記憶させる。これによりカメラID及び撮影時がディジタル画像に関連付けられる。ここで撮影時とは、ディジタル画像[2]がファイルの管理プロセス53に出力された日付及び時刻のことをいい、出力されたときに図示しない計時手段から取得されるものとする。尚、計時手段は無線通信部25を介して日付及び時刻の補正が定期的に行われることが望ましい。また、ファイルの管理プロセス53はユーザに対してフラッシュメモリ27に記憶されたディジタル画像[3]にアクセスするためのインタフェースを提供する。例えば、ユーザが所定のメニューからディジタル画像[3]を選択して表示を指示した場合、あるいは送信を指示した場合、選択されたディジタル画像[3]はファイルの管理プロセス53を介してフラッシュメモリ27から読み込まれる。すなわち、ユーザはファイルの管理プロセス53を介してのみディジタル画像へのアクセスが可能である。図6から明らかなように、フラッシュメモリ27には、第一認証情報が生成されて埋め込まれたディジタル画像[3]が記憶される。従ってユーザは第一認証情報が生成される前のディジタル画像[0]にはアクセス不可能である。
【0027】
認証情報の送信プロセス55は、生成された第一認証情報とカメラIDとを関連付けて通信ネットワークNを介して認証サーバ3に送信するプロセスである。認証情報の送信プロセス55は、送信する一電文に第一認証情報とカメラIDとを格納することでカメラIDを第一認証情報と関連付けて送信する。
画像の出力プロセス56は、ディジタル画像を出力するプロセスである。画像の出力プロセス56は、具体的には例えば無線通信部25により通信ネットワークNを介して認証端末4に送信することで出力する。尚、携帯電話2がリムーバブルメモリなどの着脱自在な記憶媒体を用いた記憶部を備える場合は、記憶媒体に書き込むことで出力し、記憶媒体経由で認証端末4にディジタル画像を渡すようにしてもよい。
【0028】
図1は、画像認証システム1の処理の流れを示すシーケンス図である。
S105では、携帯電話2は第一認証情報を送信するか否かの指示を受け付ける。具体的には例えば、指示を選択するための画面を表示し、ユーザにより”送信する”又は”送信しない”のいずれかが選択されると選択に応じた情報をワークメモリ20の所定の領域に格納する。例えば、”送信する”が選択されたときは送信することを表す情報を格納する。第一認証情報を送信するか否かを指示できると、照合の必要のないディジタル画像について第一認証情報が無用に認証サーバ3に送信されることを防止できる。
【0029】
S110では、光学系11により光学像をイメージセンサ12に結像する。
S115では、光学像をディジタル画像に変換する。具体的には、結像された光学像をイメージセンサ12によりアナログ信号に変換し、ADC13により所定の処理を施して被写体を表すディジタル信号に変換する。次に、変換したディジタル信号に対して画像形成部14で所定の画像処理を施す。これにより光学像がディジタル画像に変換される。次に、変換されたディジタル画像に対して圧縮・伸張部15でDCT及び量子化までの圧縮処理を実行し、圧縮途中のディジタル画像を認証情報の生成プロセス52に出力する。
【0030】
S120では、認証情報の生成プロセス52を実行することにより、ディジタル画像に基づいて当該ディジタル画像の改竄有無を判別するための第一認証情報を生成する。認証情報の生成プロセス52は第一認証情報を生成した後のディジタル画像と第一認証情報とを認証情報の埋込プロセス51に出力し、第一認証情報を認証情報の送信プロセス55に出力する。
【0031】
S125では、認証情報の埋込プロセス51を実行することにより、第一認証情報をディジタル画像に埋め込む。第一生成情報が埋め込まれた後のディジタル画像は、圧縮・伸張部15で圧縮についての残りの処理が実行された後、ファイルの管理プロセス53に出力されてフラッシュメモリ27に記憶される。
S130では、第一認証情報を送信するか否かを判定する。S105において送信するよう指示されているときはS135に進み、送信しないよう指示されているときは送信せずS145に進む。
【0032】
S135では、認証情報の送信プロセス55を実行し、第一認証情報と、当該第一認証情報に関連付けてカメラIDとを認証サーバ3に送信する。一般に異なるディジタル画像で第一認証情報が一致する可能性は十分に低いものの、第一認証情報に加えてカメラIDを用いるとその可能性をより低くできる。これにより後述するデータベースの検索で他のディジタル画像について登録されているレコードが検索されてしまう可能性をより低くでき、ディジタル画像の改竄有無の判別に対する信頼性を向上できる。
【0033】
S140では、認証サーバ3は受信した第一認証情報及びカメラID、並びに受信した日付と時刻とを表す受信時を1レコードとしてデータベースに登録する。ここで受信時とは、本実施例では受信した日付と時刻とを表す情報のことをいうものとするが、受信時は受信した日付のみを表す情報であってもよいし、受信した時刻のみを表す情報であってもよい。また、日付の場合は年月日であっても月日だけであってもよく、それらは必要に応じて適宜決定してよい。
【0034】
S145では、携帯電話2は第一認証情報が電子透かしとして埋め込まれ、カメラID及び撮影時が付加されたディジタル画像を認証端末4に出力する。
S150では、認証端末4はディジタル画像から第一認証情報を抜き出し、第一認証情報が抜き出されたディジタル画像から第二認証情報を生成する。第一認証情報の抜き出しは、認証情報の埋込プロセス51と同じホワイトノイズマスクを用いることで行う。具体的には、始めに付加されたカメラID及び撮影時を取り出してディジタル画像をそれらの情報が付加される前の状態に戻す。次に、ディジタル画像を伸張した後、ホワイトノイズマスクにより部分集合を特定し、埋め込まれたビット情報を判定する。これを第一認証情報のビット長分繰り返すことで第一認証情報を特定する。次に、認証情報の埋込プロセス51とは逆の処理を実行することでディジタル画像を埋め込み前の状態に戻す。これにより第一認証情報が抜き出される。第二認証情報の生成は、第一認証情報が抜き出されたディジタル画像に対して認証情報の生成プロセス52と同じハッシュ関数を用いることで行う。従って、ディジタル画像が改竄されていなければ第一認証情報と第二認証情報とは一致することになる。
【0035】
S155では、S150で抜き出した第一認証情報及び生成した第二認証情報とを比較し、一致しているときは”一致”を表す情報をRAM42の所定の領域に記憶させてS160に進む。一致していないときは”一致しない”を表す情報を記憶させてS175に進む。
S160では、認証サーバ3に照合を要求する。具体的には、第二認証情報及びカメラIDを認証サーバ3に送信することで要求する。
【0036】
S165では、認証サーバ3は認証端末4から受信した第二認証情報及びカメラID、並びにデータベースに登録されている第一認証情報及びカメラIDに基づいて照合を行う。具体的には例えば、認証端末4から受信した第二認証情報及びカメラIDを検索条件としてデータベースを検索し、両者が一致するレコードが検索されれば”1”、検索されなければ”0”を照合結果とする。
【0037】
S170では、照合結果を認証端末4に返信する。具体的には、”0”又は”1”のいずれかを送信する。”1”のときは、検索されたレコードに格納されている受信時を併せて送信する。
S175では、認証端末4は照合結果と受信時とを受信し、改竄有無を判別する。S175の処理の詳細については後述する。
【0038】
図7は、S175において改竄有無を判別する処理の流れを示すフローチャートである。
S205では、RAM42の所定の記憶領域に記憶されている情報が”一致”を表しているか”一致しない”を表しているかを判定する。”一致”を表す場合はS210に進み、”一致しない”を表す場合はS225に進む。
【0039】
S210では、照合結果の値を判別する。照合結果が”0”のときはS225に進み、”1”のときはS215に進む。
S215では、受信時と撮影時とを比較する。その差が予め設定した閾値以上であれば、撮影時で特定される時から受信時で特定される時までの間にディジタル画像が改竄された可能性を否定できないためS225に進む。閾値未満であればS220に進む。
【0040】
S220では、改竄無しと判別し、改竄されていないことを示す情報を表示部44に表示する。
S225では、改竄有りと判別し、改竄されている可能性があることを示す情報を表示部44に表示する。
以上説明した本発明の一実施例による画像認証システム1によると、ユーザは認証情報の生成プロセス52で第一認証情報が生成される前のディジタル画像[0]にはアクセスできない。従って、第一認証情報が生成される前のディジタル画像[0]については例え撮影者本人であっても改竄できない。生成された第一認証情報は認証サーバ3へ送信されるため、ディジタル画像へのアクセスが可能になった以降の改竄については、認証サーバ3に送信した第一認証情報と、改竄されたディジタル画像に基づいて生成した第二認証情報とを照合することで判別できる。従って、例え撮影者本人によってなされた改竄であっても判別できる。この認証サーバ3は第三者としての認証機関に設置されるため、認証機関は撮影したディジタル画像に対する改竄有無を保証できる。
【0041】
尚、本実施例ではディジタル画像を圧縮する場合を例に説明したが、必ずしも圧縮する必要はなく、圧縮が不要であれば圧縮処理を施すことなく第一認証情報を埋め込んでもよい。
【図面の簡単な説明】
【図1】画像認証システムの処理の流れを示すシーケンス図である。
【図2】画像認証システムの構成を示す模式図である。
【図3】ディジタルカメラ付き通信端末のブロック図である。
【図4】認証端末のハードウェア構成を示すブロック図である。
【図5】認証端末のハードウェア構成を示すブロック図である。
【図6】ディジタルカメラ付き通信端末におけるデータフロー図である。
【図7】改竄有無を判別する処理の流れを示すフローチャートである。
【符号の説明】
1、画像認証システム、2 携帯電話(ディジタルカメラ付き通信端末)、3 認証サーバ、4 認証端末、11 光学系、12 イメージセンサ(変換手段)、14 画像形成部(変換手段)、17 CPU(第一生成手段、埋込手段)、18 操作部(送信指示手段)、25 無線通信部(送信手段、出力手段)、30 CPU(照合結果返信手段)、33 通信部(受信手段、照合要求受信手段、照合結果返信手段)、34 記憶部(記憶手段)、40 CPU(第二生成手段、判別手段)、47 通信部(入力手段、照合要求送信手段)
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a communication terminal with a digital camera, an image authentication system using the same, and an image authentication method.
[0002]
[Prior art]
In recent years, mobile phones having a digital camera function have become widespread. For this reason, when it becomes necessary to take a proof photograph suddenly for some reason, it is expected that the chance of using a digital camera provided in a mobile phone for the photographing will increase. For example, if you take a picture of the scene to make a proof picture when claiming non-life insurance when a traffic accident occurs, if you have a mobile phone with a digital camera function, take a picture of the place with the digital camera That can be expected. However, there is a problem that a digital image recorded by a digital camera is easy to process and may be falsified and abused.
[0003]
2. Description of the Related Art Conventionally, there has been known a digital camera that outputs a digital image capable of detecting whether or not tampering has been performed (for example, Patent Document 1). According to the digital camera of Patent Literature 1, feature data (first authentication information) is generated from image data (digital image), and the generated feature data is embedded in the image data. It can be determined whether or not tampering has been performed.
[0004]
[Patent Document 1]
JP 2001-78070 A
[0005]
[Problems to be solved by the invention]
However, according to the conventional digital camera, although tampering after the feature data is embedded in the digital image can be determined, tampering by the photographer before embedding the feature data cannot be determined. If the digital image is altered by the photographer before embedding the feature data, the feature data generated based on the altered digital image will be embedded in the altered digital image. In this case, if tampering is not performed thereafter, it is only determined that there is no tampering in the determination using the embedded feature data. Therefore, a digital image that has been falsified by the photographer is treated as valid evidence.
[0006]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and has been made in consideration of a communication terminal with a digital camera capable of guaranteeing whether a captured digital image has been tampered with by a third party, an image authentication system using the same, and an image authentication method. The purpose is to provide.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a communication terminal with a digital camera according to the present invention comprises: an optical system that forms an optical image of a subject; a conversion unit that converts the formed optical image of the subject into a digital image; First generating means for generating first authentication information for determining whether the digital image has been tampered with, based on the digital image converted in step 1, transmitting means for transmitting the first authentication information to the authentication server, Output means for outputting, wherein the user can access only the digital image after the first authentication information is generated. According to this communication terminal with a digital camera, the user cannot access the digital image before the first authentication information is generated by the generation means. Therefore, the digital image before the first authentication information is generated cannot be altered even by the photographer himself. Since the generated first authentication information is transmitted to the authentication server, tampering after the digital image can be accessed is based on the first authentication information transmitted to the authentication server and the falsified digital image. It can be determined by comparing the authentication information generated with the authentication information. Therefore, even if the tampering has been performed by the photographer himself, it can be determined. If the authentication server is installed in a third-party authentication organization, if the authentication information generated based on the digital image is transmitted to the authentication organization, the third-party can assure whether the captured digital image has been tampered with. In addition, since the communication terminal with the digital camera according to the present invention transmits the first authentication information instead of transmitting the digital image itself to the authentication server, the transmission load and the storage load of the authentication server can be reduced.
[0008]
Further, the communication terminal with a digital camera according to the present invention further comprises transmission instruction means for instructing whether or not to transmit the first authentication information, wherein the transmission means is instructed to transmit by the transmission instruction means. Only the first authentication information is transmitted. According to the communication terminal with a digital camera, the user can instruct whether to transmit the first authentication information.
[0009]
Further, the communication terminal with a digital camera according to the present invention further comprises an embedding means for embedding the first authentication information as a digital watermark in the digital image, and the output means outputs the digital image in which the first authentication information is embedded. Features. According to the communication terminal with a digital camera, tampering after embedding the first authentication information can be determined as tampering based only on the digital image, and the load on the authentication server can be reduced.
[0010]
Further, the transmitting means of the communication terminal with the digital camera according to the present invention transmits a camera ID capable of uniquely identifying the communication terminal with the digital camera to the authentication server in association with the first authentication information, and the output means outputs the camera ID. It is characterized in that it is output in association with a digital image. According to this communication terminal with a digital camera, the reliability of determination of the presence or absence of tampering can be improved by transmitting and outputting the camera ID.
[0011]
To achieve the above object, an image authentication system according to the present invention is a communication terminal with a digital camera according to claim 1, an authentication server and an image authentication system using the authentication terminal, wherein the authentication server has a digital camera. Receiving means for receiving the first authentication information from the communication terminal; storage means for storing the received first authentication information; verification request receiving means for receiving the second authentication information from the authentication terminal; A verification result returning means for performing verification based on the authentication information and the second authentication information received from the authentication terminal and returning a verification result, wherein the authentication terminal includes an input means for inputting a digital image, and an input digital image. A second generation unit that generates the second authentication information from the authentication server; a verification request transmission unit that transmits the generated second authentication information to the authentication server; Characterized in that it comprises discriminating means for discriminating tampering of a digital image, a based on the results. According to this image authentication system, by installing the authentication server in an authentication institution as a third party, the third party can assure whether or not the captured digital image has been tampered with.
[0012]
Further, the storage unit of the image authentication system according to the present invention stores the first authentication information in association with the reception, and the verification result returning unit stores the first authentication information matching the second authentication information received from the authentication terminal. When stored in the first authentication information, the reception time stored in association with the first authentication information is returned in association with the collation result. According to this image authentication system, it is possible to know the approximate time when the digital image was taken, and the validity of the digital image as evidence is improved.
[0013]
Each function of the plurality of means provided in the present invention is realized by a hardware resource whose function is specified by the configuration itself, a hardware resource whose function is specified by a program, or a combination thereof. The functions of the plurality of means are not limited to those realized by hardware resources which are physically independent of each other.
Further, the present invention can be specified not only as an invention of an apparatus, but also as an invention of a program, an invention of a recording medium on which the program is recorded, and an invention of a method.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described based on examples.
FIG. 2 is a schematic diagram showing the configuration of the image authentication system 1 according to one embodiment of the present invention. The image authentication system 1 includes a mobile phone 2 as a communication terminal with a digital camera, an authentication server 3, and an authentication terminal 4. As shown, the mobile phone 2 is connected to a mobile phone network M via a base station L. The mobile phone network M is connected to a communication network N such as the Internet, and the authentication server 3 and the authentication terminal 4 are connected to the communication network N. Thereby, the mobile phone 2, the authentication server 3, and the authentication terminal 4 are communicably connected. The authentication server 3 is installed in, for example, a certification organization as a third party, and the authentication terminal 4 is installed in, for example, an insurance company.
[0015]
FIG. 3 is a block diagram illustrating a configuration of the mobile phone 2.
The wireless communication unit 25 as a transmission unit and an output unit includes a modulation / demodulation circuit, an antenna for performing wireless communication with the base station L, and the like. The wireless communication unit 25 receives various digital signals such as audio data by demodulating a signal received by an antenna, and modulates various digital signals such as audio data, a digital image, first authentication information, and a camera ID. To transmit from the antenna.
[0016]
The audio input / output unit 22 includes a D / A converter, an A / D converter, a speaker, a microphone, and the like. The audio input / output unit 22 converts the audio data input from the wireless communication unit 25 into an analog signal using a D / A converter and sounds it through a speaker, and converts the analog signal input from the microphone into a digital signal using an A / D converter. And outputs the result to the wireless communication unit 25.
[0017]
The optical system 11 includes a lens, a diaphragm, and the like housed in a housing. The optical system 11 forms an optical image of a subject on a light receiving surface of the image sensor 12.
The image sensor 12 as a conversion unit is an area image sensor including a photoelectric conversion element discretely arranged in a two-dimensional space and a charge transfer element such as a CCD (Charge Coupled Device). The image sensor 12 is driven by a sensor controller 16. The image sensor 12 accumulates charges obtained by photoelectric conversion for each photoelectric conversion element for a certain period of time, and outputs an analog signal corresponding to the amount of light received for each photoelectric conversion element. Four complementary color filters of C (Cyan), M (Magenta), Y (Yellow) and G (Green) or primary color filters of R (Red), G (Green) and B (Blue) are provided on the light receiving surface. Thus, a color image can be formed.
[0018]
An A / D converter (ADC) 13 as a conversion unit quantizes an analog signal output from the image sensor 12 and converts the analog signal into a digital signal. Specifically, for example, the ADC 13 performs a process of reducing noise included in the analog signal, a process of adjusting a level of the analog signal by adjusting a gain, a quantization process, and the like.
The image forming unit 14 as a conversion unit performs image forming processing, white balance correction, γ correction, color space conversion, and the like on the digital signal output from the ADC 13, and performs R, G, and B gradation values for each pixel. And a digital image representing gradation values of Y, Cb, and Cr. Here, the image forming process means that a digital image having three gradation values of RGB or YCbCr is obtained for each pixel by interpolating pixels consisting of density information of one color with density information of different colors of neighboring pixels. This is the output process.
[0019]
The compression / decompression unit 15 compresses or decompresses a digital image. More specifically, the digital image is compressed at a predetermined compression rate by performing series conversion and entropy coding of the digital image, and the digital image is expanded by performing the inverse transform thereof. More specifically, digital image data is compressed using, for example, discrete cosine transform (DCT), quantization, wavelet transform, run-length coding, Huffman coding, or the like. Among these, the compression / decompression unit 15 of the present embodiment performs compression using DCT, quantization, and Huffman coding. When DCT and quantization are performed, some information is discarded. Therefore, if the first authentication information is embedded in a digital image before compression, the first authentication information cannot be restored when decompressed. For this reason, the compression / decompression unit 15 outputs the digital image after the DCT and the quantization and a part of the information is discarded to the authentication information generation process 52 described later, and the authentication information embedding process 51 described later. When the digital image in which the first authentication information is embedded is output from the device, Huffman encoding, which is the remaining compression processing, is performed on the output digital image.
[0020]
The operation unit 18 as transmission instruction means includes a plurality of number switches for inputting telephone numbers and the like, a transmission switch for instructing transmission, a response switch for instructing a response, and an instruction for converting an optical image into a digital image. , And various push button switches such as a switch for selecting various menus displayed on the LCD 26.
[0021]
The LCD 26 functions as an electronic viewfinder in the shooting mode. The display controller 23 includes a frame buffer for storing data to be displayed on the LCD 26, and a display circuit for driving the LCD 26 based on the data stored in the frame buffer.
The CPU 17 controls the entire mobile phone 2 by executing a computer program stored in the ROM 19. The CPU 17 also functions as a first generation unit and an embedding unit by executing a computer program stored in the ROM 19. The ROM 19 is a memory in which computer programs and data necessary for the operation of the CPU 17 and an ID (camera ID) capable of uniquely identifying the mobile phone 2 are stored in advance. The work memory 20 is a memory for temporarily storing various programs, data, and the like. The flash memory 27 is a nonvolatile memory for storing a compressed digital image.
[0022]
FIG. 4 is a block diagram illustrating a hardware configuration of the authentication server 3. The authentication server 3 includes a CPU 30, a ROM 31, a RAM 32, and a storage unit 34 as a storage unit, and a communication unit 33 as a reception unit, a collation request reception unit, and a collation result return unit. I have. The CPU 30 executes a computer program stored in the ROM 31 or the storage unit 34 to control the entire authentication server 3. The CPU 30 also functions as a verification result returning unit by executing a computer program. Further, the CPU 30 causes the authentication server 3 to function as a database by executing the database management program. The ROM 31 is a memory in which programs and data necessary for the operation of the CPU 30 are stored in advance. The RAM 32 is a memory that temporarily stores various programs, data, and the like. The storage unit 34 is configured by a hard disk or the like, and stores data such as an operating system (OS), various computer programs, first authentication information, a camera ID, and reception time. The communication unit 33 is configured to be connectable to the communication network N by a modem, a network interface card, or the like.
[0023]
FIG. 5 is a block diagram illustrating a hardware configuration of the authentication terminal 4. The authentication terminal 4 includes a CPU 40, a ROM 41, a RAM 42, a communication unit 47 as an input unit and a verification request transmission unit, a storage unit 45, an operation unit 43, and a display unit 44, which are interconnected by a bus 48. The CPU 40 executes a computer program stored in the ROM 41 or the storage unit 45 to control the entire authentication terminal 4. The CPU 40 also functions as a second generation unit and a determination unit by executing a computer program. The operation unit 43 includes a mouse, a keyboard, and the like, and is used for selecting a digital image that requires the authentication server 3 to perform verification. The display unit 44 is composed of a CRT, an LCD (Liquid Crystal Display), or the like, and displays a screen for selecting a digital image, a screen for notifying the result of determining whether there is tampering, and the like.
[0024]
These programs and various data may be input by downloading from a predetermined server via a network, or may be input by reading from a computer-readable storage medium such as a removable memory (not shown).
FIG. 6 is a data flow diagram in the mobile phone 2.
The authentication information generation process 52 is a process of generating first authentication information for determining whether the digital image has been tampered with based on the digital image. When the digital image [0] that has been subjected to DCT conversion and quantization is output from the compression / decompression unit 15, the authentication information generation process 52 performs first authentication based on the output digital image [0]. Information is generated, and the digital image [1] after the generation of the first authentication information and the generated first authentication information are output to the authentication information embedding process 51. Further, the generated first authentication information is output to the authentication information transmission process 55. The authentication information generation process 52 specifically calculates a hash value of the digital image using a hash function such as MD5, SHA, and RIPEMD, and uses the calculated hash value as first authentication information. Thereby, the first authentication information is generated. By using the hash function, different first authentication information can be generated for each digital image. In the present embodiment, the first authentication information is generated by a hash function. However, any method other than the hash function, such as a checksum or a CRC method, may be used as long as it can detect whether or not the digital image has been changed from the original. May be used.
[0025]
The authentication information embedding process 51 is a process of embedding the first authentication information as a digital watermark in a digital image. When the digital image [1] and the first authentication information are output from the authentication information generation process 52, the authentication information embedding process 51 embeds the first authentication information in the digital image [1] and performs the first authentication. The digital image [2] in which the information is embedded is output to the compression / expansion unit 15. The output digital image [2] is subjected to Huffman encoding, which is the remaining processing for compression, in the compression / decompression unit 15, and the compressed digital image [2] is output to the file management process 53. The embedding of the first authentication information is specifically performed by, for example, a patchwork method. The patchwork method is a method of embedding information by causing a statistical bias in a digital image. When there are a subset A = {a1, a2,..., An} and a subset B = {b1, b2,. A digital image has a property that an expected value Y of a difference between pixel values represented by the following equation is substantially zero.
Y = Σ (ai−bi) / N
According to this property, when “X” is added to each pixel value of the subset A and “X” is subtracted from each pixel value of the subset B, the expected value Y becomes substantially “2X”. Conversely, when "X" is subtracted from each pixel value of subset A and "X" is added to each pixel value of subset B, expected value Y becomes substantially "-2X". Accordingly, a certain positive / negative threshold value is set, and it can be determined that “1” is embedded when the expected value Y is larger than the positive threshold value, and “0” is embedded when the expected value Y is smaller than the negative threshold value. It can be determined that it has not been done. Thereby, information of one bit can be embedded. Therefore, assuming that a 128-bit hash value is generated, the first authentication information can be embedded as a digital watermark by dividing the digital image into 256 subsets. In order to extract embedded information, information for specifying a subset divided at the time of embedding is required. It is known to use a white noise mask as a method of dividing the pixels constituting the digital image into subsets on the embedding side and a method of uniquely specifying the divided subset on the extraction side. In the authentication information embedding process 51, specifically, for example, a white noise mask used by the authentication terminal 4 to specify the subset is stored in the ROM in advance, and the digital image is divided into subsets using the stored white noise mask. . When a white noise mask is used, the number of elements of a subset is substantially uniform, does not overlap each other, and pixels constituting one subset can be selected from the entire digital image in a well-balanced manner. When the digital watermark is embedded, tampering after embedding the first authentication information can be determined based only on the digital image. Therefore, the load on the authentication server 3 can be reduced.
[0026]
The file management process 53 is a process for centrally managing writing and reading of a digital image to and from the flash memory 27. When the digital image [2] after compression is output from the compression / expansion unit 15, the file management process 53 stores the output digital image in the flash memory 27. At this time, the file management process 53 does not store the digital image [2] as it is, but stores the digital image [3] obtained by adding the photographing time and the camera ID to the digital image [2]. Thereby, the camera ID and the shooting time are associated with the digital image. Here, the time of photographing refers to the date and time when the digital image [2] was output to the file management process 53, and it is assumed that when the digital image [2] was output, the digital image [2] was acquired from a timing unit (not shown). It is preferable that the timekeeping unit periodically corrects the date and time via the wireless communication unit 25. Further, the file management process 53 provides the user with an interface for accessing the digital image [3] stored in the flash memory 27. For example, when the user selects digital image [3] from a predetermined menu and instructs display, or instructs transmission, the selected digital image [3] is stored in the flash memory 27 via the file management process 53. Read from. That is, the user can access the digital image only through the file management process 53. As is apparent from FIG. 6, the flash memory 27 stores the digital image [3] in which the first authentication information is generated and embedded. Therefore, the user cannot access the digital image [0] before the first authentication information is generated.
[0027]
The authentication information transmission process 55 is a process in which the generated first authentication information and the camera ID are associated with each other and transmitted to the authentication server 3 via the communication network N. The authentication information transmission process 55 stores the first authentication information and the camera ID in one message to be transmitted, and transmits the camera ID in association with the first authentication information.
The image output process 56 is a process of outputting a digital image. Specifically, the image output process 56 outputs the image by transmitting it to the authentication terminal 4 via the communication network N by the wireless communication unit 25, for example. When the mobile phone 2 includes a storage unit using a removable storage medium such as a removable memory, the digital image is output by writing to the storage medium, and the digital image is passed to the authentication terminal 4 via the storage medium. Good.
[0028]
FIG. 1 is a sequence diagram showing a flow of processing of the image authentication system 1.
In S105, the mobile phone 2 receives an instruction whether to transmit the first authentication information. Specifically, for example, a screen for selecting an instruction is displayed, and when either “transmit” or “do not transmit” is selected by the user, information corresponding to the selection is stored in a predetermined area of the work memory 20. Store. For example, when “transmit” is selected, information indicating transmission is stored. If it is possible to instruct whether or not to transmit the first authentication information, it is possible to prevent the unnecessary transmission of the first authentication information to the authentication server 3 for digital images that do not need to be verified.
[0029]
In S110, an optical image is formed on the image sensor 12 by the optical system 11.
In S115, the optical image is converted into a digital image. More specifically, the formed optical image is converted into an analog signal by the image sensor 12, and is subjected to predetermined processing by the ADC 13 to be converted into a digital signal representing the subject. Next, the image forming section 14 performs predetermined image processing on the converted digital signal. This converts the optical image into a digital image. Next, the compression / expansion unit 15 performs compression processing up to DCT and quantization on the converted digital image, and outputs the digital image in the middle of compression to the authentication information generation process 52.
[0030]
In S120, by executing the authentication information generation process 52, the first authentication information for determining whether the digital image has been tampered with is generated based on the digital image. The authentication information generation process 52 outputs the digital image and the first authentication information after generating the first authentication information to the authentication information embedding process 51, and outputs the first authentication information to the authentication information transmission process 55. .
[0031]
In S125, the first authentication information is embedded in the digital image by executing the authentication information embedding process 51. The digital image after the first generation information is embedded is subjected to the remaining compression processing by the compression / decompression unit 15, and then output to the file management process 53 and stored in the flash memory 27.
In S130, it is determined whether to transmit the first authentication information. If it is instructed to transmit in S105, the process proceeds to S135. If it is instructed not to transmit, the process proceeds to S145 without transmitting.
[0032]
In S135, the authentication information transmitting process 55 is executed, and the first authentication information and the camera ID are transmitted to the authentication server 3 in association with the first authentication information. In general, the possibility that the first authentication information matches in different digital images is sufficiently low, but the possibility of using the camera ID in addition to the first authentication information can be further reduced. As a result, it is possible to further reduce the possibility that a record registered for another digital image will be searched in a database search described later, and it is possible to improve the reliability of determining whether a digital image has been tampered with.
[0033]
In S140, the authentication server 3 registers the received first authentication information and camera ID, and the reception time indicating the reception date and time as one record in the database. Here, the time of reception refers to the information indicating the date and time of reception in the present embodiment, but the time of reception may be information indicating only the date of reception or only the time of reception. May be information representing In the case of a date, the date may be a date or only a date, and these may be appropriately determined as necessary.
[0034]
In S145, the mobile phone 2 outputs to the authentication terminal 4 a digital image in which the first authentication information is embedded as a digital watermark and the camera ID and the time of shooting are added.
In S150, the authentication terminal 4 extracts the first authentication information from the digital image, and generates the second authentication information from the digital image from which the first authentication information has been extracted. The extraction of the first authentication information is performed by using the same white noise mask as in the authentication information embedding process 51. Specifically, the camera ID and the shooting time added first are taken out, and the digital image is returned to the state before the information was added. Next, after expanding the digital image, a subset is specified by a white noise mask, and the embedded bit information is determined. By repeating this for the bit length of the first authentication information, the first authentication information is specified. Next, the digital image is returned to the state before embedding by executing a process reverse to the authentication information embedding process 51. Thereby, the first authentication information is extracted. The second authentication information is generated by using the same hash function as the authentication information generation process 52 on the digital image from which the first authentication information has been extracted. Therefore, if the digital image has not been tampered with, the first authentication information and the second authentication information match.
[0035]
In S155, the first authentication information extracted in S150 and the generated second authentication information are compared, and if they match, information representing "match" is stored in a predetermined area of the RAM 42, and the process proceeds to S160. If they do not match, information indicating "does not match" is stored, and the flow advances to S175.
In S160, a request is made to the authentication server 3 for verification. Specifically, the request is made by transmitting the second authentication information and the camera ID to the authentication server 3.
[0036]
In S165, the authentication server 3 performs collation based on the second authentication information and the camera ID received from the authentication terminal 4, and the first authentication information and the camera ID registered in the database. Specifically, for example, the database is searched using the second authentication information and the camera ID received from the authentication terminal 4 as search conditions, and “1” is set if a record that matches both is searched, and “0” is set if not found. Make it the collation result.
[0037]
In S170, the collation result is returned to the authentication terminal 4. Specifically, either "0" or "1" is transmitted. When it is “1”, the reception time stored in the searched record is also transmitted.
In S175, the authentication terminal 4 receives the collation result and the reception time, and determines whether or not tampering has occurred. Details of the process of S175 will be described later.
[0038]
FIG. 7 is a flowchart showing the flow of the process of determining whether there is tampering in S175.
In S205, it is determined whether the information stored in the predetermined storage area of the RAM 42 indicates "match" or "not match". If it represents “match”, the process proceeds to S210, and if it represents “not match”, the process proceeds to S225.
[0039]
In S210, the value of the collation result is determined. If the collation result is "0", the process proceeds to S225, and if it is "1", the process proceeds to S215.
In S215, the time of reception and the time of shooting are compared. If the difference is equal to or greater than a preset threshold, the possibility that the digital image has been tampered with from the time specified at the time of shooting to the time specified at the time of reception cannot be denied, and the process proceeds to S225. If it is less than the threshold, the process proceeds to S220.
[0040]
In S220, it is determined that there is no tampering, and information indicating that there is no tampering is displayed on the display unit 44.
In S225, it is determined that there is tampering, and information indicating that there is a possibility of tampering is displayed on the display unit 44.
According to the image authentication system 1 according to the embodiment of the present invention described above, the user cannot access the digital image [0] before the first authentication information is generated in the authentication information generation process 52. Therefore, the digital image [0] before the first authentication information is generated cannot be altered even by the photographer himself. Since the generated first authentication information is transmitted to the authentication server 3, any tampering after the access to the digital image becomes possible, the first authentication information transmitted to the authentication server 3 and the falsified digital image Can be determined by collating with the second authentication information generated based on. Therefore, even if the tampering has been performed by the photographer himself, it can be determined. Since the authentication server 3 is installed in a third-party authentication organization, the authentication organization can guarantee the falsification of the captured digital image.
[0041]
In this embodiment, the case where the digital image is compressed has been described as an example. However, it is not always necessary to compress the digital image. If the compression is unnecessary, the first authentication information may be embedded without performing the compression process.
[Brief description of the drawings]
FIG. 1 is a sequence diagram illustrating a flow of processing of an image authentication system.
FIG. 2 is a schematic diagram illustrating a configuration of an image authentication system.
FIG. 3 is a block diagram of a communication terminal with a digital camera.
FIG. 4 is a block diagram illustrating a hardware configuration of an authentication terminal.
FIG. 5 is a block diagram illustrating a hardware configuration of an authentication terminal.
FIG. 6 is a data flow diagram in a communication terminal with a digital camera.
FIG. 7 is a flowchart illustrating a flow of a process of determining whether there is tampering.
[Explanation of symbols]
1, image authentication system, 2 mobile phone (communication terminal with digital camera), 3 authentication server, 4 authentication terminal, 11 optical system, 12 image sensor (conversion unit), 14 image forming unit (conversion unit), 17 CPU ( One generation means, embedding means), 18 operation section (transmission instruction means), 25 wireless communication section (transmission means, output means), 30 CPU (collation result return means), 33 communication section (reception means, collation request reception means) , Collation result reply means), 34 storage unit (storage means), 40 CPU (second generation means, discrimination means), 47 communication unit (input means, collation request transmission means)

Claims (7)

被写体の光学像を結像させる光学系と、
結像された被写体の光学像をディジタル画像に変換する変換手段と、
前記変換手段で変換されたディジタル画像に基づいて当該ディジタル画像に対する改竄有無を判別するための第一認証情報を生成する第一生成手段と、
第一認証情報を認証サーバに送信する送信手段と、
ディジタル画像を出力する出力手段と、
を備え、ユーザは第一認証情報が生成された後のディジタル画像にのみアクセス可能であることを特徴とするディジタルカメラ付き通信端末。
An optical system that forms an optical image of the subject,
Conversion means for converting the optical image of the formed subject into a digital image,
First generating means for generating first authentication information for determining whether the digital image has been tampered with based on the digital image converted by the converting means,
Transmitting means for transmitting the first authentication information to the authentication server;
Output means for outputting a digital image;
A communication terminal with a digital camera, wherein the user can access only the digital image after the first authentication information is generated.
第一認証情報を送信するか否かを指示するための送信指示手段を更に備え、
前記送信手段は、前記送信指示手段により送信するよう指示されているときのみ第一認証情報を送信することを特徴とする請求項1に記載のディジタルカメラ付き通信端末。
Further comprising transmission instruction means for instructing whether to transmit the first authentication information,
2. The communication terminal with a digital camera according to claim 1, wherein the transmission unit transmits the first authentication information only when the transmission instruction unit instructs transmission.
ディジタル画像に第一認証情報を電子透かしとして埋め込む埋込手段を更に備え、
前記出力手段は、第一認証情報が埋め込まれたディジタル画像を出力することを特徴とする請求項1又は2に記載のディジタルカメラ付き通信端末。
Further comprising an embedding means for embedding the first authentication information as a digital watermark in the digital image,
The communication terminal with a digital camera according to claim 1, wherein the output unit outputs a digital image in which the first authentication information is embedded.
前記送信手段は、当該ディジタルカメラ付き通信端末を一意に識別可能なカメラIDを前記認証サーバに第一認証情報と関連付けて送信し、
前記出力手段は、前記カメラIDをディジタル画像と関連付けて出力することを特徴とする請求項1、2又は3に記載のディジタルカメラ付き通信端末。
The transmitting means transmits a camera ID capable of uniquely identifying the communication terminal with the digital camera to the authentication server in association with the first authentication information,
The communication terminal with a digital camera according to claim 1, wherein the output unit outputs the camera ID in association with a digital image.
請求項1に記載のディジタルカメラ付き通信端末、認証サーバ及び認証端末を用いた画像認証システムであって、
前記認証サーバは、前記ディジタルカメラ付き通信端末から第一認証情報を受信する受信手段と、受信した第一認証情報を記憶する記憶手段と、前記認証端末から第二認証情報を受信する照合要求受信手段と、前記記憶手段に記憶した第一認証情報及び前記認証端末から受信した第二認証情報に基づいて照合を行い、照合結果を返信する照合結果返信手段と、を備え、
前記認証端末は、ディジタル画像を入力する入力手段と、入力したディジタル画像から第二認証情報を生成する第二生成手段と、生成した第二認証情報を前記認証サーバに送信する照合要求送信手段と、前記認証サーバから受信した照合結果に基づいてディジタル画像の改竄有無を判別する判別手段と、を備えることを特徴とする画像認証システム。
An image authentication system using the communication terminal with a digital camera according to claim 1, an authentication server, and an authentication terminal,
The authentication server includes a receiving unit that receives the first authentication information from the communication terminal with the digital camera, a storage unit that stores the received first authentication information, and a verification request reception that receives the second authentication information from the authentication terminal. Means, and a collation result return means for performing collation based on the first authentication information stored in the storage means and the second authentication information received from the authentication terminal, and returning a collation result,
The authentication terminal includes an input unit that inputs a digital image, a second generation unit that generates second authentication information from the input digital image, and a verification request transmission unit that transmits the generated second authentication information to the authentication server. Determining means for determining whether or not the digital image has been tampered with based on the collation result received from the authentication server.
前記記憶手段は、第一認証情報を受信時に関連付けて記憶し、前記照合結果返信手段は、前記認証端末から受信した第二認証情報に一致する第一認証情報が前記記憶手段に記憶されているとき、当該第一認証情報に関連付けて記憶されている受信時を照合結果に関連付けて返信することを特徴とする請求項5に記載の画像認証システム。The storage unit stores the first authentication information in association with the time of reception, and the verification result return unit stores the first authentication information that matches the second authentication information received from the authentication terminal in the storage unit. 6. The image authentication system according to claim 5, wherein the time of reception stored in association with the first authentication information is returned in association with the collation result. ディジタルカメラ付き通信端末、認証サーバ及び認証端末を用いた画像認証方法であって、
前記ディジタルカメラ付き通信端末において、被写体の光学像をディジタル画像に変換する変換段階と、前記変換段階で変換されたディジタル画像に基づいて当該ディジタル画像に対する改竄有無を判別するための第一認証情報を生成する第一生成段階と、生成した第一認証情報を前記認証サーバに送信する送信段階と、ディジタル画像を出力する出力段階と、
前記認証サーバにおいて、前記ディジタルカメラ付き通信端末から第一認証情報を受信する受信段階と、受信した第一認証情報を記憶手段に記憶する記憶段階と、
前記認証端末において、ディジタル画像を入力する入力段階と、入力したディジタル画像から第二認証情報を生成する第二生成段階と、生成した第二認証情報を前記認証サーバに送信する照合要求送信段階と、
前記認証サーバにおいて、前記認証端末から第二認証情報を受信する照合要求受信段階と、前記記憶手段に記憶した第一認証情報及び前記認証端末から受信した第二認証情報に基づいて照合を行い、照合結果を返信する照合結果返信段階と、
前記認証端末において、前記認証サーバから受信した照合結果に基づいてディジタル画像の改竄有無を判別する判別段階と、
を含み、ユーザは第一認証情報が生成された後のディジタル画像にのみアクセス可能であることを特徴とする画像認証方法。
An image authentication method using a communication terminal with a digital camera, an authentication server and an authentication terminal,
In the communication terminal with a digital camera, a conversion step of converting an optical image of a subject into a digital image; A first generating step of generating, a transmitting step of transmitting the generated first authentication information to the authentication server, and an output step of outputting a digital image,
In the authentication server, a receiving step of receiving first authentication information from the communication terminal with a digital camera, and a storing step of storing the received first authentication information in a storage unit,
In the authentication terminal, an input step of inputting a digital image, a second generation step of generating second authentication information from the input digital image, and a verification request transmission step of transmitting the generated second authentication information to the authentication server. ,
In the authentication server, a verification request receiving step of receiving second authentication information from the authentication terminal, and performs verification based on the first authentication information stored in the storage unit and the second authentication information received from the authentication terminal, A verification result returning step of returning a verification result,
A determination step of determining whether the digital image has been tampered with, based on the verification result received from the authentication server,
Wherein the user is able to access only the digital image after the first authentication information is generated.
JP2003013576A 2003-01-22 2003-01-22 Communication terminal with digital camera, image authentication system using it, and image authentication method Withdrawn JP2004228866A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003013576A JP2004228866A (en) 2003-01-22 2003-01-22 Communication terminal with digital camera, image authentication system using it, and image authentication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003013576A JP2004228866A (en) 2003-01-22 2003-01-22 Communication terminal with digital camera, image authentication system using it, and image authentication method

Publications (1)

Publication Number Publication Date
JP2004228866A true JP2004228866A (en) 2004-08-12

Family

ID=32901867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003013576A Withdrawn JP2004228866A (en) 2003-01-22 2003-01-22 Communication terminal with digital camera, image authentication system using it, and image authentication method

Country Status (1)

Country Link
JP (1) JP2004228866A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186914A (en) * 2018-03-31 2019-10-24 株式会社リコー Communication terminal, communication system, communication method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186914A (en) * 2018-03-31 2019-10-24 株式会社リコー Communication terminal, communication system, communication method, and program

Similar Documents

Publication Publication Date Title
KR100610558B1 (en) Electronic apparatus having a communication function and an image pickup function, image display method and recording medium for stroring image display program
US8055900B2 (en) Information processing apparatus, information processing system, information processing method, storage medium and program
US7783890B2 (en) Multimedia recording apparatus, object-specifying information providing apparatus, server apparatus, verification apparatus, multimedia recording method, object-specifying information providing method, server method, verification method, and multimedia recording system
US7545938B2 (en) Digital watermarking which allows tampering to be detected on a block-specific basis
JP2000152148A (en) Electronic camera
Denemark et al. Model based steganography with precover
US20040169892A1 (en) Device and method for generating a print, device and method for detecting information, and program for causing a computer to execute the information detecting method
US7868933B2 (en) Imaging device
US20040141630A1 (en) Method and apparatus for augmenting a digital image with audio data
CN112585605A (en) Information processing system, information processing method, terminal device, and information processing device
JP2001309159A (en) Recorder
JP2004228866A (en) Communication terminal with digital camera, image authentication system using it, and image authentication method
EP1289308B1 (en) Image generating system
JP4353467B2 (en) Image server and control method thereof
KR100973302B1 (en) A watermarking method of the mobile terminal for multimedia forensic
US20050044482A1 (en) Device and method for attaching information, device and method for detecting information, and program for causing a computer to execute the information detecting method
KR20090048738A (en) Apparatus and method for inserting and extracting watermark based on photographed image
JP3431130B2 (en) Digital camera function addition method and recording medium
JP3528700B2 (en) Digital camera and image tampering detection system
JP4223940B2 (en) Image generation apparatus, portable terminal, image generation method, image display method, and program
JP2004158999A (en) Color image reading and recording apparatus
JP2004112303A (en) Image processing method, image processor, and image processing system
KR100895075B1 (en) Watermark hiding and detection method of the camera phone for preventing illegal picture-taking
KR101015753B1 (en) Mobile terminal having a function of transmitting a document image and image converting method therefor
CN101478395B (en) Processing method in authentication process and a mobile phone

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060404