JP2017526195A - 変調光源からの照光から復号されたタイムスタンプを使用する、捕捉された画像の検証 - Google Patents

Abstract

光源からの光によって照光される環境の、カメラによって捕捉された画像を受信するための入力と、画像処理モジュールと、検証モジュールとを備えるデバイス。画像処理モジュールは、画像の１つ又は複数を処理して、光に変調されたタイムスタンプを復号し、及び復号されたタイムスタンプの表示を出力するように構成される。検証モジュールは、画像処理モジュールによって出力された復号されたタイムスタンプの表示を受信し、及びその表示に基づいて、１つ又は複数の画像が捕捉された時点の少なくとも部分的に自動化された検証を実施するように構成される。

Description

本開示は、例えば、ハンドヘルド民生用カメラ等のＣＣＴＶカメラ又は他のカメラによる画像捕捉及び画像処理の分野に関し、詳細には、捕捉された画像を、その画像が捕捉された時点を記録するタイムスタンプと共に記録することに関する。

画像捕捉は、単一の静止画、又は時間にわたって一連の画像を捕捉することを含むことがある。何れの場合も、画像が処理されるとき、これは、それぞれのタイムスタンプを各画像に関連付けることを含むことがある。タイムスタンプは、カメラ（例えばＣＣＴＶカメラ）によって、カメラ独自の内部クロックからの時点を画像又は画像ファイルにタグ付け又はスタンプすることによって追加される。これは、画像が捕捉された時点の表示を提供する。

しかし、タイムスタンプが画像と関連付けられている場合、タイムスタンプが改竄されているという問題があり得る。タイムスタンプが画像と関連付けられていない場合、これは、画像が捕捉された時点が分からないという問題を生じ得る。

本明細書で開示する一態様によれば、可視光で環境を照光するための光源と、環境の画像を捕捉して記録するための画像捕捉装置とを備える画像捕捉システムが提供される。光源は、その光出力に現在時点表示を符号化するように構成され、時間捕捉装置は、環境の１つ又は複数の画像を捕捉するように構成されたカメラを備える。画像捕捉システムは、画像の１つ又は複数を処理して、光に符号化されたタイムスタンプを復号し、復号されたタイムスタンプの表示を出力するように構成された画像処理モジュールと、画像処理モジュールによって出力された復号されたタイムスタンプの表示を受信し、その表示に基づいて、１つ又は複数の画像が捕捉された時点の少なくとも部分的に自動化された検証を実施するように構成された検証モジュールとを更に備える。

従って、光源は、実質的に２つの機能を有する。即ち、光源は、一次機能としての照光機能と、二次機能としてのデータ通信機能とを有する。更に、その画像／各画像に関して、プロセッサ（カメラの一部であるか、又はカメラとは別個であり得る）が、符号化光画像処理技法を使用して、画像からタイムスタンプを決定し、このタイムスタンプに基づいて、画像が捕捉された時点の少なくとも部分的に自動化された検証を実施する。

決定された時間は、画像が捕捉されたときの表示として画像と関連付けら得、又は画像と関連付けられている既存のタイムスタンプを検証するために使用され得る。従って、この技法は、一種の「電子透かし」とみなされ得、これは、画像が捕捉されたときに関する検証を可能にする。画像素材自体と組み合わされたタイムスタンプは、単純な「そこにいた証明」を表すことができる。例えば、特定の場所、例えばＡＴＭ付近又は目標物付近にいる人物を画像が示すとき、画像内のタイムスタンプは、画像と共に、この人物がそのタイムスタンプでその場所にいたことの証明を提供する。

幾つかの実施形態では、タイムスタンプに加えて、光に変調されたデータが、光源又は環境の場所を示す情報を更に含み、この情報は、１つ又は複数の画像が捕捉された場所を検証するために使用され得る。例えば、この情報は、光に明示的に符号化された場所の座標若しくは名称を含み得、又は場所データベース内の場所にマッピングされた光源の識別子を含み得、画像処理モジュールは、この識別子に基づいて場所データベースから場所を探索するように構成される。

この場合、「電子透かし」は、画像が捕捉されたとき及び場所の検証を可能にする。

更なる実施形態では、検証モジュールは、前記画像から現在復号されたタイムスタンプを、以前に決定された（例えば捕捉の時点で決定された）タイムスタンプのバージョンと比較することによって、前記少なくとも部分的に自動化された検証を実施するように構成される。例えば、画像処理モジュールは、少なくとも１つの画像ファイル内に１つ又は複数の画像を記憶するように構成され得、前記出力は、復号されたタイムスタンプを画像ファイルのメタデータとして画像ファイル内に記憶することを含み得、画像処理モジュールは、１つ又は複数の記憶されている画像から後で再びタイムスタンプを復号するように構成され得、且つ検証モジュールは、後で復号されたタイムスタンプとメタデータ内の記憶されているタイムスタンプとを比較して、記憶されているタイムスタンプを検証することによって、前記少なくとも部分的に自動化された検証を実施するように構成され得る。代替として又は追加として、別の実施例として、カメラは、それ自体のタイムスタンプを前記１つ又は複数の画像の少なくとも１つに追加し得、検証モジュールは、カメラ自体のタイムスタンプを復号されたタイムスタンプと比較してカメラのタイムスタンプを検証することによって、前記少なくとも部分的に自動化された検証を実施するように構成され得る。

本明細書で開示する別の態様によれば、光源からの可視光によって照光される環境の、カメラによって捕捉された画像を受信するための入力と、画像処理モジュールと、検証モジュールとを備えるデバイスが提供される。画像処理モジュールは、画像の１つ又は複数を処理して、光に符号化されたタイムスタンプを復号し、復号されたタイムスタンプの表示を出力するように構成される。検証モジュールは、画像処理モジュールによって出力された復号されたタイムスタンプの表示を受信し、その表示に基づいて、１つ又は複数の画像が捕捉された時点の少なくとも部分的に自動化された検証を実施するように構成される。

別の態様によれば、コンピュータ可読媒体に具現化され、且つデバイス上で実行されると、画像処理モジュールの操作を実施するように構成されたコードを備えるコンピュータプログラム製品が提供される。

本明細書で開示する更に別の態様によれば、光源から放出された光を使用して、環境を照光するステップと、光源によって放出された光に、現在時点値を示すタイムスタンプを符号化するステップと、カメラを使用して、前記環境の１つ又は複数を捕捉するステップと、画像の少なくとも１つを処理して、前記光に符号化されたタイムスタンプを決定するステップと、前記処理によって決定されたタイムスタンプに基づいて、少なくとも１つの画像が捕捉された時点の少なくとも部分的に自動化された検証を実施するステップとを含む方法が提供される。

本開示の理解を促進するため、及び実施形態がどのように実現されるかを示すために、例として添付図面を参照する。

光を放出して画像を捕捉するためのシステムを概略的に示す。 光を放出して画像を捕捉するための別のシステムを示す。 光源及びカメラの概略ブロック図である。 光を放出する方法を示すフローチャートである。 画像を捕捉及び処理する方法を示すフローチャートである。 組み込まれたグラフィック要素を含む捕捉された画像を概略的に示す。 メタデータを含む画像ファイルを概略的に示す。 ローリングシャッタカメラの画像捕捉要素を概略的に示す。 ローリングシャッタによる、変調された光の捕捉を概略的に示す。

図１〜図３は、１つ又は複数の対象物６を含む環境を照光するための光源２と、環境の画像を捕捉するためのカメラを備える画像捕捉装置４とを備える画像捕捉システムを示す。例えば、カメラ４は、ＣＣＴＶ（閉回路テレビジョン）カメラ等のセキュリティカメラであり得る。光源２とカメラ４とは、図１に示されるように別個のユニットであり得、又は代替として、図２に示されているように同じユニットに一体化され得る。例えば図１の場合、光源２は、環境を全体的に照光するという主目的のために環境に設置又は他に配置された照明器具であり得る。図２の場合、光源２は、捕捉対象のシーンを照光する目的でカメラと一体化された専用の光源であり得る。対象物６は、特定の時点及び／又は場所にいたことを検証されることが望まれる人物、又は対象の時点及び／又は場所にあったことを検証されることが望まれる任意の他の物体であり得る。

光源２は、その光出力に現在時点表示を符号化するように構成される。図３を参照すると、光源２は、照明要素１４（例えば１つ又は複数のＬＥＤを備える）と、照明要素１４からの光の放出を制御するためにドライバ１２を介して接続された制御装置１０とを備える。また、光源２は、クロック若しくは他の形態のタイマ１６を備え、又はクロック１６へのアクセスを有し、光源２は、クロック１６から、現在の時点（例えば、現在の日時及び／又は時刻、又は何らかの出来事若しくは規定の時点からの経過時間）を示す現在時点値を導出するように構成される。更に、光源２は、磁気メモリ（例えばハードディスク）又は電子メモリ（例えばフラッシュ）等のメモリ１８を備え得る。制御装置１０は、クロック又はタイマ１６からの現在時点値を読み取り、符号化光技術を使用して光を変調することによって、照明要素１４によって放出された光にこの現在時点値を符号化するように構成される。幾つかの実施形態では、制御装置１０は、任意選択的に、光源２のＩＤ等の他の情報を符号化光に含み得る。このような他の情報は、メモリ１８から検索されても、ネットワークを介して受信され得る。

符号化光は、光源によって放出された可視光に信号が埋め込まれる技法を表す。従って、光は、部屋等のターゲット環境を照光するための可視照光寄与（典型的には光の主目的）と、環境内に情報を提供するための埋め込まれた信号とを含む。これを実現するために、光は、特定の変調周波数で変調される。例えば、異なるシンボルを表現するために高周波数での異なるレベル間で光の振幅が切り替えられ得る（振幅キーイング）か、又はシンボルを表現するために２つ以上の異なる周波数間で変調周波数が切り替えられ得る（周波数シフトキーイング）。光にデータを符号化するための技法は、それ自体、当業者に良く知られている。

幾つかの実施形態では、制御装置１０は、光源２のメモリ（例えばメモリ１８）に記憶されたソフトウェアとして実装され、光源のプロセッサ上で実行されるように構成され得る。代替として、制御装置１０の機能の幾つか又は全てが、専用ハードウェア回路構成、又はＰＧＡ若しくはＦＰＧＡ等の構成可能若しくは再構成可能なハードウェアとして実装され得ることも除外されない。一部又は全体がソフトウェアベースである実装形態の場合、クロック又はタイマ１６は、プロセッサの汎用クロック又はタイマを、それに基づいて関連する現在時点の表現を決定するように構成された制御装置のソフトウェアと組み合わせて備え得る。

制御装置１０及び／又はクロック若しくはタイマ１６は、光源２と同じユニット又は器具に一体化されても、光源２の外部にあり得る（例えば、ネットワークを介して光源２に命令を与える）。

受信機側で、画像捕捉装置４はカメラ２０を備え、カメラ２０は、環境の画像又は一連の画像を捕捉するように構成される。画像捕捉装置４は画像処理モジュール２２も備え、画像処理モジュール２２は、捕捉された画像をカメラ２０の出力から受信し、それらの画像を検証モジュール２３に供給するように接続される。更に、画像捕捉装置はメモリ２４を備え、捕捉された画像がそこに記憶される。

画像処理モジュール２２は、画像捕捉装置４のメモリ（例えばメモリ２４）に記憶されたソフトウェアの一部として実装され、画像捕捉装置４のプロセッサ上で実行されるように構成され得る。代替として、画像処理モジュール２２の機能の幾つか又は全てが、専用ハードウェア回路構成、又はＰＧＡ若しくはＦＰＧＡ等の構成可能若しくは再構成可能なハードウェアとして実装され得る。画像処理モジュール２２は、カメラ２０と同じユニットに一体化されるか、又はカメラ２０とは別個であり得る（例えば別個のコンピュータ上で実行される）。

捕捉された各画像に関して、画像処理モジュール２２は、画像内の光源の光フットプリント８の位置を特定し、次いで符号化光画像処理技法を使用して、その光フットプリント８から、画像が捕捉された時点を決定する。例えば、欧州特許第２，５０３，８５２号は、ローリングシャッタタイプ技法が、符号化光成分によって信号伝送されたデータを検出するだけでなく、環境内の任意の他の光成分から分離された個々の符号化光成分の空間フットプリントも検出するために使用され得る態様を表す。

光源２からの光が画像内に捕捉される限り（例えば、光は、反射光、又は拡散器を通して受け取られた光を含み得る）、捕捉された画像内に光源２自体が現れる必要はないことに留意されたい。

図８は、カメラ２０の画像捕捉要素３６を表す。画像捕捉要素３６は、各画素に入射する光を表す信号を捕捉するための画素のアレイ、例えば典型的には正方形又は長方形画素の正方形又は長方形アレイを備える。ローリングシャッタカメラでは、画素は、複数のライン、例えば水平の行３８として配列され、これらの行３８がライン毎に順次に露光される。即ち、所与のフレームを捕捉するために、まず、ターゲット環境内の光に１つのライン３８が露光され、次いでわずかに後の時点に、シーケンス中の次のラインが露光され、以下同様である。典型的には、シーケンスは、フレームを横切って順番に、例えば上の行から下の行へと「ロール」し、従って「ローリングシャッタ」と呼ばれる。符号化光を捕捉するために使用されるとき、これは、フレーム内の異なるラインが異なる時点に光を捕捉することを意味し、従って、変調周波数に比べてラインレートが十分に高い場合には、変調波形の異なる位相で光を捕捉することを意味する。従って、光の変調が検出され得る。

例えば国際公開第２０１２／１２７４３９号に、このタイプの「ローリングシャッタ」カメラを使用して符号化光が検出され得る態様が開示されている。その信号検出は、ローリングシャッタ画像捕捉を利用し、これは、画素からなる連続する画像列にわたって、時間的な光変調を空間的な強度変化に変える。

国際公開第２０１２／１２７４３９号に表されるシステムは、その環境を照光し、それと同時に変調を光出力に重畳し、この変調は、補助なしの人間の目には実質的に知覚不能であるが、ローリングシャッタカメラには見える。国際公開第２０１２／１２７４３９号の可視光通信システムは、本発明に関連して使用することができるシステムの例示に過ぎない。

これは、図９に概略的に示されている。各連続するライン３８が露光されるとき、ライン３８は、わずかに異なる時点に、従って（変調周波数に比べてラインレートが十分に高い場合には）変調のわずかに異なる位相で露光される。従って、各ライン３８は、変調光の瞬時レベルにそれぞれ露光される。これは、所与のフレームにわたって変調と共に波打つ又は循環するストリップのパターンを生じる。この原理に基づいて、画像処理モジュール２２は、カメラ２０によって受信された光に変調された符号化光成分を検出することが可能である。

図１及び図２において、光の符号化は、光源２の光フットプリント８に「縞模様」を生じるものとして示されている。符号化は、人間の目には知覚不能であるが、カメラ２０がローリングシャッタ画像センサ３６を使用するため、カメラ２０によって捕捉された画像内では縞模様として明瞭になることを理解されたい。

代替実施形態では、符号化光信号中のデータの変調周波数に比べてフレームレートが十分に高い場合には、グローバルシャッタカメラを使用して符号化光を捕捉することも可能である。

光源２によって行われるステップが図４に要約されている。ステップＳ１０で、光源２の制御装置１０は、そのメモリ１８から光源のＩＤを検索する（又はネットワーク上で光源のＩＤを受信する）。ＩＤは、特定のシステム内部、例えば部屋、建物、又は複合施設内部の複数の光源（幾つかの実施形態では、それら自体のそれぞれのＩＤが符号化された光をそれぞれ放出し得る）の中から光源を一意に識別する。また、ステップＳ２０で、制御装置１０は、光源２のクロック又はタイマ１６から現在時点の表示も得る（又はネットワークを介して現在時点の表示を受信する）。次いで、ステップＳ３０で、制御装置１０は、光源２の照明要素１４を制御して、適切な符号化光技法に従って変調された光を放出し、放出された光にＩＤ及び時点を符号化する。

とりわけ、一意の識別子及び現在時点表示を送信する代わりに（又はそれに加えて）、光源は、暗号方式の検証可能なタイムスタンプを提供し得る。例えば、タイムスタンプは、対称又は非対称暗号を使用して暗号化され得、それにより、受信側がタイムスタンプを解読する必要がある。代替として、タイムスタンプは、メッセージのデジタル署名された暗号メッセージダイジェスト又はハッシュと組み合わされ得る。このようにして、タイムスタンプは平文形式のままであり、適切な鍵を所有する当事者が、タイムスタンプを付随のメッセージダイジェスト又はハッシュと突き合わせることによってメッセージ信憑性を検証することができる。

選択される特定のソリューションは、アプリケーション及び要件に依存し得る。例えば、タイムスタンプが平文で利用可能である場合、選択は、符号化光情報チャネルが、デジタル署名されたハッシュのオーバーヘッドに対処するのに十分な帯域幅を有するかどうかに依存し得る。限られた帯域幅を有する静止画像に関しては、更なるビットを追加しないため、暗号が最も適切であり得、一方、（複数の画像フレームからなる）ビデオ等のより高帯域幅のアプリケーションに関しては、デジタル署名されたハッシュと共にプレーンテキストのタイムスタンプを含めることが、やはりタイムスタンプを平文で提供するため、有益であり得る。

受信側の装置４によって行われるステップが、図５に要約されている。ステップＴ１０で、カメラ２０は、光源２から（直接及び／又は反射された）光を受け取り、それによって環境の画像を捕捉する。画像は、メモリ、例えばメモリ１８に記憶されている。ステップＴ２０で、画像処理モジュール２２は、対象の光源２からの符号化光を含む画像部分の位置を、その光源２のＩＤに基づいて特定する（即ち、符号化光の「フットプリント」８の位置を特定する）。例えば、これは、欧州特許第２，５０３，８５２号に記載されている技法に従って行われ得る。ステップＴ３０で、画像処理モジュール２２は、画像内に現れる符号化光を復号して、タイムスタンプを読む。

次いで、画像処理モジュールは、タイムスタンプの表示を画像と関連付けて出力し、それにより、ステップＴ４０で、タイムスタンプの表示は、画像が捕捉された時点を検証するため、従って画像内に現れる１つ又は複数の対象物６がその時点で対象の環境内に存在したことを検証するために使用され得る。

タイムスタンプの表示は、それが受信された形態でそのまま出力されても、異なる形態で出力されるように解釈又は再フォーマットされ得る。例えば、コンピュータ可読形態から人間可読形態に解釈され得、及び／又はより高い時間解像度からより低い時間解像度に減少され得る（例えば、タイムスタンプが、対象の精度よりも高い精度（例えば秒又はミリ秒）である場合、画像処理モジュール２２は、例えば分単位、時間単位、又は更には日単位でのみ出力し得る）。

出力されるタイムスタンプがどのように使用されるかに関して幾つかの選択肢がある。

例えば、図７に示されるように、画像処理モジュール２２は、画像ファイル３０のメタデータ３４にタイムスタンプの表示を記憶するように構成され得る。画像処理モジュール２２は、１つ又は複数の画像を捕捉するとき、それらの画像を少なくとも１つの画像ファイル３０（例えば、ビデオの場合にはファイル毎に複数の画像、又は静止画像の場合には画像毎に異なるファイル）に記憶することによって記録する。画像ファイル３０は、画面上で閲覧される画像の実際のグラフィカル部分、即ち実際の画素を表現する画像データ部分３２を含む。しかし、画像ファイル３０はまた、メタデータ部分３４（例えばヘッダ又はサイド情報）も含み、メタデータ部分３４は、それ自体は画像の一部ではないが画像と関連付けられるデータを含む。

幾つかの実施形態では、タイムスタンプは、ユーザが時間を検証できるようにユーザに出力されず（又は少なくともユーザに出力されるだけでなく）、検証モジュール２３に出力されて、少なくとも部分的に自動化された検証手順を実施する（再び図３参照）。検証モジュール２３は、画像捕捉装置４のメモリ（例えばメモリ２４）に記憶されたソフトウェアの別の部分として実装され、画像捕捉装置４のプロセッサ上で実行されるように構成され得る。代替として、検証モジュール２３の機能の幾つか又は全てが、専用ハードウェア回路構成、又はＰＧＡ若しくはＦＰＧＡ等の構成可能若しくは再構成可能なハードウェアで実装され得ることも除外されない。検証モジュール２３は、カメラ２０及び／又は画像処理モジュール２２と同じユニットに一体化されるか、又はそれらの一方又は両方と別個であり得る。

検証モジュール２３による自動化された検証のための幾つかの可能性がある。

幾つかの実施形態では、符号化光から得られるタイムスタンプは、画像に関連付けられた既存のタイムスタンプを検証するために使用され得る。１つのそのような実施形態では、画像処理モジュール２２は、１つ又は複数の記憶されている画像から後で再びタイムスタンプを復号するように構成され、及び検証モジュール２３は、このタイムスタンプを、メタデータ３４に記憶されているタイムスタンプと比較して、記憶されているタイムスタンプを検証するように構成される。例えば、画像が改竄されていないことをチェックすることが望まれることがある。その場合、（例えば捕捉時点で）画像から予め復号されており、（例えば画像ファイル３０内のメタデータ３４に）画像に関連付けて記憶されているタイムスタンプは、後の時点で同じ（とされている）画像から復号されるタイムスタンプと合致するはずである。検証モジュール２３は、記憶されているタイムスタンプのバージョンを、記憶されている画像から現在抽出された同じ（と考えられている）タイムスタンプのバージョンと比較することによって、これをチェックするように構成される。

別の実施例として、カメラ２０は、１つ又は複数の画像のうちの少なくとも１つにそれ自体のタイムスタンプを追加するカメラであり、検証モジュール２３は、カメラ自体のタイムスタンプを、復号されたタイムスタンプと比較して、カメラのタイムスタンプを検証するように構成される。例えば、カメラのタイムスタンプが信頼又は信用できるかどうか定かでないことがあり、又はカメラによって追加されたタイムスタンプが改竄されているかどうか分からないことがある。検証モジュール２３は、これを検証するように構成され得、対象の画像から抽出された符号化光タイムスタンプと突き合わせてカメラの（見掛けの）タイムスタンプをチェックすることによって検証を行う。

一実施例では、タイムスタンプは、対称又は非対称暗号を使用して暗号化され、それにより、タイムスタンプは、暗号化されたフォーマットで提供され、タイムスタンプにアクセスするために、対応する解読鍵が必要とされる。このようにして、第三者が「偽造」タイムスタンプを作成するのが難しくなる。

更に別の実施例では、光に変調されたタイムスタンプは、信頼できる第三者の秘密鍵、例えば光源２の操作者又は供給元の秘密鍵等を使用して署名される。この例では、検証モジュール２３は、対応する公開鍵を使用して、復号されたタイムスタンプを検証するように構成される。

１つの有利な実装形態では、タイムスタンプを含むメッセージは、秘密鍵−公開鍵ペアの秘密鍵で署名された暗号ハッシュ（及び任意選択的に、検証を補助するためのデジタル証明書）も含む。次いで、検証モジュール２３は、対応する公開鍵を使用してデータの信憑性を検証することができ、即ち、デバイスは、タイムスタンプが実際に、信頼できる操作者や供給元等の光源２から生じたものであることを検証することができる。

好ましくは、信憑性の証明は、タイムスタンプに関連付けてタイムスタンプの暗号化によって署名されたハッシュを使用して提供される。

Ｔｉｍｅｓｔａｍｐ_１＝Ｔｉｍｅｓｔａｍｐ｜Ｅ_ＰＫ（Ｐｒｉｖａｔｅ ｋｅｙ，ｆ_ｈａｓｈ（Ｔｉｍｅｓｔａｍｐ））
ここで、
「｜」演算子は、データの連結を表し、
ｆ_ｈａｓｈは、暗号ハッシュ関数を表し、且つ
Ｅ_ＰＫ（．）関数は、非対称公開鍵暗号を表す。

上のＴｉｍｅｓｔａｍｐ_１は、暗号鍵ペアの対応する公開鍵を使用してハッシュを解読し、タイムスタンプの暗号ハッシュを計算し、解読されたハッシュ値と計算されたハッシュ値とを比較することによって、Ｔｉｍｅｓｔａｍｐの検証を可能にする。

更なる実施形態では、任意選択的に、画像処理モジュール２２は、タイムスタンプが復号、記憶、又は検証されると、前記１つ又は複数の画像から変調を除去するように構成され得る。符号化光の変調は、一般に非常に高い周波数であって可視でないが、幾つかの状況では、捕捉された画像内にアーチファクトを残すことがあり得る。これを回避するために、画像処理モジュール２２は、タイムスタンプが使用されているときを検出し（例えば、タイムスタンプが現在、ユーザに表示されている、画像内にグラフィック要素２８として組み込まれている、メタデータ３４として記憶されている、及び／又は検証モジュール２３によって検証されていることを検出することによって）、次いでその後、記憶されている画像ファイル３０に記憶された及び／又はユーザに対して画面に表示された画像データ３２から符号化光成分をキャンセルするように構成され得る。

例えば、国際公開第２０１２／１２７４３９号と同様に符号化光信号が変調されるとき、符号化光信号は、典型的には、それらの光の周囲又はそれらの光によって照光される領域に信号を残す。得られた画像内の符号化光信号からのデータのこの表出は、閲覧者によって望ましくないものとみなされ得る。このために、得られたパターンの一部を除去するために後処理が使用され得る。符号化光検出の一部は、符号化光のフットプリント（即ち画像内で符号化光信号が入手可能である場所）を決定することである。復号後、そのフットプリントが使用されて、例えばローリングシャッタのラインに直交する方向で主にフィルタリングするフィルタによって符号化光信号を画像からフィルタリングして除去し、それによりフットプリント内での符号化光信号の可視性を減少し得る。

特にこの場合、好ましくは、メタデータに記憶された情報（タイムスタンプ、任意選択的な場所データ及び／又は識別子、又は同様のデータ）が、改竄を防止する又は少なくとも難しくするために暗号技法を使用した態様で記憶されることに留意すべきである。

この効果に対する１つの可能な解決策は、カメラに暗号技法を使用させて、暗号技法を使用してタイムスタンプ又はメタデータ全体を機密保護し、それにより、タイムスタンプデータを改竄するのをより難しくすることである。タイムスタンプは、対称又は非対称暗号を使用して暗号化され得、それにより、対応する鍵を有するアプリケーションのみが、タイムスタンプにアクセスすることができる。代替として、カメラは、少なくともタイムスタンプをカバーする暗号化によって署名されたハッシュ（及び任意選択的に、検証を補助するためのデジタル証明書）と組み合わされたタイムスタンプを提供し得る。これらの暗号技法を使用することによって、静止画像又はビデオ画像内の任意の可視アーチファクトが後処理によって除去された後でさえ、タイムスタンプの信憑性が検証され得る。

好ましくは、信憑性の証明は、タイムスタンプに関連付けてタイムスタンプ（又はメタデータ全体）の暗号化によって署名されたハッシュを使用して提供される。

Ｍｅｔａｄａｔａ_１＝Ｔｉｍｅｓｔａｍｐ｜Ｅ_ＰＫ（Ｐｒｉｖａｔｅｋｅｙ，ｆ_ｈａｓｈ（Ｔｉｍｅｓｔａｍｐ））
ここで、
「｜」演算子は、データの連結を表し、
ｆ_ｈａｓｈは、暗号ハッシュ関数を表し、且つ
Ｅ_ＰＫ（．）関数は、非対称公開鍵暗号を表す。

上のＭｅｔａｄａｔａ_１は、暗号鍵ペアの対応する公開鍵を使用してハッシュを解読し、タイムスタンプの暗号ハッシュを計算し、解読されたハッシュ値と計算されたハッシュ値とを比較することによって、Ｔｉｍｅｓｔａｍｐの検証を可能にする。

従って、暗号化によって署名されたハッシュの使用について、上の説明で提示された２つの可能性があることに留意されたい。第１の可能性は、符号化光信号での使用（符号化光システムと同程度の機密性を有する）であり、第２の可能性は、カメラ内で成されるとの証明での使用（カメラと同程度の機密性を有する）である。第１の場合と第２の場合との幾つかの相違が存在し、主な相違は、利用可能な帯域幅である。暗号化によって署名されたハッシュは、典型的にはかなり短く、偽造するのが難しい一種のチェックサムである。しかし、このチェックサムを検証するために、これは公開鍵及び証明書を必要とする。証明書は、ハッシュを解読するために必要とされる公開鍵であって、更に、信頼できる第三者によって署名された公開鍵である。従って、証明書は、（ハッシュをチェックするために必要とされる）公開鍵が信頼できる第三者によって承認されていることをチェックすることを可能にする。この証明書は、かなりの数のビットを占有することがあり、これらのビットは、ＪＰＧ等のファイルに容易に付加され得るが、幾つかのシステムでは、符号化光によって容易に送信され得るよりも大きい（例えば長い検出時間を必要とする）ことがある。従って、限られた符号化光帯域幅を有する幾つかの実施形態では、タイムスタンプと共に証明書を含めることは、符号化光信号内にハッシュが適用される第１の場合とは異なり、受信側のカメラによってハッシュが適用される第２の場合に対して、より好適に適用可能であり得る。代替として、何れの場合にも、公開鍵及び／又は証明書は、別の手段によって（例えばネットワーク又はメモリスティックによって）分散され得る。

更なる実施形態では、検証モジュール２３による自動化された検証の上記の形態の１つ又は複数に加えて、タイムスタンプは、任意選択的にユーザにも出力され得、画像が捕捉された時点をユーザ自身が検証できるようにする。この場合、検証されるのは、画像が捕捉されたとき又は捕捉されたと主張若しくは申告されるときについてのユーザ自身の知覚、印象、記憶、又は確信である。例えば、ユーザは、画像内の出来事を認識しているが、その出来事が起こった時点についての自分の記憶を確かめておくことを望み得る。或いは、別の実施例として、ユーザは、出来事が特定の時点に起こったことを報告する別の者によって画像を提示されることがあるが、ユーザは、その者の主張をチェックすることを望む。

例えば図６に示されるように、画像処理モジュール２２は、実際の画像２６（即ち画像の実際の画素）を修正して、画像内にグラフィック要素２８としてタイムスタンプの表示を組み込み、この修正された形態で画像を記憶するように構成され得る。ユーザは、この修正され記憶された画像を検索して画面上で閲覧するとき、画像の画素にグラフィックとして組み込まれたタイムスタンプ２８を見る（ここで、「グラフィック要素」は、画像の一部として画像データとして含まれるテキストを必ずしも除外しないことに留意されたい）。また、画像処理モジュール２２は、改竄を防止するために、修正された画像２６をライトプロテクト又は暗号化し得る。

別の実施例は、図７に示されるシナリオに基づく。上述したように、画像処理モジュール２２は、画像ファイル３０のメタデータ３４にタイムスタンプの表示を記憶するように構成され得る。図６の実施形態では、タイムスタンプがメタデータとして含まれるのではなく、実際の画像データ３２がタイムスタンプを示すように修正されるが、図７の実施形態では、タイムスタンプがメタデータ３４内に示されている。これが検証モジュール２３によって使用され得るのと同様に、ユーザ自身が、例えばコンピュータ上のファイルシステム、オペレーティングシステム、又はブラウザでファイル３０のファイル詳細を閲覧することによって、メタデータ３４からのタイムスタンプを閲覧することもできる。

上の技法の任意のものに対する追加として、任意選択的に、光源２の制御装置１０は、光源が放出する光に光源の場所の表示を符号化するようにも構成され得る。従って、受信側での画像処理モジュール２２は、更に、１つ又は複数の画像の処理から、１つ又は複数の画像が捕捉された場所を示す情報を得ることが可能である。

この情報は、幾つかの可能な形態を取り得る。幾つかの実施形態では、場所情報は、例えば光源２のＧＰＳ座標として（このために光源２はＧＰＳ受信機を更に備えることがある）、又は人間に意味のある場所の名称（例えば部屋、建物、通り等の名称）として、光に直接埋め込まれた場所の地理的座標又は名称を含むことがある。代替として、光に埋め込まれる場所情報は、場所データベース（図示せず）内の場所にマッピングされた光源２の識別子を含むことがある。この場合、画像処理モジュールは、前記識別子に基づいて、場所データから場所を探索するように構成される。

従って、上で論じた全てのことによれば、本願で開示されるシステムは、１種の「電子透かし」を提供することができ、これは、画像が捕捉されたとき及び任意選択的に場所の証明を生成し、例えば「自分がそこにいた」ことをユーザが示すことができるようにする。

幾つかの実施形態では、タイムスタンプに関係して上で論じた検証技法の任意のものが、この「場所スタンプ」に適用され得る。例えば、画像ファイル３０に記憶されている捕捉された画像が、図６と同様のグラフィック要素２８として場所を組み込むように修正され得、及び／又は図７におけるように、記憶されている画像ファイル３０のメタデータ３４に場所が含まれ得る。代替として又は追加として、場所を示す情報は、タイムスタンプに関係して上述した選択肢の任意のものと同様に、符号化光信号に暗号化され得、若しくは暗号化によって署名され得、及び／又はカメラに暗号化され得、若しくは暗号化によって署名され得る。

場合によっては場所情報と組み合わせたタイムスタンプの検証を念頭に置いて本発明を主に提示してきたが、符号化光がタイムスタンプと場所情報との両方ではなく場所情報のみを備えるシステムを構成することも同様に有利であり得る。そのようなシステムは、画像／映像が記録されたときではなく、記録された場所を検証するという更なる機能を提供する。そのようなデバイスは、可視光源からの光によって照光される環境の、カメラによって捕捉された画像を受信するための入力と、画像の１つ又は複数を処理して、前記光に変調された場所を表すデータを復号し、及び復号された場所の表示を出力して、１つ又は複数の画像が捕捉された場所を検証するように構成された画像処理モジュールとを備えるデバイスであるという点で、特許請求されるデバイスと同様である。

更なる実施形態では、上記の技法の任意のものが顔認識アルゴリズム又は他の画像認識アルゴリズムと組み合わされ得、１つ又は複数の画像のうちの、タイムスタンプ（及び幾つかの実施形態では場所スタンプ）が復号されている任意の画像内の１人の人物（又は更には数人の人物）を更に識別する。即ち、人物（人間）の存在を検出し、その人物が誰かを識別する。例えば、画像の１つ又は複数の中で顔又は顔の一部が見られ得る場合、これは、顔認識アルゴリズムがその顔の人物を識別することを可能にし得る。又は、特別なバッジ等の特徴的なアイテム又は特徴的な衣服を人物が着用している場合、任意選択的に身長、髪の色、体格等の他の因子と組み合わせて、顔認識アルゴリズム以外の画像認識アルゴリズムが人物を識別することが可能であり得る（又は、よりロバストな識別のために両方のタイプのアルゴリズムが組み合わされ得る）。いかなるタイプの認識アルゴリズムが使用されても、人物は、任意の適切な識別子、例えば個人名（「Ｄａｖｅ Ｓｍｉｔｈ」等）、ニックネーム、電子メールアドレス、又は特定の通信システムのユーザ名、例えばソーシャルネットワーキングシステム若しくはＶｏＩＰシステムのユーザ名で識別され得る。

幾つかの実施形態では、識別された人物が特定の時点で特定の場所にいたという事実のログを取る（従って、ユーザがその事実を証明することを可能にする）ために、顔及び／又は他の画像認識アルゴリズムが、タイムスタンプ検出及び場所スタンプ検出と共にアプリ又は他のアプリケーションに組み合わされ得る。例えば、これは、以下のものの１つ又は複数の一部として使用され得る：場所ベースのゲーム（ここで、ゲームでの結果は、指定された時点に１つ又は複数の指定された場所に人物がいることに依存する）、小売報酬方式（ここで、ユーザへの報酬は、指定された時点に１つ又は複数の指定された場所にユーザがいたことに依存する）、ソーシャルネットワーキングシステム（ここで、ユーザは、自分の活動が現実のものであることを証明することを望むことがある）、及び／又は有名人スポッティングアプリケーション（例えば、画像内の有名人を自動検出するため、又は画像内でユーザが特定の場所及び時点に有名人と共にいたことを証明する）に依存する。

アプリケーションは、幾つかの態様で、識別された人物が検証された時点に検証された場所にいたという事実のログを取ることがある。例えば、これは、ローカルでユーザのユーザデバイスにログを取られ得、そのようなユーザデバイスは、例えば、ユーザデバイスに組み込まれたカメラ２０、画像処理モジュール２２、及び検証モジュール２３を備えるスマートフォン、タブレット、又はラップトップ等のポータブルユーザデバイスである。このようにして、ユーザは、ポータブルユーザデバイスのローカルユーザインターフェース（例えば画面）上にログ結果を示すことによって、１人又は数人の他者（例えば友人、小売店職員、セキュリティ担当者等）に、識別された人物が対象の時間及び場所にいたことを示すことができる。別の実施例として、識別された人物が検証された時点に検証された場所にいたという事実は、ネットワークを介してサーバ又は他のコンピュータでログを取られ得る。例えば、ユーザは、捕捉された画像を、カメラ２０から、インターネット又はモバイルセルラネットワーク（例えば３ＧＰＰネットワーク）等のワイドエリアネットワーク（ＷＡＮ：wide area network）を介して、検証モジュール２３が実装されているサーバに提出し得る。例えば、このサーバは、ソーシャルネットワーキングシステムのサーバ、又は場所ベースのゲームをホストするサーバであり得る。このようにして、検証は、中央化して実施され得、閲覧のために１人又は数人の他のユーザに利用可能であり得る。

上記の技法の様々な可能な用途がある。例えば、ゲームにおいて検証の必要性が存在し得る。所定の旅行計画（所定の旅程、経路、又は場所の組に関する所定のスケジュール）に従ってプレーヤが旅行しなければならないゲームを例として述べる。旅行計画の一部である場所に特定の時間スロットでプレーヤが実際にいたことの証拠が、捕捉された画像によって検証され得る。画像は、対象の場所にある固定カメラによって作成され得、又は代替として、画像は、プレーヤのモバイルデバイスによって捕捉され得る。カメラを備えるますます多くのモバイル端末が、画像を撮影する人物の顔を含むいわゆる「自撮り」写真を撮影するように設計されている。次いで、特定の瞬間に特定の場所でゲームのプレーヤによって捕捉された画像が、本発明によるデバイス又はアプリケーションによって自動的に検証され得る。このデバイス又はアプリケーションは、画像を捕捉するために使用されたモバイルユーザ端末に（例えば「自撮りコンテスト（selfie contest）」の一部として）実装され得る。代替として、デバイス又はアプリケーションは、（少なくとも一部）遠隔に実装され得る。このとき、デバイス又はアプリケーションは、例えば画像の捕捉直後に、その画像が関連の場所で特定の時間スロット内に実際に形成されたものであるかどうかを、その場所での光源の放出光内のコードの知識に基づいて検証し得る。デバイス又はアプリケーションは、放出光に埋め込まれたコードを、ゲームの一部として提供されているコードと比較することができる。好ましくは、デバイス又はアプリケーションは、顔認識も可能である。コード検証と顔認識とを組み合わせることによって、デバイスは、画像内で認識されたユーザが特定の時点にその場所にいたことを検証することができる。

別の例示的用途として、多くの人は、特定のゲームの一部としてではなく、単に他人との社会的対話の一部として、自分が特定の場所にいたことを他者（友人や家族等）に示すことを望む。上で開示された技法は、このタイプの社会的対話を支援するために使用され得る。

別の例では、放出光内のコードは、タイムスタンプを含み、又はタイムスタンプに基づき、好ましくはある種のゲームにも関係付けられる。ここでの「基づく」は、送信されるコードが、実際の時点の直接の表示である必要はないことを意味する。また、放出光内の信号が時間にわたって一定でなく、時間に応じて変動することも意味する。上記のゲームは、特定の瞬間に特定の場所にいることによってポイントを集めることに基づく。例えば、バー又はパブにおいて、最上級の人々又は最高位の人々が典型的に占有しているスポットがある。ソーシャルゲームにおいて、ユーザ（又は別の人物）が特定の時点にそのようなスポットにいたことを画像によって示すことが重要であり得る。

ユーザが特定の時点に特定の場所にいた証拠を作成する別の使用法は、小売業で見られることがある。例えば、顧客は、店内又は別の場所にいたという証拠を提示することによって、割引き又はより早いサービスを受けることがある。ここでも、画像は、特定の（時間ベースの）コードを放出する光源の近傍で、又は更には画像内に直接見える光源によって捕捉されなければならない。

更に別の可能な用途は、同じ画像又は画像シーケンスで更なる人物（例えば有名人）を識別するため又は申し立てられた識別を認証するため、及び対象の特定の／複数の人物が同じ時点に同じ場所に（一緒に）いたという主張を画像が裏付けることを自動的に検証するための顔認識を使用することである。

上記の説明は、分かりやすくするために、様々な機能ユニット及び／又はプロセッサを参照して本発明の実施形態を述べていることを理解されたい。しかし、本発明から逸脱することなく、様々な機能ユニット又はプロセッサ間での機能の任意の適切な分散が使用され得ることが明らかであろう。例えば、個別のユニット、プロセッサ、又は制御装置によって実施されるものとして例示されている機能が、同じプロセッサ又は制御装置によって実施され得る。従って、特定の機能ユニットに対する言及は、厳密な論理的又は物理的構造又は組織を示すのではなく、説明した機能を提供するのに適した手段への言及としてのみ理解されるものとする。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の適切な形態で実装され得る。

本発明は、本発明を実行するように適合されたコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも適用されることを理解されたい。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及びオブジェクトコードの形態、例えば一部コンパイルされた形態であり得、又は本発明による方法を実施するに当たって使用するのに適した任意の他の形態であり得る。

コンピュータプログラム製品に関する別の実施形態は、本明細書に記載したシステム及び／又は製品の少なくとも１つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分化され得、及び／又は静的若しくは動的にリンクされ得る１つ又は複数のファイルに記憶され得る。キャリアに提供されるとき、コンピュータプログラムのキャリアは、プログラムを担持することが可能な任意のエンティティ又はデバイスであり得る。例えば、キャリアは、ＲＯＭ等の記憶媒体、例えばＣＤ ＲＯＭ若しくは半導体ＲＯＭ、又は磁気記録媒体、例えばハードディスクを含み得る。代替として、キャリアは、プログラムが埋め込まれた集積回路であって、関連の方法を実施するように適合された又は関連の方法の実施に使用される集積回路であり得る。

上の実施形態は例として説明されていることを理解されたい。開示した実施形態に対する他の変形形態は、図面、本開示、及び添付の特許請求の範囲の検討から当業者によって理解され、特許請求される本発明を実践する際に実施され得る。特許請求の範囲において、語「備える」は、他の要素又はステップを除外せず、不定冠詞「１つの（a）」又は「１つの（an）」は、複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載される幾つかの要素の機能を実現し得る。特定の手段が相互に異なる従属請求項に記載されていることのみでは、これらの手段の組合せが有利に使用され得ないことを示さない。コンピュータプログラムは、他のハードウェアと共に供給される、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体等の適切な媒体に記憶／分散され得るが、インターネット又は他の有線若しくは無線電気通信システムを介する形態等、他の形態で分散され得る。特許請求の範囲内の任意の参照符号は、範囲を限定するものとみなされるべきではない。

Claims (15)

1. 可視光源からの光によって照光される環境の、カメラによって捕捉された画像を受信するための入力と、
   前記画像の１つ又は複数を処理して、前記光に変調されたタイムスタンプを復号し、復号された前記タイムスタンプの表示を出力する画像処理モジュールと、
   前記画像処理モジュールによって出力された前記復号されたタイムスタンプの前記表示を受信し、前記表示に基づいて、前記１つ又は複数の画像が捕捉された時点の少なくとも部分的に自動化された検証を実施する検証モジュールと
   を備える、デバイス。
2. 前記画像処理モジュールが、更に、前記１つ又は複数の画像の前記処理から、前記光に変調された前記光源又は環境の場所を示す情報を復号し、前記１つ又は複数の画像が捕捉された場所の検証のために前記場所の表示を出力する、請求項１に記載のデバイス。
3. 前記情報が、
   前記光に明示的に符号化された前記場所の座標若しくは名称、又は
   場所データベース内の場所にマッピングされた前記光源の識別子
   を含み、前記画像処理モジュールが、前記識別子に基づいて前記場所データベースから前記場所を探索する、請求項２に記載のデバイス。
4. 前記画像処理モジュールが、更に、捕捉された前記画像の少なくとも１つに顔認識及び／又は他の画像認識アルゴリズムを適用し、それにより、前記少なくとも１つの画像内に現れる１人又は複数の人物を識別する、請求項１乃至３の何れか一項に記載のデバイス。
5. 前記タイムスタンプが暗号化によって機密保護され、前記画像処理モジュールが、前記タイムスタンプにアクセスするために暗号鍵を使用する、請求項１乃至４の何れか一項に記載のデバイス。
6. 前記画像処理モジュールが、少なくとも１つの画像ファイル内に前記１つ又は複数の画像を記憶し、前記出力することが、前記復号されたタイムスタンプを前記画像ファイルのメタデータとして前記画像ファイル内に記憶することを含み、
   前記画像処理モジュールが、前記１つ又は複数の記憶されている画像から後で再び前記タイムスタンプを復号し、且つ
   前記検証モジュールが、後で復号された前記タイムスタンプと前記メタデータ内の記憶されている前記タイムスタンプとを比較して、前記記憶されているタイムスタンプを検証することによって、前記少なくとも部分的に自動化された検証を実施する、請求項１乃至５の何れか一項に記載のデバイス。
7. 前記メタデータ内の前記タイムスタンプ又は前記メタデータ全体が暗号化によって機密保護され、前記検証モジュールが、前記タイムスタンプ又はメタデータにアクセスするために暗号鍵を使用する、請求項６に記載のデバイス。
8. 前記カメラが、それ自体のタイムスタンプを前記１つ又は複数の画像の少なくとも１つに追加し、前記検証モジュールが、前記カメラ自体のタイムスタンプを前記復号されたタイムスタンプと比較して前記カメラのタイムスタンプを検証することによって、前記少なくとも部分的に自動化された検証を実施する、請求項１乃至７の何れか一項に記載のデバイス。
9. 前記光に変調された前記タイムスタンプが、秘密鍵を使用して署名され、前記検証モジュールが、対応する公開鍵を使用して前記復号されたタイムスタンプを検証することによって、前記少なくとも部分的に自動化された検証を実施する、請求項１乃至８の何れか一項に記載のデバイス。
10. 前記画像処理モジュールは、前記タイムスタンプが復号、記憶、又は検証された後に、前記１つ又は複数の画像から変調を除去する、請求項１乃至９の何れか一項に記載のデバイス。
11. 請求項１乃至１０の何れか一項に記載のデバイスと、
    前記環境を照光するために光を放出し、前記光源によって放出された光を、現在時点値を示す前記タイムスタンプで変調する前記光源と、
    前記環境の前記１つ又は複数の画像を捕捉する前記カメラと
    を備える、画像捕捉システム。
12. 画像を処理するためのコンピュータプログラムであって、コンピュータ可読記憶媒体に具現化され、且つ実行されると、
    光源からの光によって照光される環境の、カメラによって捕捉された画像を受信する操作と、
    前記画像の１つ又は複数を処理して、前記１つ又は複数の画像が捕捉された時点を示す前記光に変調されたタイムスタンプを復号する操作と、
    前記処理によって決定される前記タイムスタンプに基づいて、前記１つ又は複数の画像が捕捉された前記時点の少なくとも部分的に自動化された検証を実施する操作と
    を行うコードを備える、コンピュータプログラム。
13. 更に、
    前記１つ又は複数の画像の前記処理から、前記光源又は環境の場所を示す前記光に変調された情報を復号し、前記１つ又は複数の画像が捕捉された場所の検証のために前記場所の表示を出力し、
    前記捕捉された画像の少なくとも１つに顔認識及び／又は他の画像認識アルゴリズムを適用し、それにより、前記少なくとも１つの画像内に現れる１人又は複数の人物を識別し、且つ
    前記識別された１人又は複数の人物が前記時点に前記場所にいたことが検証されるという事実のログを取る、請求項１２に記載のコンピュータプログラム。
14. 前記ログを取ることが、
    場所ベースのゲーム、
    小売報酬方式、
    ソーシャルネットワーキングシステム、及び／又は
    有名人スポッティングアプリケーション
    の１つ又は複数の一部として前記事実のログを取ることを含む、請求項１３に記載のコンピュータ。
15. 光源から放出された光を使用して、環境を照光するステップと、
    前記光源によって放出された光に、現在時点値を示すタイムスタンプを符号化するステップと、
    カメラを使用して、前記環境の１つ又は複数を捕捉するステップと、
    前記画像の少なくとも１つを処理して、前記光に符号化された前記タイムスタンプを決定するステップと、
    前記処理によって決定された前記タイムスタンプに基づいて、少なくとも１つの前記画像が捕捉された時点の少なくとも部分的に自動化された検証を実施するステップと
    を含む、方法。