JP2007518295A - 画像補強方法及びカメラ - Google Patents

Abstract

本発明に係るカメラは、ローカル通信インタフェース（２２）と、ローカル配信型データ送信機（１２，１４，１６，１８，１９）の認識並びにそのローカル配信型データ送信機に対するインテロゲーションをこのローカル通信インタフェースを用いて実行する手段（２４）と、ローカル配信型データ送信機から到来するデータに関連付ける又は関連付けた画像を記憶するメモリ（２６）とを、備える。本カメラを使用することによってコンテキストデータによる画像補強を実施できる。

Description

本発明は、コンテキストデータ(contextual data)により画像データを補強する方法に関する。なお、コンテキストデータとは、対応する１個又は複数個の画像が撮影された状況／経緯即ちコンテキストに関し、何らかの情報を与えるデータのことである。本発明は、とりわけ公衆向けの一般的なカメラにより撮影された画像に対する補強(enhancement)に関する発明であると同時に、その他の用途でも利用できる発明である。また、本発明にて画像撮影に使用されるカメラは、ディジタルカメラや、各種移動通信機（電話機能付カメラ、カメラ付携帯電話その他の移動端末）にその機能部分として組み込まれているカメラ等のカメラである。

上述した技術分野では各種データにより画像を補強する手法が知られている。画像補強には、音響関連データ、地理的データ等のほか、写真撮影者の心理状態を反映するデータも使用できる。この種の方法は例えば本願明細書中に掲示の特許文献１に記載されている。

この手法を実施するには各種媒体上の各種データを取得及び再生できるマルチメディア機器、例えばカメラ、表示装置、音響再生装置、インタラクティブユーザインタフェース等が組み込まれた複合型携帯機器が必要になる。こうしたマルチメディア機器には普通はデータ格納用コモンメモリが組み込まれているので、例えばカメラから得られる画像データやＭＰ３プレーヤから得られる音響データ等、ユーザによるインタフェース操作を通じて取得した様々な種類のデータを、そうしたメモリ内に格納することができる。

例えば音響、楽曲等のように写真撮影時の状況を概ね共有・反映する他種データを画像と同時に再生するには、当該他種データを画像データに関連付けれておけばよい。画像データに関連付けられた付随的なデータを再生することによって、その画像に関わる感情的乃至知覚的コンテキストを広範に亘りユーザの胸中にもたらすことができる。これを実現することを画像データの補強と呼ぶ。

欧州特許出願公開第１３０１０２３号明細書（Ａ） 英国特許出願公開第２３４７８３４号明細書（Ａ） 米国特許出願公開第２００１／０２４２３６号明細書（Ａ１） 欧州特許出願公開第１１８２８６２号明細書（Ａ） 米国特許出願公開第２００２／１０１６１９号明細書（Ａ１） 欧州特許出願公開第１０８７３０７号明細書（Ａ） 仏国特許出願公開第２８３１６９４号明細書（Ａ）

しかしながら、写真撮影コンテキストを表す要素例えば画像や楽曲等を同時再生できるマルチメディア機器には、使用上の難点がある。

第１に、マルチメディア機器には写真撮影コンテキスト再生能力という内的制約・内的限界がある。例えば楽曲しか再生できないマルチメディア機器では画像補強とはいっても高々楽曲的コンテキストによる補強しかできない。

これとも関連するが、第２に、マルチメディア機器より手軽な装置であるカメラによって画像補強を実現するのは不可能とされていた。

本発明は、上述した制約・限界のない画像補強方法を提供することを目的とする。

本発明は、とりわけ、カメラ機能以外のマルチメディア機能を有していない単純なカメラを用いて画像を補強できる方法を提供することを目的とする。

本発明は、更に、写真撮影時にいた人達を特定できるようユーザ人脈を集積して画像を補強できる方法を提供することを目的とする。

本発明は、加えて、撮影した画像を補強可能でその構成が簡略なカメラを提供することを目的とする。

このような目的を達成するため、本願においては、本発明の一実施形態として、コンテキストデータによりディジタル画像を自動補強する方法を提示する。本方法は、
ａ）ローカル配信型データ送信機のうちカメラ使用場所周辺にあるものをサーチするステップと、
ｂ）見つけたローカル配信型データ送信機と通信を確立するステップと、
ｃ）そのローカル配信型データ送信機から送信されたコンテキストデータを受信するステップと、
ｄ）その場所で撮影されたディジタル画像に係る画像データにそのコンテキストデータのうち少なくとも一部を関連付けるステップと、
を有する。

なお、本願でいうところの「ローカル配信型データ送信機」とは、無線チャネル又は光チャネルによって数十ｍの範囲内にデータを送信できるあらゆる装置を指している。これに該当する送信機としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ等の商業名称を用いる送信機や、ＩＥＥＥ ８０２．１１．ｘ、ＩＥＥＥ ８０２．１５．ｘ、ＵＷＢ、セルラー、ＩＲＤＡ（光）等の無線モードに従い動作する送信機等、様々な種類の送信機がある。

本発明を想到する際に着目した社会的現象の一つは、ローカル通信インタフェースを備えた使用場所限定的機器が急速に普及していることである。この現象は、できるだけケーブルで有線接続することなく装置間で情報交換できるようにしたい、というユーザ側の要求を反映して進行した現象である。例えば、キーボード、マウス及びＣＰＵ（中央処理ユニット）といったパーソナルコンピュータ（ＰＣ）構成装置群のように、一般に同じ室内で使用される装置間では、各装置に組み込まれているローカル配信型データ送信機同士で通信を行うことが可能になっている。また、これ以外の種類の装置でも、例えば携帯電話、チューナ、テレビジョン受像機、カーラジオ、マルチメディアデータドライブ等の装置には、ローカル配信型データ送信機としての機能を持つものがある。

ローカル配信型データ送信機は、プログラムに従い通信プロトコルに応じてフォームを変えつつメッセージを送信するよう、或いはその種の装置において普通で且つその種の装置に固有のデータ群を送信するよう、構成しておく。

解りやすくいうと、音楽用ＣＤ(compact disc)プレーヤには、例えば再生する個々の曲目についての情報を含むメッセージを送信するローカル配信型データ送信機を、組み込むこととする。このローカル配信型データ送信機によって、その曲目を含むアルバム、作者、解説者等の付加情報を配信することも可能である。次に、携帯電話には、加入者の氏名や電話番号等の加入者識別データを送信するローカル配信型データ送信機を、組み込むこととする。そして、テレビジョン受像機には、例えば現在の番組についての情報を配信するローカル配信型データ送信機を、組み込むこととする。場合によっては、このローカル配信型データ送信機により、その番組が後刻掲載されるテレビジョンチャネルサイトのＵＲＬ(Uniform Resource Locator)アドレスを配信することもできる。

画像補強に使用可能なデータの収集、即ち本方法のステップａ）〜ｃ）に相当する動作は、例えば写真撮影毎に実施する。また、それらステップ（又はその一部）は、写真撮影より前、後又はその双方の時点にてスタンバイ中に実施するとよい。なお、「スタンバイ中」とは、カメラの動作状態のうち、そのローカル通信インタフェースが動作しているが写真撮影の必要がない状態を指している。

コンテキストデータを供給可能な装置が周囲にあるかどうかが判然としない場合、ローカル配信型データ送信機をサーチするステップでは、ローカル配信型データ送信機から送信される搬送波を検知できるかどうか試すことによりローカル配信型データ送信機をサーチし、検知できたらそのローカル配信型データ送信機が使用する又は使用可能な通信プロトコル乃至手段を識別する、という動作を、実行するようにするとよい。

例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格では、使用可能な通信手段を識別するのに必要な一組のプロトコルコンポーネントを提供するよう、定められている。そのなかでもＳＤＰ (Service Discovery Protocol)というサービス発見プロトコルは、例えばファイル転送、ファクシミリ、モデム接続、データ転送等の通信手段のなかから、周囲の装置との通信に使用可能な通信手段を見つけ出す役割を担っている。本発明においても、コンテキストデータを例えばデータ転送接続により送信可能な装置を、同様にサービス発見プロトコルを用い、周囲に存する装置のなかから識別、特定する。

通信プロトコル、通信手段又はその双方を検知できたなら、カメラからローカル配信型データ送信機へのインテロゲーション（質問）等により、カメラとそのローカル配信型データ送信機との間に通信を確立することができる。インテロゲーションは、確立済のサービス発見プロトコルに従いその通信プロトコルを使用可能なローカル配信型データ送信機が選ばれるように行うか、或いは、各ローカル配信型データ送信機との間で事前に定めてあるプロトコルに従い行うとよい。

本方法における画像補強は、好ましくも、人間が他人を察知し知覚する仕組みや人間が感銘し感動する(mnestic)仕組みと類する形態で実行される。まず、人間が他人との繋がりを脳裏に浮かべるのは、例えば、その人達との同席経験がある場合や、その人達との繋がりが情緒的、文化的、民族的又は思想的なものである場合である。後者の場合、その人達との同席経験がなくともその人達との繋がりを実感できる。

このことが示しているのは、写真撮影時点に近い時点での出来事を想起させる情報や、そのユーザがその撮影画像との強い繋がりを意識できる出来事を想起させる情報等、それ相応の情報を与えるデータを確保することで、画像を好適に補強できるということである。

そうした繋がりの性質及び度合いを評価するのはまことに難しいことであるが、そのコンテキストに秘められた感情訴求力や、そのコンテキストによって惹起される持続的感動についてであれば、コンテキストデータを送信するローカル配信型データ送信機の装置種別に基づき評価することが可能である。解りやすくいうと、写真撮影時にその地方の気象台がアナウンスしていた気象データよりも、写真撮影時に聞いていた楽曲の方を、ユーザはよく思い出せるものである。更に、同じコンテキストデータが複数個のローカル配信型データ送信機から送られてきた場合、そのコンテキストデータに係るコンテキストは、ユーザが強い感銘を受けた事柄に関するものだと推認してよかろう。

本方法を理想的な形で実施したい場合、こうしたことを考慮して、受信した全てのコンテキストデータについて有効期間を設定し、取得した画像データそれぞれとコンテキストデータとをそのコンテキストデータの有効期間中に関連付ける、という動作を、ステップｄ）にて実行する。

そうした形で本方法を実施する場合は、そのコンテキストデータの送信元装置種別に従い有効期間を設定するとよく、更にコンテキストデータの繰り返し受信頻度を考慮して有効期間を設定するとなおよい。

画像データにコンテキストデータを関連付ける形態には幾つかの形態があり得る。そのなかでも単純なのは、コンテキストデータを画像データに対しメタデータとして関連付けるという形態である。その場合、画像データを読み出し復号する動作によって、その画像データに関連付けられているコンテキストデータを同時に読み出し復号することができる。

画像データにコンテキストデータを関連付ける形態としては、更に、ディジタルペン乃至スキャナで読取可能なアレイ型符号画像乃至バーコード等のポインタを用いる、という形態がある。この形態を採る場合、例えば、データベース内に保存乃至記録したコンテキストデータに、ディジタルペン乃至スキャナにより読取可能なアレイ型符号画像を関連付ける、という動作を、ステップｄ）にて実行すればよい。アレイ型符号画像に係るアレイ型符号画像データは画像データと共に保存乃至記録するとよい。更に、画像データに基づく画像及びアレイ型符号画像データに基づくアレイ型符号画像を組み合わせて印刷するようにしてもよかろう。また、コンテキストデータを人間が読み取れる形態に変換し、それを画像と共に直接印刷するようにしてもよい。

アレイ型符号画像がディジタルペンにより読み取られその内容が認識されると、リモートデータベースに対するインテロゲーションコマンドが発行され、そしてこのコマンドに応じリモートデータベースからコマンド発行元のユーザ使用端末へとコンテキストデータが送信される。この場合におけるインテロゲーションコマンドとしては、音声、画像、楽曲等のデータをダウンロードするコマンドを、利用できる。

本発明は、更にカメラにも関する。本カメラは、
ローカル通信インタフェースと、
ローカル配信型データ送信機の認識並びにそのローカル配信型データ送信機に対するインテロゲーションをこのローカル通信インタフェースを用いて実行する手段と、
ローカル配信型データ送信機から到来するデータに関連付ける又は関連付けた画像を記憶するメモリと、
を備える。

本カメラは、更に、ローカル通信インタフェースを用いるローカル配信型データ送信機を備え、他の同種カメラに識別データを送信可能な構成とすることができる。

以下、別紙図面を参照しながら詳細な説明を行う。この説明を参照することにより、以上説明したものもそれ以外のものも含め、本発明の特徴的構成及び効果がより明らかとなろう。但し、以下の説明は純粋に理解を促進するためだけのものであり、本発明の要旨を限定するためのものではない。

図１に、本発明に係るカメラ１０を携帯するユーザがいる場所の近辺、即ちカメラ使用環境内で使用される多数の使用場所限定型装置を示す。

ここで「使用場所限定型装置」と称しているのは主に音声、画像その他の情報を再生又は取得できる装置のことであり、図示例においてはテレビジョン受像機１２、ステレオセット１４、ＰＣ１６並びに携帯電話１８及び１９のことである。勿論、カメラ使用環境内にこれ以外の使用場所限定型装置があってもかまわない。

また、これら使用場所限定型装置並びにカメラ１０は、それぞれローカル通信インタフェース２０を備えている。図中、このローカル通信インタフェース２０は、小型アンテナを示す記号によって表されている。

更に、「カメラ使用環境」といい得る範囲は、ローカル通信インタフェースを用いた場合の送受信可能範囲の拡がり度合いにより規定される。言い換えれば、カメラ使用環境の外延は送信可能レンジによって制限される。例えば、先に言及した通りＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ等の既知規格における送受信可能範囲は数十ｍという拡がりを有しており、この程度の拡がりがあればユーザがいる部屋全体をカバーすることができよう。また、ユーザはカメラ１０を携帯して移動するので、カメラ使用環境は時の経過につれて移動、変形する。

また、図示を簡明にするため図１では各装置を同一縮尺で描いていないことにも、注意されたい。

各使用場所限定型装置は、自分のローカル通信インタフェース２０から一群のデータを送信することができる。

例えばテレビジョン受像機１２は、放送予定又は放送中のテレビジョン番組に関する情報や、例えばそのテレビジョン番組をダウンロードできるインターネットサイトやそのテレビジョン番組に関して更なる情報を入手できるインターネットサイトのＵＲＬアドレスといった情報を、送信する機能を有している。

同様にまた既に本願中で説明した通り、ステレオセット１４は再生中又は再生を終えた個々の曲目に関する情報を、また携帯電話１８，１９はその主たるユーザを識別するための情報を、送信する機能を有している。即ち、何れの使用場所限定型装置にも、視覚情報、聴覚情報等の情報が発生したコンテキストについての情報を、ローカル配信する機能がある。繰り返しになるが、コンテキストデータと称しているのはこの情報のことである。普通に送信されるコンテキストデータのなかで最も単純なものは送信元種別識別情報、即ちそのコンテキストデータの送信元がテレビジョン受像機か携帯電話かそれともそれ以外の装置か等を知ることができる情報である。

また、カメラ使用時にそのカメラ使用環境内で通信し合える装置であればどの使用場所限定型装置にて得られたセンサ出力信号であっても、また静止画、音声、動画等の何れの種類に属するものであっても、カメラ１０にとってのコンテキストデータ源となり得る。

また、カメラ１０も、各使用場所限定型装置と同様、ローカル配信用のアンテナ２０と、このアンテナ２０に接続された無線送受信モジュール２２という形態を採るローカル通信インタフェースとを、備えている。

このローカル通信インタフェースの動作は、ローカル配信型データ送信機を認識するためのプログラムに従い制御ユニット２４が制御する。制御ユニット２４のプログラムは、詳細には、搬送波を検知し、通信プロトコルを識別し、それによって特定されたローカル配信型データ送信機との間に通信リンクを確立するよう、構成されている。なお、ここでいう「ローカル配信型データ送信機」とは、カメラ使用環境内にありコンテキストデータを提供可能なあらゆる装置を指している。

図中の双方向矢印３０は、カメラ１０と各ローカル配信型データ送信機との間に通信リンクを確立するための通信モードが、質問／回答プロトコルによるものであることを、象徴的に表している。通信リンクを確立する動作は順次周期的に実行するようにしてもよいし必要なときだけ実行するようにしてもよい。他種通信プロトコル、例えばローカル配信型データ送信機によるデータ配信をブラインドするプロトコルを組み込んでもよい。

カメラ１０と何れかのローカル配信型データ送信機との間に通信が確立されている状態では、そのローカル配信型データ送信機からの情報をカメラ１０にてコンテキストデータとして収集することができる。先に述べた通り、コンテキストデータとして収集できる情報には、例えばテキストデータ、ＵＲＬ、或いは更に（適当な装置さえあれば直ちに再生できる）マルチメディアデータ等がある。

カメラ１０に収集されたコンテキストデータは処理の後メモリ２６内に随時保存される。他方、詳細図示を省略してあるが、カメラ１０を構成する画像センサ２８によって撮影された画像は例えば画像処理ユニットによる処理を経て画像データとなる。この画像データには、メモリ２６内に保存されているコンテキストデータのなかから適当なものを取り出して、関連付けることができる。画像データ及びメモリ２６から取り出されこの画像データに関連付けられたコンテキストデータは、補強済画像データを随時記憶するメモリ３２内に格納される。なお、図１中のメモリ２６はコンテキストデータ格納専用の、メモリ３２は補強済画像データ格納専用のメモリであり、両者は別々の物として示されているが、コンテキストデータ、生の画像データ、補強済画像データ等を単一のメモリ内に併存格納するようにしてもよい。また、未補強画像データを随時保存する別のメモリ３４を設けてもよい。こうしたメモリ３４を設けることによって、とりわけ、コンテキストデータ収集所要期間が経過するまで又は実際に収集が終了するまでの間、未補強画像データを保存しておくことが可能になる。

コンテキストデータ及び画像データの取扱に関しては、後に図３を参照してより詳細に説明する。

次に、図２に基づき本画像補強方法を構成する主要なステップ群について説明する。それらのステップのうち何個かについては図１を参照して説明済であるので想起されたい。

第１の動作１００は、カメラ１０がその使用環境内でローカル配信型データ送信機をサーチする動作である。この動作は、そのカメラ使用環境内にローカル配信型データ送信機が存在していれば到来するはずの搬送波を検知することによってローカル配信型データ送信機をサーチし、そのカメラ使用環境内で見つかったローカル配信型データ送信機が使用する通信モードを識別・特定する、という手順を含む動作であり、使用する通信プロトコルが決まるまで実行される。使用する通信プロトコルの識別・特定はシグネチャの識別即ち特徴的な情報パケットの認識によって行うことができ、また予めプログラムされている何種類かのサービス発見プロトコル（とりわけＢｌｕｅｔｏｏｔｈ（登録商標）型やＷｉ−Ｆｉ型のプロトコル等）に従いカメラ１０にて通信確立を試行することによって行うこともできる。

なお、ローカル配信型データ送信機のサーチは、そのカメラ１０がスタンバイモードにあるときに、即ち写真撮影が求められない状態で実行する。また、ユーザはほぼ一日中動き続けるので、カメラ１０は各種ローカル配信型データ送信機の無線覆域内への出入りを繰り返すこととなる。従って、カメラ使用環境というものは本質的に変化性のものであるといえる。

第２ステップ１０２は、識別したローカル配信型データ送信機との間にカメラ１０が通信リンクを確立しそれらローカル配信型データ送信機に対するインテロゲーションを実行するステップである。例えば、そのカメラ使用環境で新たなローカル配信型データ送信機を識別するたびにそれとの間で通信リンクを初期確立し、その後はそのローカル配信型データ送信機がそのカメラ使用環境内に居続ける限り周期的にインテロゲーションを実行するようにするとよい。或いは、カメラ１０をスタンバイモードに切り替え、そのカメラ使用環境内に存するローカル配信型データ送信機が勝手に送信するデータを単純に収集していくだけの動作としてもよい。更に或いは、そのカメラ使用環境内に存するローカル配信型データ送信機に対し適当な断片的プログラムコードを送信することによってそのローカル配信型データ送信機にプログラミングを施すよう、カメラ１０を構成してもよい。この場合に送信する断片的プログラムコードは、例えば、送受信対象としているデータのうち特定種類のものに変化が現れるたびに、或いは所定時間が経過する毎に、そのローカル配信型データ送信機からコンテキストデータを送信させるように作成しておく。

ステップ１０４では、各種ローカル配信型データ送信機から送られてくるデータをカメラ１０が受信する。この受信データ中には、例えば送信元の装置種別を識別するためのデータ１０６が含まれるほか、それらローカル配信型データ送信機によって送信されたコンテキストデータ１０８も含まれる。送信元種別識別データ１０６は、例えば、送信元がテレビジョン受像機であるのか電話機であるのかコンピュータであるのかＣＤプレーヤであるのかそれともそれ以外の装置であるのかを、識別するのに使用できる。この送信元種別識別データ１０６は、送信元種別識別に使われるだけでなく、本方法中の残りの手順ではコンテキストデータ１０８の一部として使用される。

ステップ１１０では、送信元種別識別データ１０６及びコンテキストデータ１０８を画像補強処理用に保存する動作のほか、後に図３を参照してより詳細に説明する利用可能データ管理動作を実行する。

ステップ１２０では写真撮影を実施する。使用するカメラ１０の種類により、このステップ１２０での動作は、写真を１枚ずつ撮影する動作ともなるし、何枚かの写真を立て続けに撮影する動作ともなる。写真撮影された何個かの画像に係る一組の画像データは、例えばフォーマット、一時記憶等の処理に供した上で、例えばディジタルファイルの形態で保存する。

こうした動作が済んだら、ステップ１２２にて画像データとコンテキストデータとを関連付ける。この関連付けは直接的な形態で実施することができる。例えば、そのコンテキストデータを、その画像データに係るメタデータとして、その画像データと共にファイル１２４内に登録すればよい。

或いは、画像データに対しコンテキストデータを間接的に関連付けるようにしてもよい。それには、例えば、リモートデータベース１１２中からそのコンテキストデータを見つけるのに役立つであろうポインタを、その画像データに関連付けるだけでよい。ポインタは、例えばディジタルペン１１６にて読取可能なアレイ型符号画像１１４によって構成することができる。アレイ型符号画像１１４を読み取るとディジタルペン１１６はサーバ乃至コンピュータへと読出要求メッセージを送信する。サーバ乃至コンピュータ内に組み込まれておりそのアレイ型符号画像１１４に対応するコンテキストデータが格納されているリモートデータベース１１２は、そのアレイ型符号画像１１４に対応するものとして識別されたコンテキストデータを、このメッセージに応じてユーザに送信する。コンテキストデータそれ自体がある種のアドレス乃至ポインタである場合は、そのコンテキストデータによって再指定されている別のデータが送信即ちダウンロードされる。送信乃至ダウンロードされるデータは、適当なプレーヤを使用して画像と共に再生することが可能なマルチメディアデータであってもよい。また、この図に示すように同じ媒体１１８上に写真１１９及びアレイ型符号画像１１４を共に印刷することもできる。この図の例では媒体１１８上に印刷されている写真の個数が１個であるが、写真１１９を複数個媒体１１８上に印刷することもできる。その際は、それらの写真１１９を例えばインデックスストリップ（目次画像印刷）の要領で、且つそれぞれの写真１１９に対応してアレイ型符号画像１１４を付して、印刷するとよい。そして、画像データ及びこれに関連付けられたアレイ型符号画像データを保存して後刻に印刷することもできる。

図３に、ローカル配信型データ送信機から到来するデータの管理手法の例を示す。単純化のためここではローカル配信型データ送信機の個数をＡ、Ｂ及びＣの３個だけとする。

図中、コンテキストデータ受信時刻は時刻ｔの軸に沿って示されており、順に時刻ｔ１、ｔ２、ｔ４、ｔ６がメッセージＡ１、Ｂ１、Ａ２及びＣ１の受信時刻である。各受信メッセージに対応付けて記されている長方形は各受信メッセージの有効期間を示しており、各受信メッセージはこの長方形の長さに相応する期間の間有効とされる。ここでいう「有効期間」とは、画像補強用にコンテキストデータを保持してかまわない期間のことである。但し、これは、有効期間を過ぎた後もコンテキストデータを保存し続けることを禁ずる趣旨ではない。そうした場合、保存されているコンテキストデータを使用してユーザがカスタム的に画像を補強することが可能になろう。

文字Ｄ１、Ｄ２は順に時刻ｔ３、ｔ５で写真撮影が実施されることを表している。

この図から看取できるように、ローカル配信型データ送信機Ａ、Ｂ、Ｃそれぞれに割り当てられる有効期間は互いに等しいとは限らない。この例では、各ローカル配信型データ送信機Ａ、Ｂ、Ｃからのコンテキストデータの有効期間が、図２中に送信元種別識別データ１０６として示されているデータをもとにして決められている。

有効期間決定に使用できるパラメタとしては、この他に、そのローカル配信型データ送信機の使用頻度乃至そのローカル配信型データ送信機による同一・類似コンテキストデータの送信頻度がある。

この点については、図示してあるように、あるローカル配信型データ送信機Ａから送られてきた１個目のコンテキストデータＡ１をカメラ１０で保持することが認められる第１の有効期間と、同じローカル配信型データ送信機Ａから送られてきた２個目のコンテキストデータＡ２について同様のことが認められる第２の有効期間とを比べると、両コンテキストデータが多少とも似通っている点がある場合、後者の方がより長い期間になる。

例えば、音声再生装置に組み込まれているローカル配信型データ送信機Ａからある曲目に係るコンテキストデータＡ１が送信された後に再び同じ曲目に係るコンテキストデータＡ２が送出された場合、コンテキストデータＡ２を画像補強目的で保持しておける有効期間はより長くなる。こうした処置を執ることで、以前生じた出来事乃至事柄と同種の出来事乃至事柄が再び生じた結果ユーザの脳裏に強い記憶が残されているような状況で、その出来事乃至事柄を表すコンテキストデータによってその画像データを補強することができる。

また、写真撮影Ｄ１が実施された時刻ｔ３ではコンテキストデータＡ１及びＢ１が有効であるので、時刻ｔ３にて撮影された画像はコンテキストデータＡ１及びＢ１によって補強される。

コンテキストデータＡ１、Ａ２及びＣ１はその受信時刻ｔ１、ｔ４及びｔ６から画像補強に使用可能である。これは因果律重視型のコンテキストデータ取扱形態である。ここに、ユーザは、その出来事と同時期に知覚した事柄又はその出来事に関連付けて知覚した事柄から出発することによって、その出来事を容易に想起できるものである。例えば、ユーザは、自分が体験した出来事を、その出来事の遙か以前に自分が聴取した楽曲よりも、その出来事の直後又は直近に自分が聴取した楽曲の方に、たやすく結び付けることができるものである。ある結婚式とその結婚式で聞いたウェディングマーチとが容易に結び付く例等が典型例であろう。従って、このような因果律重視型の取扱は有用である。

しかしながら、送信元装置種別によっては、因果律を踏み越えた取扱が有益な場合もある。一例として、コンテキストデータの送信元が図１に示した携帯電話１８及び１９である場合、送信元の性質上、そのコンテキストデータには、写真撮影時にカメラ１０のユーザが他の人間とどのようなつきあい方をしていたかが反映している。従って、カメラ１０のユーザは、そのコンテキストデータに含まれている情報のうち、携帯電話加入者名や電話番号等の情報から、写真撮影時に自分の周りにどのような人達がいたかを容易に想起できる。他方で、写真撮影と携帯電話使用とが同時である場合は少ない。むしろ、自分の携帯電話への電源投入や使用を、カメラ１０のユーザと離れ別行動に移るまでは避けて別行動に移ってから行うような人達の方が、多いであろう。従って、ユーザの画像に補強を施す必要があると意識される時点と、コンテキストデータ受信時点とが、同時である必要はない。

図３から看取できるように、コンテキストデータＢ１がアクティブの期間は、その受信時刻ｔ２の以後には勿論、以前にも亘っている。これは因果律に違背するパラドックス的な現象であるが、画像データとコンテキストデータとの関連付けが写真撮影時にはまだ行われないが後には行われ得るという仮定の下であれば、あり得ないことではない。図示の例でいうと、時刻ｔ５にて写真撮影Ｄ２が行われたとき、撮影画像の補強は、その時刻ｔ５にて有効なコンテキストデータだけでなく、その時刻ｔ５と一点鎖線で示してある時刻ｔ７に挟まれた時間窓で有効なコンテキストデータをも用いて、行われる。即ち、時刻ｔ５にて撮影された画像は、その時刻ｔ５にて有効であったコンテキストデータＡ２だけでなく、時間窓内に明らかに含まれる時刻ｔ６以後についてだけ有効なコンテキストデータＣ１をも用いて、補強される。難なく理解できるように、写真撮影時刻ｔ５では、その時刻より後でのコンテキストデータの到来等は予想できないのであるから、画像データにそうしたコンテキストデータ（図示の例ではＣ１）を関連付ける処理は、写真撮影時刻ｔ５ではまだ行うことができない。そのため、写真撮影時刻ｔ５から所定の遅延時間が経過した後に、画像データとコンテキストデータとを関連付けるようにする。この例の場合、遅延時間の長さは時間ｔ７−ｔ６より長く設定されている。このように遅延時間経過後に関連付けを行うことで、あたかも時刻ｔ５ではコンテキストデータＣ１が既に有効であったかのように、見せかけることができる。

本発明に係る画像補強方法を実施する際、カメラ使用環境内に存する装置間でのデータ交換に使用されるモードを示す図である。 本発明の一実施形態に係る画像補強方法を示すフローチャートである。 特徴的な画像補強ルールを示すタイミングチャートである。

Claims (20)

1. カメラによって撮影されたディジタル画像をコンテキストデータにより補強する方法であって、
   ａ）ローカル配信型データ送信機のうちカメラ使用場所周辺にあるものをサーチするステップ（１００）と、
   ｂ）見つけたローカル配信型データ送信機と通信を確立するステップ（１０２）と、
   ｃ）そのローカル配信型データ送信機から送信されたコンテキストデータを受信するステップ（１０４）と、
   ｄ）その場所で撮影されたディジタル画像に係る画像データにそのコンテキストデータのうち少なくとも一部を関連付けるステップ（１２２）と、
   を有する方法。
2. 請求項１記載の方法であって、写真撮影による画像データ取得毎にステップｄ）を実行する方法。
3. 請求項１記載の方法であって、ステップａ）、ｂ）及びｃ）のうち少なくとも一つを写真撮影より前でスタンバイ中の時点にて実行する方法。
4. 請求項１記載の方法であって、ステップａ）、ｂ）及びｃ）のうち少なくとも一つを写真撮影より後でスタンバイ中の時点にて実行する方法。
5. 請求項１記載の方法であって、ステップｄ）を写真撮影と同時に実行する方法。
6. 請求項１記載の方法であって、ステップｄ）を写真撮影に遅れて実行する方法。
7. 請求項１記載の方法であって、ローカル配信型データ送信機から送信されるはずの搬送波を検知できるかどうか試すことによりローカル配信型データ送信機をサーチし、検知できたらそのローカル配信型データ送信機が使用する通信プロトコルを識別する、という動作を、ステップａ）にて実行する方法。
8. 請求項１記載の方法であって、ローカル配信型データ送信機に対するインテロゲーションをステップｂ）にて実行する方法。
9. 請求項１記載の方法であって、コンテキストデータを送信させるためのプログラムコードをローカル配信型データ送信機に送りつける動作をステップｂ）にて実行する方法。
10. 請求項１記載の方法であって、受信した全てのコンテキストデータについて有効期間を設定し、取得した画像データそれぞれとコンテキストデータとをそのコンテキストデータの有効期間中に関連付ける、という動作を、ステップｄ）にて実行する方法。
11. 請求項１０記載の方法であって、その送信元装置種別に従いコンテキストデータの有効期間を設定する方法。
12. 請求項１記載の方法であって、コンテキストデータを上記画像データに係るメタデータとして保存する動作をステップｄ）にて実行する方法。
13. 請求項１記載の方法であって、データベース（１１２）におけるコンテキストデータの格納場所を指し示すポインタを対応する画像データに関連付ける動作を、ステップｄ）にて実行する方法。
14. 請求項１３記載の方法であって、データベース（１１２）内に保存したコンテキストデータに、ディジタルペン（１１６）により読取可能なポインタであるアレイ型符号画像（１１４）を関連付ける、という動作を、ステップｄ）にて実行する方法。
15. 請求項１４記載の方法であって、更に、アレイ型符号画像に係るアレイ型符号画像データを対応する画像データと共に保存するステップを有する方法。
16. 請求項１４記載の方法であって、更に、画像データに基づく画像（１１９）及びアレイ型符号画像データに基づくアレイ型符号画像（１１４）を組み合わせて印刷するステップを有する方法。
17. 請求項１記載の方法であって、コンテキストデータがＵＲＬアドレスを少なくとも１個含む方法。
18. 請求項１記載の方法であって、更に、画像データ及びこれに対応するコンテキストデータを読み込むステップと、そのコンテキストデータをポインタとして用いてマルチメディアデータをサーチするステップと、そのマルチメディアデータに対応するマルチメディアコンテンツ及びその画像データに対応する画像を同時再生するステップと、を有する方法。
19. ローカル通信インタフェース（２２）と、
    ローカル配信型データ送信機（１２，１４，１６，１８，１９）の認識並びにそのローカル配信型データ送信機に対するインテロゲーションをこのローカル通信インタフェースを用いて実行する手段（２４）と、
    ローカル配信型データ送信機から到来するデータに関連付ける又は関連付けた画像を記憶するメモリ（２６）と、
    を備えるカメラ。
20. 請求項１９記載のカメラであって、ローカル通信インタフェースを用いるローカル配信型データ送信機を備え、このローカル配信型データ送信機により他の同種カメラに識別データを送信可能なカメラ。
    

Images