JP4576427B2 - 注釈付画像生成方法及びカメラ - Google Patents

Description

本発明は、発明の名称の欄に記載の通り注釈付画像の生成に関する。ここに、携帯型機器を用いて撮影され種々のアドレスに電子的に送信される画像をｅ−ポストカード(electronic postcard)と呼ぶことがあり、それらはディジタルカメラユーザ間、特に遠隔通信機能及びカメラ機能を併有する携帯型ディジタル装置のユーザ間で、情報交換媒体としての価値が高く評価されるに至っている。以下、そうした装置の中でも特にホンカム（カメラ付携帯電話）を例として説明を行う。本発明は、画像やｅ−ポストカードに付する注釈のカスタマイズに関する。

カメラ付携帯電話で画像通信モードを使用するユーザはますます増えつつある。その種の携帯型機器では、画像を音声や電子メールと変わりなく送信及び再生することができる。今や、カメラ付携帯電話やディジタルカメラに小型制御スクリーンを設けて画像を表示できるようにすることは通例のこととなっている。勿論、大画面スクリーン付の家庭用コンピュータに、画像を送信することもできる。

送信するｅ−ポストカードの元となる画像は、ディジタル撮影によって得られた写真である。従って、その写真をカスタマイズすることによって、ｅ−ポストカード上で送信者の個性を表現することができる。例えば、画像に注釈を付せばよい。しかしながら、カメラ付携帯電話等の携帯型機器に備わっている制御インタフェース、例えばキーボードはかなり小型であり、それを用いて注釈を入力するのは面倒なことである。

例えば後に列挙する特許文献１及び２に記載の通り、画像にマニュアルで注釈を付すことができる装置及び方法も幾つか知られているが、何れも高度なインタフェースを必要とする。例えば、特許文献１に示されているように、文書から注釈を読みとるためのスキャナや、ユーザがライトペンで注釈を書き込むタッチスクリーン等が必要である。しかし、携帯型機器、特に一般公衆向けの機器には、普通はそうしたインタフェースなど備わっていない。

もう一つ、画像に注釈を付す際に問題になるのが、画像に対する注釈の相対寸法や画像内での注釈の位置を容易に判別・決定できないことである。この問題もまた、携帯型機器の制御インタフェースが小さいことに起因している。また、先に引用した特許文献２にて提案されている注釈付複合画像の生成方法では、注釈を付すことができる箇所が所定の箇所に限られている。

注釈を付すことができる箇所を所定箇所に限定することは、ユーザが行わねばならない操作が減る点で有益である反面、創意を発揮する機会を減らすことにもなる。

米国特許出願公開第２００２／００５１２６２号明細書 米国特許第６００５９７２号明細書 米国特許第６６７１３９５号明細書 米国特許第６０５４９９０号明細書 米国特許第６６８１０４５号明細書 国際公開第ＷＯ００／７２１２５号パンフレット

本発明の目的は、ディジタルカメラとりわけカメラ付携帯電話向けに、際立ってユーザフレンドリな画像注釈プロセスを提供することにある。

即ち、本発明の目的の一つは、注釈機能専用の制御キーボード乃至インタフェースを具備しないベーシックなカメラで実施できる注釈方法、特に注釈をマニュアルで付せるようにする方法を、提供することにある。

本発明の目的の一つは、やはり専用制御インタフェース無しでもユーザが画像内注釈レイアウト及びサイズを精密に制御でき、創意溢れた注釈を付せるようにする方法を、提供することにある。

本発明の目的の一つは、画像内注釈位置がどこであり注釈ゾーンの周りにどのようなコンテンツ（色やテキスチャ）があっても、注釈を的確に認識できる方法を、提供することにある。

そして、本発明の目的の一つは、本発明に係る方法に従い画像に注釈を付すことができるディジタルカメラを提供することにある。

これらの目的を達成するため、本発明の実施形態に係る方法は、制御スクリーン付ディジタルカメラを用い撮影した画像に注釈を付す方法であって、
− ユーザによる少なくとも１枚の画像の指定及び少なくとも１枚の別画像の撮影が可能で、それらの画像を制御スクリーン上にプリビュー表示させ得る動作モードを、そのカメラに設けておき、
− 上記別画像から注釈を自動抽出し、
− 新規画像内注釈位置及び注釈倍率が別画像内注釈位置及び注釈倍率と実質的に同じになるよう注釈対象画像と注釈とを結合させて少なくとも１枚の新規画像を生成する、
という方法である。

この注釈方法は、単一画像に注釈する形態だけでなく、複数画像に注釈する形態でも実施可能である。例えば、ビデオシーケンスを構成する多数の画像に注釈を付して注釈付画像シーケンスを生成することもできる。

また、「注釈」とは、別画像から抽出でき注釈対象画像内に挿入できるあらゆる要素のことを指している。例えば、印刷文字、手書き文字、描図、署名、ロゴ等がこれに該当する。その抽出に際しては、元々のデザインにて使用されていた色を識別、特定して引き継ぐことができる。また、画像から注釈を抽出する手法としては既知の手法を使用できる。例えば前掲の特許文献３には、これに関連する情報が記載されている。

注釈対象画像解像度と別画像解像度は同じでもよいし違っていてもよい。注釈対象画像が別画像とは別のカメラによって撮影されたものである場合や、注釈対象画像がビデオシーケンスに由来している場合には、大抵の場合、注釈対象画像は別画像と異なる解像度になる。また、注釈対象画像や別画像に事前修正乃至処理を施してもよい。即ち、注釈プロセスには、例えば画像サイズ変更、画像解像度修正、注釈位置修正等の処理を随時組み込むことができる。それらの実施タイミングは新規画像生成時点でもそれより前の時点でもよい。

本発明によれば、画像に手書き注釈を付したいユーザは、記入媒体上に注釈を記しカメラを向けてその媒体の画像即ち別画像を撮影するだけでよい。記入媒体の種類は問わない。注釈記入に使用する鉛筆やペンは入手できるものでよい。

また、生成される新規画像即ち複合画像は別画像内注釈位置及び注釈サイズを引き継ぐこととなるため、ユーザは複合画像内注釈位置及び注釈サイズを非常に簡単に制御できる。その制御に制御インタフェースを用いる必要はない。実際、注釈記載媒体に対しカメラを動かすだけで注釈位置を簡単に決定でき、そのカメラのプリビュー表示手段を参照して注釈位置を制御することができる。なお、このプリビュー表示手段は、例えばビュワや小型制御スクリーンによって実現できる。

同様に、注釈記載媒体に対しカメラを近づけたり離したりするだけで、注釈サイズを簡単に決定することができる。そのカメラにズーム機能が備わっていれば、そのズーム機能を作動させて注釈サイズを決定することもできる。

ユーザは、制御スクリーン上にプリビュー表示されている別画像内の所望位置及び所望エリアに、最終的に注釈が収まったときに、そのカメラのレリースを作動させればよい。そうすれば、その画像を撮影できる。

また、最終生成画像内注釈位置及び注釈寸法をより簡便に決定できるようにするには、例えば、注釈対象画像表示と別画像プリビュー表示とを組み合わせて行えばよい。

この組合せ表示は、例えば、それら二種類の画像の単純な重畳表示として実現することができる。重畳表示を実現するには、それらの画像を透過性画像に変換するプロセス等を実行すればよい。透過性画像に変換された互いに同一解像度の注釈対象画像Ｉ’及び別画像Ｉ”を重畳表示させて得られる複合画像においては、所与位置（ｘ，ｙ）に存する画素ｐにおける画像強度が注釈対象画像Ｉ’及び別画像Ｉ”内位置（ｘ，ｙ）に存する２個の画素にける画像強度双方によって変わる。従来型の透過変換機能を使用した場合、最終画素値に対するそれら２個の画素の強度上の寄与度合いは、互いに等しいものになる。

注釈対象画像表示と別画像プリビュー表示の組合せ表示は、或いは注釈対象画像と別画像とを交互に表示させることによっても実現できる。表示の交代速度が十分高速なら、この方法でも、象徴的コンテンツ(iconic contents)間位置関係を視認評定できる。即ち、ユーザは、画像フレーム内注釈位置を決めまた注釈サイズを変化させることだけでなく、注釈対象画像内象徴的コンテンツの構成要素に対する相対的位置関係及び相対的サイズを決定、変化させることもできる。

別画像プリビュー表示は、カメラの画像センサが捉えたものをそのまま表示させるやり方で行ってもよいし、抽出した注釈だけを表示させるやり方で行ってもよい。もし、そのカメラ装置の計算能力が十分高ければ、カメラが捉えた別画像から注釈をリアルタイムに抽出し、抽出した注釈を注釈対象画像と組み合わせてプリビュー表示することができる。プリビュー表示ステップをこうしてリアルタイムで実行した場合も、ユーザは、必要に応じ、注釈表示使用色又はその組合せを評価しまた容易に修正することができる。

注釈対象画像をユーザが指定することもできる。例えば、ユーザが通常撮影モードで撮影したばかりの画像等を指定できる。また、既に注釈が付されている画像を注釈対象画像とし、更なる注釈を付すこともできる。更に、カメラのメモリ内に保存されている画像即ち以前に撮影した画像を注釈対象画像とすることもできる。また、画像ストレージプロバイダのサーバからダウンロードした画像や、他のユーザの画像遠隔通信手段付ディジタルカメラから受信した画像を、注釈対象画像とすることもできる。そして、その上に注釈を重畳させることができる単なるベタ背景を以て注釈対象画像としてもよい。

注釈対象画像及び注釈から新規に複合画像を生成するには、例えば、注釈対象画像を表す画像データに注釈を表す画像データを結合させればよい。但し、そうした場合、得られる画像におけるディジタル荷重が倍化する、という影響が生じる。これとは別のやり方としては、注釈対象画像を構成するレッド、グリーン及びブルーの画像層即ち通常の画像層に加えて第４の画像層を設け、この第４の画像層に注釈データを入れる、というやり方がある。更に、注釈対象画像構成画素を別画像内注釈構成画素によって置き換える、というやり方でも、注釈対象画像と注釈とを結合させることができる。置き換えるのは互いに同じ座標値を有する画素同士とする。その結果得られるものは、それら２個の画像の融合物である。

更に別のやり方としては、まるで手で書かれ（描かれ）つつあるかのように注釈付画像コンテンツが徐々に出現する短時間画像シーケンスを、それに適するビデオ符号化フォーマットを利用して生成する、というやり方がある。例えば、ＭＰＥＧ−４のようなオブジェクトベースビデオエンコーダを用いれば、注釈ゾーン（群）を処理対象オブジェクト（群）として認識、識別することができる。

本発明に係るカメラは上述の方法を実施できるカメラであり、特に、
− 注釈付画像をプリビュー表示する手段と、
− プリビュー表示中の画像から注釈を抽出する手段と、
− 注釈対象画像を指定する手段と、
− 注釈対象画像と注釈とを結合させて複合画像を生成する手段と、
を備える。

注釈抽出手段及び複合画像生成手段は、共に、そのカメラに内蔵されているコンピュータによって実現することができる。或いは、そのカメラと別体に設けられそのカメラと通信を行うコンピュータによっても、実現することができる。

複合画像生成は、前述のやり方で、注釈の位置及び寸法が保たれるように行うのが望ましい。

注釈対象画像指定手段は、例えば制御ボタン乃至インタフェースを備える。これを用いることにより、メモリ内に格納されている画像ファイル全部をスクロールすることができる。

そして、プリビュー表示手段は、別画像、注釈対象画像又はその双方を表示できるビュワ乃至制御スクリーンによって実現することができる。先に述べた通り、重畳表示、透過表示、交互表示等といった形態での同時表示も実行できる。

加えて、無線通信手段等の遠隔通信手段をカメラに設けてもよい。それによって、インターネット等の通信ネットワークへのアクセスが可能になる。通信ネットワークへのアクセスによって、ユーザの携帯型機器からユーザ自身が選ぶ受信者の電子アドレスに宛てて、直接に注釈付画像を送信することができる。

生成した複合画像は、例えばＭＭＳ(Multimedia Messaging Service)タイプメッセージ内に組み込んで、電子メールにより送信する。

以下、別紙図面を参照しつつ本発明について説明を行う。以下の説明から、上述していないものも含め、本発明の特徴的構成及び利点について理解することができるであろう。また、以下の説明は純粋に例示のためのものであり、何か限定の意図を孕むものではない。

以下の説明においては、図面の通読参照の便宜上、別々の図面に記されている部材であっても、同一、類似又は均等なものに対しては互いに同一の参照符号を付すこととする。更に、「画像」という用語は、撮影対象光景、表示中の画像、撮影した画像、画像を表すディジタルデータ等々の意味で使用する。但し、文意明瞭化上必要となる場合にのみ、その性質乃至詳細を示す。

図１に示すフローチャート中の最初のステップ１０は、ディジタルカメラ１００とりわけカメラ付携帯電話を用い、ユーザが風景等の画像をディジタル撮影するステップであり、ここで撮影した画像１２が注釈対象とされる。

また、撮影済画像又は遠隔通信受信チャネルを介して受信済の画像がカメラ１００のメモリ内に画像ファイルとして格納されている場合は、そのメモリから画像１２ａを読み出して注釈対象とすることもできる。図中のステップ１４は、メモリ内画像から注釈対象画像１２ａを選択、指定するステップである。この指定は、例えばメモリ内画像をカメラ１００の制御スクリーン上に順繰りに表示させ、所望画像が表示されたら確認ボタンを押すようユーザに促すことによって、行うことができる。

画像撮影又は画像指定に続いては、更に、その画像に注釈を付すか否かの選択１６を行うようユーザを促す。ここでは二者択一的選択肢を提示しているが、カメラの制御スクリーン上にメニューを表示させ、より多くの選択肢から好きな選択肢を選択できるようにしてもよい。例えば、プリセットされているプレゼンテーションフォーマットに画像を組み込むという選択肢をメニュー内に設けておくとよい。その選択肢が選ばれたら、プレゼンテーションフォーマットに画像を組み込んでｅ−ポストカードに変換する。メニュー内に設けうる選択肢としては、この他、画像をセーブするという選択肢、画像のハードコピーを求めるという選択肢、そして勿論、画像に注釈を付すという選択肢もある。

画像に注釈を付すと決めたユーザに対しては、所望の注釈を含む別画像を撮影するよう促す。この要請に応え、ユーザは、用紙シート上に所望の注釈を記しその用紙シートの画像を撮影する。このとき記入及び撮影の対象としうる媒体は用紙シートだけではなく、ユーザが画像に注釈として付したいと思うアイテム、例えば表題・刻印、印刷活字、手書き文字、描図等が掲載されている媒体であれば、どのような媒体でもよい。この処理は図中参照符号１８で示されている。また、この別画像撮影に先立って、そのカメラ１００の画像センサ１０４が捉えた画像を表示させるとよい。そのようにすると、ユーザが撮影しようとしている画像の倍率を好適に制御しフレーム位置を好適に合わせることができる。この表示は、ちょうど、通常のプリビューモードにおけるカメラビュワ乃至制御スクリーン上画像表示に相当している。

また、別画像撮影は注釈対象画像撮影後に行うのが望ましいけれども、どちらを先に行うかは本質的な事柄ではない。例えば、注釈付別画像撮影と注釈対象画像撮影とを順不同に実行し、注釈に進むか否かの選択１６をそれらの後に行うようにしてもよい。その場合、メモリ内に２個の個別レジスタを設け、それらに各画像をセーブするとよい。

参照符号２０で示されているのは本発明の重要ステップの一つ、即ち別画像から注釈を抽出するステップである。このステップについては後に別の図面を参照してより詳細に説明する。注釈抽出に際しては、撮影した別画像に基づき注釈抽出、注釈位置制御及び注釈倍率制御を行うようにしてもよいし、或いは、撮影した別画像（第１の別画像）から注釈を抽出する一方で注釈位置及び注釈倍率をまた別に撮影した画像（第２の別画像）に基づき制御するようにしてもよい。第２別画像としては、例えば、注釈又はその一部のクローズアップを使用できる。

注釈抽出２０は、別画像撮影１８，１８ａより後に行ってもよいし、撮影より先例えばプリビュー表示中に行ってもよい。プリビュー表示中に注釈抽出することにより、別画像に代え複合画像、即ち注釈対象画像及び注釈から生成した画像をプリビュー表示することもできる。但し、これを実行するには多大な計算能力が必要になる。

抽出した注釈に係るディジタルデータはセーブしておくとよい。セーブしておけば、後に他の画像に注釈を付す際必要になったときに、そのディジタルデータを再利用することができる。

図１に示す方法においては、続いて、注釈対象画像と別画像から抽出した注釈とを結合させる処理２２を実行する。結合のさせ方は色々ある。第１に、注釈画像を注釈対象画像に付加乃至加算するやり方がある。その結果得られる複合画像は、元々の注釈対象画像に比べディジタル荷重が倍化した画像、例えば画素数を単純に倍化させた画像になる。第２に、上述した注釈対象画像に、それぞれレッド、グリーン及びブルーのうち対応する色成分を含む３個の層に加え、第４層を設けてその中に注釈を作成するやり方もある。第３に、短時間画像シーケンスを作成可能な上述のビデオ符号化フォーマットを用いるやり方もある。その場合、注釈が今まさに人手で書かれ又は描かれていくかのように注釈付画像の一部コンテンツを徐々に出現させることができる。

また、付加的なステップ２４にて、注釈付画像に基づく別の処理、例えばｅ−ポストカード等の電子文書形態へとフォーマットする処理を、ユーザの希望に応じて実行することもできる。ここで実行対象としうる処理としては、例えば、予め記録済のタイトル又は注釈の挿入、マージン又はフレームの生成、手書き注釈から活字への変換等がある。例えば、文字認識ソフトウェアを用い手書き注釈から活字への変換を行うことができる。同様に、文字認識ツールを使用した上で、抽出した注釈中のテキストコンテンツの読み上げ合成音声を示すオーディオデータを、画像データに付加することもできる。これらの処理は、複合画像生成より前、その最中、それより後、の何れの時点でも行える。

そして、これも付加的な性格のステップである最後のステップ２６では、複合画像をＭＭＳ(multimedia message service)形式にカプセル化し、ユーザ指定の受信者へと送信する。また、矢印線２７で示されているように、撮影画像１２に注釈を付さない場合に直ちにステップ２６を実行するようにしてもよい。

図２に、ユーザが撮影した画像１２、即ちユーザが注釈を付して送信したいと考えている画像を示す。ユーザは、自分で選んだ受信者又は印刷サービスプロバイダに注釈付画像を送信することができるが、そのためには、送信に先立ち画像に注釈を付す必要があり、それには注釈を含む別画像を撮影する必要がある。注釈は、例えば画像１２に重畳させる。この場合、注釈は画像フレームの内側に組み込まれる。また、図３に示すように、画像より大きなフレームＦを設定しておけば、画像の外（但しフレームＦ内の場所）に注釈を付すこともできる。また、図３には示してないが、予め記録しておいた題字、銘等をフレーム内に付加し、カスタマイズ版のｅ−ポストカードを生成することもできる。

図４に別画像１３を示す。より厳密にいえば、この画像１３はカメラの制御スクリーン上にプリビュー表示されている画像、即ちユーザがこれから撮影する画像である。この画像はユーザが注釈を記した用紙シートの画像であり、見た目には、注釈Ａが画像背景Ｂに対してさほど際立っていない。こうしたことは、例えば色付用紙上に注釈が記されている場合に生じる。こうした場合でも、記入媒体の柄例えば方眼や罫線、更には媒体上に落ちた陰影等を、背景と抽出対象信号とを分離させる処理によって大抵は削除できる。

別画像１３からの注釈Ａの注釈は、例えばその別画像１３を１ビット画像に変換し、注釈Ａだけを再生することによって行う。こうして抽出した注釈を最初の画像即ち注釈対象画像１２と結合させれば、図５に示す複合画像１５が得られる。

注釈抽出は、背景部分を所定値例えば０の画素によって表し抽出した信号を別の所定値例えば２５５によって表す二値画像が得られるように、行ってもよい。また、注釈の色情報を保存したい場合は、同じく画素値０を背景に割り当て、それ以外の画素値１〜２５５全てを用いて色情報を保存すればよい。或いは、抽出した注釈を構成する各画素の位置（及び好ましくはその色）を示すテーブルを、作成するようにしてもよい。

注釈は、画像１３だけでなく、例えば図４中に破線で示した第２の別画像１３ａからも抽出できる。上述の通り、この第２の別画像１３ａは例えば注釈のクローズアップ画像である。第２の別画像１３ａの撮影は図１中のステップ１８ａで行われる。

次に、注釈抽出における工夫について、図６〜図９を参照して説明する。まず、撮影した別画像からの注釈抽出の難しさは、主として、別画像中にしばしば現れる妨害物から注釈Ａを際立たせることが難しいことにある。例えば、注釈記入に利用される罫線や方眼が用紙シート上にあると、その罫線や方眼によって注釈抽出が妨げられる可能性がある。また、別画像撮影時にカメラを持つユーザの手の影が落ち、その影が注釈抽出の妨げになる可能性もある。

そこで、図６に示すように、注釈抽出第１段階では、別画像のうちその空間的な画像強度勾配(spatial intensity gradient)が最大の部分だけを存置させる。より厳密にいえば、その画像強度勾配がしきい値を上回るゾーンだけを存置させる。そのためのしきい値は、例えば、画像コンテンツ解析結果に基づき調整してもよいし、或いはプリセットしておいてもよい。このようにしているため、本段階では、画像の中から輪郭Ｃを選り出すことができる。この動作は、画像の明暗には左右されない。そのため、記入媒体上に落ちた影等が除去され、また注釈より画像強度勾配が低い方眼等も削除されるので、注釈を選り出すことができる。但し、媒体上にある柄例えば方眼については、より好適に削除できる処理方法がある。例えば、媒体上に繰り返し現れる規則的な構造的パターンを探索し、見つかった構造的パターンを画像から削除してしまえばよい。何れにせよ、第１段階にて行われる輪郭検出によって、抽出対象注釈を含むゾーンの範囲を、大まかに特定することができる。こうした画像強度勾配に基づくしきい値選別では、注釈のうちマーキングの仕方が弱い線が削られてしまう可能性もあるが、第１段階は、そもそも、注釈を含んでいるかもしれないゾーンを大まかに識別することを目的としているので、その点は特に差し支えない。

注釈抽出第２段階においては、１個又は複数個の別画像内注釈ゾーンをより正確に特定する。例えば、既判別輪郭Ｃのモルフォロジー閉鎖(morphological closing)を実行すれば、輪郭Ｃを取り囲むように未抽出部分を含むゾーンを何個か選り出すことができる。これらのゾーンのことをマスクと呼び、図７では参照符号Ｍによって示してある。撮影した別画像のうちマスクＭに属するゾーンは、抽出すべき注釈の存在確率が高いゾーンである。従って、これらの領域においては、第１段階で行ったしきい値選別よりも選別性の高いしきい値選別を行うことが可能である。

注釈抽出第３段階においては、更に、図８に示すように、撮影した別画像に対するしきい値選別処理を実行する。このしきい値選別は、破線で概略図示したフレームＦを有する画像全体ではなく、先に定めたマスクと重なる部分だけで実行する。

このしきい値選別は、例えば強度に対するしきい値選別によって行うとよい。その際、例えばプリセットしておいたしきい値を使用してもよいし、しきい値を調整して使用してもよい。また、図６〜図８を参照して説明した注釈抽出処理は、別画像全体を対象として実行してもよいが、その画像の成分色層のうち一層又は複数層、即ち特定の色成分だけを対象として実行することも可能であることに、注意すべきである。更に、別画像はディジタル画像であり、何個かの成分色層に分離して色別にすることができる。従って、複数の成分色層のうち、媒体上での抽出記述に使用されている色に対応する成分色層だけを存置させることで、注釈を抽出することができる。また、３個の成分色層それぞれから注釈を抽出し、それらのうちコントラスト乃至画像強度勾配が最大の成分色層から注釈を引き継ぐようにしてもよい。

抽出した注釈は、続いて、先に述べたやり方で注釈対象画像と結合させる。例えば、好ましくは１ビットの、即ち「オールオアナッシング」タイプのデータによって注釈を表現し、どんな色でもよいが例えば黒く見えるよう、その注釈を注釈対象画像上に重畳させるのが望ましい。或いは、より高品質の情報を保持できる何バイトかの符号で注釈を表現してもよい。その符号に、各画素に係る色、更にはその注目画素の周辺エリア内の抽出済画素の画素値を含めると、特に有益である。また、上述の通り、画像に注釈を結合させる処理に際しては、注釈サイズ及び注釈位置を保存することができる。即ち、例えば各注釈構成画素の座標値を、別画像でも複合画像１５でも同じ座標値にすることができる。

図５に示した例においては、比較的暗い背景に白い注釈が付されているので、見た目にコントラストが良好になる。総じて、背景が明るければ黒で、暗ければ白で、或いは注釈対象画像を表現する色の補色で、注釈を付すとよい。より洗練されたやり方としては、注釈対象画像内隣接画素に対し良好な色及び明度コントラストが得られるように、各注釈構成画素の色及び明度を設定する、というやり方がある。

別画像から注釈を抽出する方法は他にもある。例えば、前掲の特許文献３には有用な参考情報が記されている。

図９に、本注釈方法を実施できるディジタルカメラ１００の概要を模式的に示す。このディジタルカメラ１００は、画像センサ１０４、レリース１０６、ビュワ１０８及び制御スクリーン１０２を備えている。制御スクリーン１０２はセンサ１０４とは逆側にある。制御スクリーンが破線で描かれているのは、この図では本来見えない側にあるからである。

このカメラは、更に、撮影した画像や遠隔通信チャネルを介し受信した画像等、種々の画像をセーブしておけるメモリ１１２を備えている。このカメラは、勿論、カメラをインターネット等の通信ネットワークにリンクさせるための遠隔通信モジュール１１４も備えている。この通信リンクを利用することによって、注釈付か注釈無しかを問わず、遠隔地に画像を送信しまた遠隔地から画像を受信することができる。遠隔通信モジュール１１４は、できれば、音声通信にも使用できる無線モジュールとするのが望ましい。それを利用することで、このカメラに電話機能或いはメッセージング機能を設けることができる。

参照符号１２０によって表されているのは選択ボタンであり、これを操作することによって、ユーザは、撮影モードか注釈モードかの選択等を行うことができる。また、この選択ボタンで多機能制御も行える。例えば、メモリ１１２内にセーブされている画像の中から注釈対象画像を指定する操作や、注釈を含む画像を指定する操作を行える。

参照符号１２２によって表されているのは、注釈抽出及び複合画像生成を管理できるようプログラミングされ又はケーブル接続されているコンピュータである。このコンピュータは、例えば、カメラの各種機能を実現する中央処理ユニットである。

本発明に係る方法を用い画像型注釈付のｅ−ポストカードを生成する方法を示すフローチャートである。 注釈対象画像を示す図である。 注釈フレーム内に嵌め込まれた注釈対象画像を示す図である。 注釈抽出用にユーザが撮影した別画像を示す図である。 注釈対象画像と別画像から抽出した注釈との結合により得られた複合画像を示す図である。 注釈抽出方法の一段階を示す図である。 注釈抽出方法の一段階を示す図である。 注釈抽出方法の一段階を示す図である。 本発明に係る方法を実施できるカメラの概略を模式的に示す図である。

Claims (9)

1. プリビュー表示手段（１０２）付ディジタルカメラ（１００）により撮影した画像に注釈を付す方法であって、
   ユーザが少なくとも１枚の注釈対象画像（１２）を指定可能で且つプリビュー表示に基づき少なくとも１枚の別画像（１３）を撮影可能な動作モードを、上記カメラに設けておき、
   上記別画像から注釈（Ａ）を自動抽出するステップ（２０）と、
   新規画像内注釈位置及び注釈倍率が別画像内注釈位置及び注釈倍率と実質的に同じになるよう注釈対象画像（１２）と注釈（Ａ）とを結合させて少なくとも１枚の新規画像を生成するステップ（２２）と、
   を実行する方法。
2. 請求項１記載の方法であって、注釈抽出ステップが、画像強度空間勾配が設定値を上回る部分を上記別画像から輪郭（Ｃ）として選り出すステップを含む方法。
3. 請求項２記載の方法であって、注釈抽出ステップが、輪郭（Ｃ）を囲い込む閉鎖処理によって少なくとも１個のマスク（Ｍ）を生成するステップと、少なくとも１箇所の別画像内マスク相当部分にてしきい値選別を実行するステップと、を含む方法。
4. 請求項１記載の方法であって、新規画像内注釈位置及び注釈倍率を設えるための第１の別画像（１３）を撮影（１８）可能で且つ注釈抽出用の第２の別画像（１３ａ）を撮影（１８ａ）可能な動作モードを設けておく方法。
5. 請求項１記載の方法であって、別画像（１３）プリビュー表示と注釈対象画像（１２）表示を組み合わせて行うステップを有する方法。
6. 請求項１記載の方法であって、注釈対象画像（１２）と別画像（１３）から抽出した注釈（Ａ）とを上記カメラの制御スクリーン上で組み合わせて表示するプリビュー表示ステップを有する方法。
7. 請求項１記載の方法であって、注釈（Ａ）と注釈対象画像シーケンスとを結合させてビデオシーケンスを生成するステップを有する方法。
8. 注釈付画像をプリビュー表示する手段（１０２）と、
   プリビュー表示中の画像から注釈を抽出する手段（１２２）と、
   注釈対象画像を指定する手段（１２０）と、
   新規画像内注釈位置及び注釈倍率がプリビュー表示の画像内注釈位置及び注釈倍率と実質的に同じになるよう注釈対象画像と注釈とを結合させて複合画像を生成する手段（１２０）と、
   を備えるディジタルカメラ。
9. 請求項８記載のディジタルカメラであって、複合画像（１５）を遠隔地に送信する遠隔通信モジュール（１１４）を備えるディジタルカメラ。

Images