JP2014116947A - コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法 - Google Patents

コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法 Download PDF

Info

Publication number
JP2014116947A
JP2014116947A JP2013264887A JP2013264887A JP2014116947A JP 2014116947 A JP2014116947 A JP 2014116947A JP 2013264887 A JP2013264887 A JP 2013264887A JP 2013264887 A JP2013264887 A JP 2013264887A JP 2014116947 A JP2014116947 A JP 2014116947A
Authority
JP
Japan
Prior art keywords
sensor
capture
image
terminal
context data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013264887A
Other languages
English (en)
Inventor
Vau Jean-Marie
ボー,ジャン−マリー
Lebihen Thierry
ルビアン,ティエリー
Masera Eric
マズラ,エリック
Edmond Maurice Papin Christophe
エドモン モーリス パパン,クリストフ
Valerie Lourdes Marie Adelbert Santie
バレリー ルルド マリー アデルベール,サンティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2014116947A publication Critical patent/JP2014116947A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00342Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with a radio frequency tag transmitter or receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962Input arrangements for operating instructions or parameters, e.g. updating internal software
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Telephone Function (AREA)
  • Accessories Of Cameras (AREA)

Abstract

【課題】画像キャプチャ手段によって提供されたコンテクストデータ(contextual data)から採用された情報に従って、画像をキャプチャする確率を決定する。
【解決手段】第1画像データセンサ2A及び少なくとも1つのコンテクストデータセンサ3、4、5、6を用いて、所定の時間間隔内に行なわれる画像又は画像シーケンスの少なくとも1つのキャプチャの確率を計算する。キャプチャ確率は、キャプチャされたコンテクストデータの量を、携帯端末のエネルギー及び処理及び記憶の厳しい制約に合わせて調節すると同時に、キャプチャされたデータの最適なクオリティを保証する。
【選択図】図1

Description

本発明は、電子イメージング分野における適用を目的とする。本発明は、画像キャプチャ手段によって提供されたコンテクストデータ(contextual data)から採用された情報に従って、画像をキャプチャする確率を決定するために、画像をキャプチャすることができる端末を使用する方法に関する。本発明はまた、画像キャプチャと関連付けられた音声データをキャプチャすることを可能にする。すなわち、画像がキャプチャされる際に、音声が発せられ変調されることができる。
より具体的には、本発明は、一定の時間間隔内に生じる、画像又は一連の画像(例えばビデオ)をキャプチャする確率を、計算することにより自動決定するために、少なくとも1つの画像センサと少なくとも1つのコンテクストデータセンサとを含む端末、例えば携帯端末を使用する方法に関する。キャプチャの確率は、センサによって与えられる応答に基づいて計算される。
デジタル画像分析、処理、圧縮、及び解凍手段は、携帯端末を使用して、キャプチャ、受信及び送信される画像のクオリティを調節又は増強する際の重要な特徴である。携帯端末イメージングにおいて、「画像チェーン」は主に、例えば画像キャプチャから始まり、そして画像を表示するための画像解凍までに亘る、画像又は画像シーケンス内の画素上で実施される操作を主として含み、その結果、人々は携帯端末スクリーン上で正しく画像を見ることができる。この携帯端末は例えば、携帯電話機、又は「フォーンカム」としばしば呼ばれるカメラ付き携帯電話機である。これは、画像又は画像シーケンスをキャプチャするために使用することができ、その後、この画像又は画像シーケンスに、次いで種々の画素処理プロセスを施すことができることを意味する。CCDセンサを備えたフォーンカムを使用してキャプチャされたカラー画像の処理は、例えば、原色成分、すなわち赤、緑及び青を考慮に入れて、キャプチャされた画像内の各画素を処理するために、アルゴリズムを使用して行うCFA(カラーフィルタ・アレイ)補間にある。画像は、コンピュータ用語で軽くするために圧縮することができる。画像の重さはメガバイト又はギガバイトで表される。圧縮ルーティンの実行は例えば、標準化された圧縮手順であるJPEG圧縮であってよい。次いで画像は、これを例えばフォーンカムのスクリーン上で正しく見るために、また場合によっては、画像データと関連付けられた音声データを聴くために圧縮ファイルが開かれると解凍される。携帯端末イメージングにおいて、上記動作全ては日常的な画像チェーン動作である。
画素データ上で実施される画像チェーン動作中に実施されるこれらの操作に加えて、携帯端末は、画像キャプチャと関連付けられた所定の範囲の種々異なるコンテクストデータを捕捉して処理するように構成されたデータセンサを備えることもできる。この携帯端末は、例えば、端末の地理的位置を計測するために、GPSモジュールを備えたフォーンカムであってよく、この地理的位置は、例えば画像がキャプチャされた場所を特徴付けるコンテクストデータである。このコンテクストデータはしばしば画像メタデータのうちの1つとして使用される。
しかしながら、これらのコンテクストデータは、単純なメタデータとして画像と関連付けられているにすぎず、このことは、画像シーケンスをキャプチャするプロセス、又はより具体的に言えば、例えば携帯端末のスクリーン上で同時に見られる表示されたシーケンスの画像をキャプチャするプロセスを、積極的に改善する役割を果たさないことを意味する。
さらに、携帯又はポータブル端末、例えばカメラ付き携帯電話機又はフォーンカムは一般に比較的コンパクトなので、結果として、制限されたエネルギー及びメモリ容量しか有さない。エネルギー容量は、携帯端末が一般にそれ自体のエネルギーを担持しなければならず、これは低容量バッテリーを備えることを意味するので、制限されたままである。
関連データ、例えば撮影場所、ショット内に登場する人物、又は写真のシーン内で行われる行為を抽出するために、デジタルカメラ装置によってキャプチャされた画像上で効率的に働くプロセスは、追加のデータ、例えばメタデータ又はコンテクストデータにアクセスすることにより、より容易に行うことができる。このデータは、画像の意味内容に関する重要な情報を計算又は直接的に抽出することを可能にする。
コンテクストをキャプチャする最良の方法は、画像キャプチャの前後両方のコンテクストを連続的にモニタリングすることである。すなわちこうすれば、画像キャプチャと関連付けられたコンテクストデータ量は、「画像チェーン」において重要な事象が後でなくならないことを保証することになる。これは、同じシーンを追跡して分析するために多数のセンサ(視覚、赤外線、音声など)が環境内に一体に組み込まれた、セキュリティ産業で使用される電子監視システムの背後にある基本原理である。しかしながら、このような種類のアプローチは、これを携帯端末内に一体に組み込まなければならないとしたら、端末のエネルギー消費量、並びに前記端末の記憶容量及び処理容量に起因して実行できなくなってしまう。より重要なことを述べるなら、画像キャプチャ携帯端末、例えばフォーンカム又はデジタルカメラは、「画像チェーン」におけるただ1つの構成要素であり、従って、チェーン内のリンク毎の通信チャネル(視覚的表示、記憶、プリントアウト)において処理されるべきデータフローが結果として増大することにより、性能の理由から、またキャプチャ携帯端末の使用しやすさの観点から、この種の連続コンテクストデータ獲得プロセスを採用するのは非現実的になる。
従って、処理されるべきコンテクストデータの量を低減すると同時に、前記データの効率的な活用を可能にするための高レベルのクオリティを維持することが必要である。
従って、撮影可能な携帯端末に固有の制限を考えて、例えば画像センサ及びコンテクストデータセンサを備えたフォーンカム又は携帯電話機を使用して画像キャプチャ及びレンダリングを最適化することが最優先で必要である。1つの解決手段は、画像キャプチャと関連付けられたコンテクストデータから来た情報を活用することにある。これらのコンテクストデータから始めて、この解決手段により、例えば特異的に調整された画素解像度を有する1画像のキャプチャをトリガすることによって、良い条件で画像をキャプチャするためにコンテクストデータをインタープリートすることになる。
コンテクストデータは、携帯端末イメージング環境において漸進的に又は急速に変化する場合のあるコンテクストを考慮に入れるのと同時に、画像キャプチャ携帯端末の比較的小規模のメモリ容量及びエネルギー容量に適合させることによって、画像又は画像シーケンスのキャプチャの管理を最適化するために使用されることが意図される。従って、コンテクストデータを、早くから、例えばフォーンカムのディスプレイを使用して行われる視覚化段階中に、すなわち画像がキャプチャされる前に、捕捉されてインタープリートされることができる。
コンテクストデータの提供から画像キャプチャを最適化は、画像キャプチャ可能な携帯プラットフォーム又は携帯端末に固有の電力、並びに計算容量及びメモリ容量に関する種々異なる問題を解決しなければならない。数多くの種々の問題、すなわち画像キャプチャに関連付けられたコンテクストデータの管理、つまり経時的にキャプチャされたコンテクストデータ及び画像データのクオリティ及びサンプリング・プロセス;画像キャプチャ手段、及びキャプチャされた画像と関連付けられたコンテクストデータ上で使用される処理手段;画像データ及び関連するコンテクストデータの保存及び記憶;画像及びコンテクストデータを同時にキャプチャすることができる携帯端末の容量の制約を考えた、コンテクストデータを処理する手段の問題がある。
本発明は、画像キャプチャの確率を、これらの画像と関連付けられたコンテクストデータに従って自動的に決定するために、端末、例えばフォーンカムを使用する方法に関する。画像データ及びコンテクストデータの両方は、端末でキャプチャされる。キャプチャ・パラメータは、端末の制限されたメモリ容量及びエネルギー容量の問題を軽減するために、画像キャプチャを含む時間間隔にわたって適合される。端末のCPU(中央演算処理装置)は、デジタルデータ転送管理操作及び計算操作を実施する。これらの動作を実施するのにつれて、CPUはますます多くのエネルギーを消費し、その結果、キャプチャしなければならないデータの量が大きければ大きいほど、端末のバッテリーをより速く放電する。例えば、端末のスクリーン又は画像センサが活性化されるとすぐに、又は画像キャプチャをリリースするボタンが押されるとすぐに、CPUはエネルギーを消費する。
画像デジタルデータ・キャプチャ・パラメータを適合させることにより、例えばビデオ・フラックス、すなわち画像シーケンスを連続的に、そして単一の画素解像度を有する状態で記録せずに済む。デジタル・データ・レンダリング・パラメータを適合させる別の例は、単に、端末が特定の位置、例えば水平又は鉛直にセットされた瞬間から、キャプチャ直前まで、キャプチャ端末のスクリーン上のビデオ・フラックスの表示をトリガすることにある。
本発明の具体的な目的は、第1画像データセンサと少なくとも1つのコンテクストデータセンサ(又は「コンテクストセンサ」)とを含む端末、例えば携帯端末又はポータブル端末を用いて、画像又は画像シーケンスを所定の時間間隔内にキャプチャする少なくとも1つの確率を自動的に決定する方法であって、キャプチャの確率(又は「キャプチャ確率」)は、活性化された画像データセンサ及び/又はコンテクストデータセンサによって提供される少なくとも1つの応答に基づいて計算される、端末を使用する方法を提供することである。キャプチャ確率は、活性化されたコンテクストデータセンサ又は画像データセンサのうちの少なくとも1つによって提供された応答が、前記センサの出力信号の予め決められた値、好ましくは数値を上回る又は超過する際に従うシーケンスに従って計算される。キャプチャ確率は、キャプチャされたコンテクストデータの量を、携帯端末のエネルギー及び処理及び記憶の厳しい制約に合わせて調節すると同時に、キャプチャされたデータの最適なクオリティを保証するために用いることができる。シーケンスは、携帯端末内に含まれる各センサに対してそれぞれ予め決められた値を上回る超過が生じた順序を特徴付ける系列又は順序立てた配列を表す。キャプチャ確率は一般に、0(ゼロ)〜1の実数によって表される。
本発明の最適化された態様によれば、キャプチャ確率の計算、及び予め決められた値は有利には、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正することができる。
本発明の目的は、画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ確率に従って決定されるキャプチャクオリティ及び捕捉周波数を有することである。本発明の第1の好ましい態様の場合、画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ実時点前に、キャプチャ確率とともに増大するキャプチャクオリティ及び捕捉周波数を有する。
本発明の第2の好ましい態様の場合、画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ実時点前に、キャプチャ確率を最大化する時間間隔が、キャプチャ確率計算が行われた瞬間に接近するのにともなって増大するキャプチャクオリティ及び捕捉周波数を有する。
本発明の第3の好ましい態様は、キャプチャ実時点前に、キャプチャクオリティ及び捕捉周波数の両方を一緒にキャプチャ確率とともに増大させるように、そして、キャプチャ確率を最大化する時間間隔が、キャプチャ確率計算が行われた瞬間に接近するのにともなって、キャプチャクオリティ及び捕捉周波数の両方を一緒に増大させるように、上記両好ましい態様を有利に組み合わせることができる。
上記態様のそれぞれに対する本発明の別の目的は、画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャが行われた瞬間後に減少するデータ・キャプチャクオリティ及び捕捉周波数を有することである。
データ・キャプチャクオリティは、例えば有利には、長さ単位当たりの画素密度によって表される、キャプチャされた画像の画素解像度値であるか、又は1秒当たりキャプチャされた画像の数の値であるか、又は実施されたサンプリングのためのカットオフ周波数又は電力カット周波数を表す値である。
コンテクストデータセンサによってキャプチャされたデータは、センサが活性化されたときに求められた物理的測定値である。この物理的測定は有利には、センサが活性化されている間コンスタントに操作される。
コンテクストデータセンサは、端末上に取り付けられるか又は配置される、すなわち端末の内部に一体に組み込まれ又は組み入れられるか、或いは、端末ケーシングに固定される。各コンテクストデータセンサは、そのセンサに対して特異的なコンテクストデータをキャプチャするのを可能にする。
コンテクストデータセンサは例えば、端末上に配置された傾斜センサである。本発明の具体的な態様によれば、傾斜センサによって発せられた信号の予め決められた値の超過は、端末の水平位置又は鉛直位置の測定値に相当する。
コンテクストデータセンサは例えば、端末に伝達された運動を測定するために、端末上に配置された加速度センサのような加速度計である。本発明の具体的な態様によれば、加速度センサによって発せられた信号の予め決められた値の超過は、端末の測定されたゼロ又は無加速に相当する。
コンテクストデータセンサは例えば、端末に対して特異的な画像キャプチャ・リリースボタンと協働する圧力センサである。本発明の具体的な態様によれば、圧力センサによって発せられた信号の予め決められた値の超過は、画像キャプチャ・リリースボタン上を加えられた非ゼロ圧力に相当する。
コンテクストデータセンサは例えば、端末上に取り付けられた音声センサ、例えばマイクロフォンである。本発明の具体的な態様によれば、音声センサによって発せられた信号の予め決められた値の超過は、端末外部の音源によって発せられたデシベル値に相当する。音源は例えば、CD(コンパクト・ディスク)リーダーに接続され、そしてCD上に記録された音楽を生成するために端末環境内に設けられた1つ又はいくつかのラウドスピーカーである。従って、こうして生成された音楽は、音声センサによってキャプチャされることができる。
本発明の具体的な態様によれば、信号の予め決められた値の超過は、特定の音声、例えば笑い声、指又は手を鳴らす音の認識に相当することが可能である。具体的な音声は、事象、例えば画像キャプチャの接近を携帯機器、例えばフォーンカムに警告するために限定的に発せられる。限定的に発せられる特定の音声は、画像キャプチャ中に音声環境に加えるだけでもよい。特定の音声の認識は、識別のために割り当てられた音声に相当する音声を代表する統計系列を予め学習することによって達成することができる。
コンテクストデータセンサは例えば、端末上に取り付けられた温度センサである。本発明の具体的な態様によれば、端末はフォーンカムであり、そして温度センサは、画像キャプチャ・リリースボタン内に組み入れられる。このような配列は、前記ユーザが撮影しようとする又は撮影の準備ができた時点で、フォーンカムユーザの体温を測定するのを可能にする。温度は撮影者のストレス・レベルと相関し、ひいては撮影者が撮影前に集中していることを示すので、温度は例えば、撮影しようとしている、又は撮影の準備ができている、又は撮影が差し迫っているという事実を示すことができる。本発明の具体的な態様によれば、温度センサによって発せられた信号の予め決められた値の超過は、撮影リリースボタン上に指を置いた人物において求められた温度測定値に相当する。
コンテクストデータセンサは、例えば、端末の把持中に当該抵抗センサに触れた人物の感情状態を測定するための、端末上に配置された抵抗センサである。
本発明のより緻密な態様の場合、コンテクストデータセンサは、センサの動作フィールド内に存在する人物又は物体を検出するための、端末上に配置されたRFID(高周波識別)型センサである。数人、例えば2人又は3人が検出される場合、これは、端末が撮影するために使用されようとしている(撮影が差し迫っている)ことを示すことができる。この事例では、高周波数センサによって発せられた信号の予め決められた値の超過は、RFIDセンサの動作フィールド内において多数の人々、例えば2人を検出したことに相当する。同様に、例えば、いくつかの標的物体がRFID又はNFC(近距離無線通信)タグ(マイクロチップ)を介して検出された場合には、これは、該当する潜在的シーンがあり、従って画像キャプチャの可能性があることを示すことになる。
本発明のより緻密なこの態様の変更形において、コンテクストデータセンサは、好ましくは端末の背面上に取り付けられた第2画像データセンサである。第2画像センサは、端末内に組み込まれた検出手段と協働し、そして第1画像センサのフィールドの外側に存在する複数の人間の顔、及び/又はこれらの検出された人物の個々の顔に固有の情報を検出するのを可能にする。顔に固有の情報は、感情状態、又は顔の位置、例えば水平位置、又は端末に対する顔の運動速度である。
本発明のよりコンベンショナルな態様の場合、コンテクストデータセンサは例えば、空間内の端末の位置を測定するための、端末上に配置された地理的位置特定センサ、例えばGPSセンサであってもよい。GPSセンサによって発せられる信号の予め決められた値の超過は、空間内の端末の位置を与える緯度及び経度の座標の測定値に相当する。緯度及び経度の座標は、例えば観光地又は名所旧跡、例えばレユニヨン島のPiton de La Fournaiseの座標である。
本発明の別の目的は、画像又は画像シーケンスをキャプチャするために使用される端末の特定の画像キャプチャ・モードを考慮に入れることにより、画像又は画像シーケンスをキャプチャする確率を決定することである。端末は有利には、CCD又はCMOS画像センサ及びディスプレイ・スクリーンを含むフォーンカム又はデジタルカメラ付き電話機である。画像又は画像シーケンス又はビデオがキャプチャされたときにキャプチャされたデータは、好ましくは、デジタルカメラ付き電話機のスクリーン上に表示される。本発明のこの態様によれば、デジタルカメラ付き電話機は、画像キャプチャ・モードを選択することができる。端末、例えばフォーンカムは、画像キャプチャ・モード、例えばポートレート・モード、又は風景モード、又はパノラマ・モード、又はスポーツ・モードを選択するための手段を備えている。コンテクストデータセンサによって発せられた、超過を定義する信号の値は、予め設定されるか、又は、該選択又はプログラミングされた画像キャプチャ・モードに従って計算される。
本発明の他の特性及び利点は、種々の図面を参照しながら、下記の説明を読めば明らかになる。
図1は、本発明による方法を実施するために使用されるデータ・キャプチャ手段を備えた携帯端末の一例を示す。 図2は、本発明による方法の実施の一例を示すダイアグラムである。 図3は、図2に示された例を実施するために使用されるコンテクストセンサの特別なネットワークを示す図である。
本発明の主な態様を、図面を参照しながら以下に詳細に説明する。図面において、同じ参照番号は、異なる図面のそれぞれにおける同じ要素を示す。
図1は、画像キャプチャ手段と、画像キャプチャと関連付けられたコンテクストデータをキャプチャする手段とを含む端末1を示している。端末1は、キーパッド14とディスプレイ・スクリーン11とを含む携帯端末、例えばデジタルカメラ付き電話機である。画像キャプチャ手段は、例えば1つ又はいくつかのCCD又はCMOS画像センサである。第1画像センサ2Aは、例えば端末1の前面に配置されている。前記前面はディスプレイ・スクリーン11を含む。反対側、すなわち端末1の背面には、第2画像センサ2Bが配置されている。第2画像センサ2Bは、例えば端末1内に一体に組み込まれた検出手段(図示せず)と協働する。検出手段は、例えば、第1画像センサ2Aのフィールドの外側に存在する複数の人間の顔、及び/又は検出された人物の個々の顔に固有の情報を検出するように意図されている。顔に固有の情報は有利には、感情状態、又は顔の位置、例えば水平位置、又は端末1に対する顔の運動速度である。
画像又は画像シーケンス、例えばビデオがキャプチャされたときにキャプチャされたデータは、デジタルカメラ付き電話機1のディスプレイ11上に表示することができる。
コンテクストデータ・キャプチャ手段は、例えば:空間内の位置を測定するために端末上に配置された傾斜センサ3;端末に伝達された運動を測定するために端末上に配置された加速度センサ4、例えば加速度計;端末の画像キャプチャ・リリースボタン12と協働することができる圧力センサ5;端末1上に取り付けられた音声センサ6、例えばマイクロフォン;端末1上に配置された温度センサ7;端末1の把持中に抵抗センサ8に触れた人物の感情状態を測定するための、端末1上に配置された抵抗センサ8;センサ9の動作フィールド内における物体又は人物の不変の又は一時的な存在を検出するための、端末1上に配置された高周波数センサ9、例えばRFIDセンサ(物体は例えば、これを識別できるようにカメラに接近させることができる);空間内の端末1の位置を測定するための、端末1上に配置された地理的位置特定センサ10、例えばGPSセンサである。
本発明の好ましい態様において、温度センサ7は画像キャプチャ・リリースボタン内に組み入れられる。温度センサ7をこのように配列することにより、撮影リリースボタン12上に指を置いた人物の体温を測定することが可能になる。
本発明の有利な態様において、コンテクストデータは、携帯端末1内に挿入されたメモリ・カード、例えばフラッシュSD(セキュア・デジタル)又はマイクロSDカード内にキャプチャされ保存される。
キャプチャされた画像又は画像シーケンスのキャプチャ・パラメータがキャプチャ確率値に従って決定されるため、コンテクストデータは画像キャプチャと関連付けられたものとして記述される。キャプチャのクオリティを支配する画像又は画像シーケンスのキャプチャ・パラメータは、例えば、有利には画像の画素解像度値(すなわち1ミリメートル当たりの画素数)又は1秒当たりキャプチャされた画像の数であることが可能である。
キャプチャ確率値は、0(ゼロ)〜1の実数によって表される。
画像又は画像シーケンスのキャプチャが所定の時間間隔内に行われるであろう確率は、活性化された画像データセンサ及び/又はコンテクストデータセンサのうちの1つによって提供される少なくとも1つの応答に基づいて計算される。キャプチャ確率は、活性化された画像データセンサ又はコンテクストデータセンサのうちの少なくとも1つによって提供された応答が、前記センサからの出力信号の予め決められた値を超過する際に従うシーケンスに従って計算される。センサの出力信号のこのような予め決められた値は好ましくは数値である。
本発明の好ましい態様によれば、予め決められた値、及びキャプチャ確率の計算は、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正される。センサ応答及びキャプチャ時点の履歴は、例えば、端末1からアクセスすることができるデータベース内に記録される。
画像センサ2A及び2Bの主要な技術機能は、デジタル画像又は画像シーケンス、例えばビデオを生成するために画像データをキャプチャすることであり、この画像データに対して、コンテクストデータとしても知られるコンテクストデータが関連付けられる。
コンテクストセンサ又はコンテクストデータセンサは、本発明による方法の実施に関連する画像センサと一緒に、コンテクストデータセンサ(又はコンテクストセンサ)として使用することができる。この場合、これらの主要な技術機能は、画像又は画像シーケンスと関連付けられたコンテクストデータを生成することである。
画像センサ又はコンテクストデータセンサは、キャプチャ近接センサとして採用することもできる。このシナリオにおいて、これらの主要な技術機能は、1つ又は2つ以上のコンテクストセンサの実施を支配する事象をトリガすることである。
画像センサは、コンテクストセンサ又はキャプチャ近接センサとして働くこともできる。コンテクストセンサは例えば画像センサであってよく、或いは独立して又は同時にキャプチャ近接センサとして働くこともできる。同様に、キャプチャ近接センサは活性化し、独立して又は同時に、画像センサ・モードで且つ/又はコンテクストセンサとして動作することができる。従って、端末1の特定のセンサは、経時的に互いに交換可能な機能を有している。
画像又はビデオ画像シーケンスがキャプチャされた時点におけるコンテクスト情報で画像又はビデオ画像シーケンスを増強することを目的として、本発明による方法を実施するために採用することができるセンサは、好ましくは、画像センサ2A、音声センサ6、圧力センサ5、加速度センサ4、傾斜又は方位センサ3、温度センサ7、速度又は加速度センサ4、地理的位置特定又は地理位置センサ10、及びRFID又はNFC高周波数センサである。
1つ又はいくつかのキャプチャ近接センサからの応答から測定される事象トリガ基準(CDE)と呼ばれる特性が、活性化閾値として知られる特定の閾値を超過する瞬間は、キャプチャ予測事象(EPS)と呼ばれる。この閾値は、撮影が例えば数秒に差し迫っているという想定を示す前記特性のレベルを表す。撮影が推定されるときにはキャプチャ予測事象が検出される。差し迫ったキャプチャのこのような予測は、例えばデジタル画像キャプチャすることができる端末のユーザの代表的集団から推定された発見的規則に基づいて達成される。
当該瞬間から後の時間では画像センサは、撮影のためにプログラミングされて使用されるのであって、単にキャプチャ予測事象又はコンテクストキャプチャを探索するために使用されるのではない、そのような瞬間は、キャプチャ・ポイントPDSと呼ばれる。
キャプチャ・セッションは、画像センサが活性化される瞬間と、これが不活化される瞬間との間の時間間隔である。不活化は、自発的、すなわち例えば端末1のキーパッド14上のキーによってトリガされてよい。不活化は、自動的に行われるようにプログラミングされていてもよい。
キャプチャ近接センサのそれぞれからの応答から測定することにより、少なくとも1つのキャプチャ予測事象EPSに続いて、所定の時間間隔[t,t+D]における少なくとも1つのキャプチャ確率P(t,D)が計算される。例えば、キャプチャ予測事象のそれぞれの組み合わせ毎に、関連付けられた確率密度P(.,D)が表にされる。確率密度は有利には、デジタル画像キャプチャすることができる端末のユーザの代表的集団から推定することができる。
これらのキャプチャ確率から、キャプチャ確率指数IPSが計算される。このキャプチャ確率指数IPSは、キャプチャ予測事象に相当する時間間隔中の少なくとも1つの画像のキャプチャ確率値である値を求めることができる。例えば、キャプチャ確率指数IPSは、下記比で表すことができる:
IPS=P(tEPS, + ∞)/(1 + argmax (P(tEPS + t,0))) 等式1。
この等式1において、除数の「argmax (P(tEPS + t,0))」部分は、キャプチャ確率が最大である瞬間であり、従ってこれは、キャプチャ予測事象EPSに対する想定キャプチャ・ポイントPDSである。
予測キャプチャ事象を検出するように連携してトリガされ使用されるコンテクストデータセンサから成る特定の集合は、特別コンテクストセンサ・ネットワークRPCCを構成する。
妨害事象又は予測キャプチャ事象妨害という名称は、P(tEPS + t,0)が特定の閾値を下回る瞬間、例えばセンサ信号の値が特定の閾値を下回る瞬間を記述するために使用される。
コンテクストキャプチャ・ウィンドウPSCは、EPSと妨害との間の時間間隔に与えられる名称である。
同じキャプチャ・セッション中に、一連の予測キャプチャ事象及び妨害が発生することがある。従って、いくつかのコンテクストキャプチャ・ウィンドウが一次的に共存する場合がある。それゆえ、コンテクストキャプチャ・ウィンドウPSCと関連付けられたそれぞれ個々のIPSiから、グローバル・キャプチャ確率指数IPSが計算される。例えば:
グローバルIPS = 最大(IPSi) 等式2。
各コンテクストキャプチャ・ウィンドウは、特別コンテクストセンサ・ネットワークRPCCの実行によって特徴付けられ、このPRCCにおいて、各センサは、所与のキャプチャクオリティ及び所与の捕捉周波数における信号を捕捉するために調節されなければならない。
コンテクストセンサは、2つの態様に従ってパラメータ化することができる。すなわち、コンテクストキャプチャ・ウィンドウが形成されたときに一度限り、各ウィンドウ毎にIPSからパラメータ化するか、或いは、パラメータ化は、他の開いたコンテクストキャプチャ・ウィンドウに応じて、そしてこれらのウィンドウに合わせて調節して、グローバルIPSから行われる。
図2は、本発明による方法の実施の一例を示すダイヤグラムである。キャプチャ・ポイントPDSは、例えば、その瞬間から画像センサ2Aが1つ又はいくつかの画像をキャプチャするために使用される推定の瞬間である。4つのキャプチャ予測事象、すなわちEPS1;EPS2;EPS3;EPS4が示されている。これらの4つの対応コンテクストキャプチャ・ウィンドウはそれぞれPSC1;PSC2;PSC3;PSC4である。
図3は例えば、図2に提示された例を実施するために使用される最初の2つの特別コンテクストセンサ・ネットワークRPCC1及びRPCC2を示している。これらの2つの特別コンテクストセンサ・ネットワークRPCC1及びRPCC2は、それぞれ対応コンテクストキャプチャ・ウィンドウPSC1及びPSC2に対応する。PSC1と関連付けられたRPCC1が活性化されると、これは、3つのコンテクストセンサCC1、CC2及びCC3がパラメータ化されることを必要とする。PSC2と関連付けられたRPCC2が活性化されると、これは、3つのコンテクストセンサCC3、CC4及びCC5がパラメータ化されることを必要とする。
EPS1は、例えば撮影が差し迫っているという想定を表す瞬間である。対応するコンテクストデータ・キャプチャクオリティは、対応する捕捉周波数と同様に低くなる傾向がある。EPS2は、当該瞬間からRPCC2が活性化され、そしてコンテクストセンサCC3、CC4及びCC5がパラメータ化される瞬間である。EPS2の直前には、最後の2つのセンサCC4及びCC5は、まだ活性化されないか、又は単に、「待機中」として定められたモード又はステータスにある。この最後の「待機」モードでは、センサCC4及びCC5によって極めて低いコンテクストデータ・キャプチャしかもたらすことができない。
コンテクストセンサCC3、CC4及びCC5は、コンテクストキャプチャ・ウィンドウPSC2と関連付けられた規則に従ってパラメータ化される。特別コンテクストセンサ・ネットワークRPCC1及びRPCC2の両方に共通のコンテクストセンサCC3を、関連する本発明の態様に応じて種々異なる形でパラメータ化することができる。例えばキャプチャ予測事象EPS2が推定キャプチャ・ポイントPDSにより近いので、より良好なキャプチャクオリティ及び捕捉周波数を選択することができる。この事例において、センサCC3の捕捉周波数Fa(CC3)のパラメータ化選択肢は、例えば:
Fa(CC3) = 最大[EPS1のFa(CC3), EPS2のFa(CC3)] 等式3。
となる。
同様に、コンテクストセンサCC3によって生成されたコンテクストデータのキャプチャクオリティQcは、例えば:
Qc(CC3) = 最大[EPS1のQc(CC3), EPS2のQc(CC3)] 等式4。
となる。
図2によれば、図示のような水平方向軸は、時間軸を厳密に表しているわけではない。実際には、キャプチャ予測事象EPS1は、事象EPS2の前に必ずしもトリガされるわけではない。しかし、事象EPS1は:
argmax (P(tEPS1 + t,0))>argmax (P(tEPS2 + t,0)) 等式5
の意味において、推定キャプチャ・ポイントPDSから大きく離れる。
事象トリガ基準CDEはキャプチャ近接センサによって発せられた信号から、センサの応答が活性化閾値と呼ばれる特定の閾値を上回る又は超過すると、直接的に計算される。活性化閾値は、前記センサの出力信号の予め決められた値、好ましくは数値に相当する。事象トリガ基準CDEは、時間フィルタリングを施した後、センサによって与えられた信号から直接的に推定される。時間フィルタリングは、測定データを平滑にし、また余り重要でない局所的変化、及び端末1のユーザの代表的でない、例えばリアルタイム挙動、又は端末1を取り囲む撮影環境のリアルタイム変化に対する感度を低減するのを可能にする。
図1によれば、キャプチャ近接センサが例えば傾斜センサ3である場合、このセンサは、例えば端末の水平位置又は鉛直位置に対する、所与の瞬間(t)における端末1の傾斜の測定値(inct)を提供する。傾斜測定値は例えば、ローパス・フィルタを使用したリアルタイム・フィルタリング(inc’t)を施され、このプロセスは、測定値と閾値に対する比較試験との間に僅かな(10分の数秒の)ラグを伴うことがある。例えば、端末1の水平位置は、持続的アクション(数秒持続する)、ひいてはインタープリート可能なアクションになるものとして検出されると、キャプチャ予測事象EPSがトリガされる。この例において、事象トリガ基準CDEは、局部的水平位置閾値Shに対する、時間間隔Tにわたる、フィルタリングされた2値化傾斜測定値(bin inct)の蓄積(accumT inct)として定義される。このことは、局部的水平位置閾値を下回る場合、フィルタリングされた2値化傾斜測定値はゼロ(0)に等しくなることを意味する。このことは、局部的水平位置閾値以上である場合、フィルタリングされた2値化傾斜測定値は1に等しくなることを意味する。この事例において、我々は:
inc't ≧ Shならば bin inct = 1 等式6
inc't < Shならば bin inct = 0 等式7
と記録することができる。
対応事象トリガ基準(EPS)は、従って:
Figure 2014116947
である。
関連付けられたキャプチャ予測事象(EPS)は、時間間隔T中に得られるaccumT inct値が閾値Thよりも大きくなるとトリガされる。この閾値Thは、例えば、局部的水平位置Shの代表サンプルの連続的な蓄積として定義され、そのあとでは、端末のインタープリート可能な挙動を記述するという仮説が立てられる。
図1に従って、キャプチャ近接センサが例えば加速度センサ4である場合、このセンサは、所与の瞬間(t)における端末1へ伝達される加速度の測定値(acct)を提供する。この加速度は、例えば、端末ユーザが撮影前に準備ステップを実施するときに端末1に与える運動に相当する。
本発明の改善された態様の場合、端末1は、いくつかの加速度計4を含むこともでき、各加速時計は、所与の方向に従って測定された加速度測定値を提供する。加速度測定方向の数は、空間中の3つの主次元における加速を考慮して、3つの方向であることが有利である。加速度測定値は例えば、ローパス・フィルタを使用したリアルタイム・フィルタリング(acc’t)を施され、このプロセスは、測定値と閾値に対する比較試験との間に僅かな(10分の数秒の)ラグを伴うことがある。キャプチャ端末1の加速度がこれらの方向のうちの1つにおいて検出されると、撮影しようと意図するシーンの画像のキャプチャの、端末1のユーザの準備がまだできていないと考えられ、また、実際に、ユーザが例えば、シーンのどの部分が最も興味深いかを識別する過程にあると考えられる。従って、加速度値が時間間隔Tにわたって、そして考えられる方向とは無関係に、閾値(予め決められた値)を連続して下回ると、キャプチャ予測事象をトリガすることができる。この例では、事象トリガ基準CDEは、局部的加速度閾値(Sai)に対する、時間間隔Tにわたる、フィルタリングされた2値化加速度測定値(bin acct)の蓄積(accumT acct)として定義される。この事例において、我々は:
Figure 2014116947
と記録することができる。
等式9及び10の指数iは、3つの加速方向のうちの1つを表し、すなわち、加速度値は、3つの方向に関して、閾値Saiを下回らなければならないので、記述子bin acciは、「1」の値に設定される。対応事象トリガ基準CDEは従って:
Figure 2014116947
である。
関連付けられたキャプチャ予測事象(EPS)は、時間間隔T中に得られるaccumT acct値が局部加速度閾値Taよりも大きくなるとトリガされる。この閾値Taは、例えば、局部的加速度Taが不在の代表サンプルの連続的な蓄積として定義され、そのあとでは、端末のインタープリート可能な挙動を記述するという仮説が立てられる。
記載の本発明の態様は、端末1のユーザが、並進運動を受容する基準系、例えば端末1のユーザが着席している自動車又は列車内で写真又はビデオをキャプチャするシナリオと適合可能である。
図1によれば、近接センサが例えば画像センサ2Aである場合、このセンサは例えば、時点tにおけるフレーム(imt)を捕捉する。キャプチャ近接センサは、2つの画像センサ2A及び2Bから成っていてもよく、この場合、これらのセンサのそれぞれは、例えば、所与の方向における画像をキャプチャする。
カメラ端末1は有利には、3G(第3世代)携帯電話機と呼ばれる携帯電話機であり、この携帯電話機は、電話機の一方の側(正面)に1つのカメラを、そして反対側(背面)に別のカメラを備えているという特徴を提供する。
本発明の別の態様によれば、カメラ端末1は、同じ方向に沿ってフォーカシングするがしかし異なる焦点距離及び/又は異なるアパーチャを有する、又は異なる周波数帯域において異なる感度を有する2つのレンズを備えている。この例において、キャプチャ近接センサはまた潜在的にコンテクストデータセンサであると同時に、画像センサでもある。
従って、画像センサ2A,2Bの状態、すなわち、キャプチャ近接センサ・モード;コンテクストデータセンサ(又はコンテクストセンサ)モード;画像キャプチャ・モードに応じて、経時的に行われるキャプチャを調和させるためのサンプリング規則を確立することが必要である。
下記の本発明の特定の態様の場合、端末1は、ネガティブVGA(Video Graphics Array)解像度:(640×480)画素を有する光センサ(又は画像センサ)を含む。この光学センサは、キャプチャ近接センサ・モードにあり、そして4分の1だけ空間的にサブサンプリングされた画像をキャプチャする。4分の1だけサブサンプリングされた画像の解像度は、従って(160×120)画素である。キャプチャ近接センサのこの機能モードの場合、キャプチャは例えば毎秒(1キャプチャ/秒)行われる。キャプチャ予測事象EPSが、光学センサ2Aによって生成された視覚的内容からトリガされると仮定しよう。関連付けられた特別コンテクストセンサ・ネットワークRPCCは、コンテクストキャプチャ・モードで使用されるこの画像センサを含む。定義によれば、キャプチャ予測事象EPSは、キャプチャが差し迫っているという推定を意味するので、例えば、より高い捕捉周波数で、そしてより高いキャプチャクオリティレベルで画像を有利に生成するために、センサ2Aをコンテクストキャプチャ・モードに設定することもできる。同じ時間間隔で、画像センサは、妨害を検出するためにキャプチャ近接センサ・モードのままにすることもできる。
その結果、異なるモードで同時に動作するように、所与のセンサを設定することができ、このことは、異なるクオリティ及びサンプリング・レベルで行われるキャプチャを同時に管理・制御することを暗示する。
例えば、画像センサ2Aがキャプチャ接近モードにおいて、QQVGA(Quarter-QVGA)で1秒フレーム当たり(160×120)画素を捕捉するならば、この同じセンサは、コンテクストキャプチャ・モードにおいて、より高い解像度、例えばQVGA(quarter VGA)で(320×240)画素で2分の1秒又は4分の1秒毎に1画像をキャプチャすることが可能である。コンテクストキャプチャ・モードにおけるキャプチャは中間に来ることもできる。
コンテクストキャプチャが、キャプチャ接近モードにおけるキャプチャと同時に実施される(上記例では2又は4画像毎に)と、本発明の好ましい態様は、最高解像度画像から、目標解像度と比較するとクオリティが最適ではない誘導画像を生成するのを可能にする。画像は有利には、パラメータ化された階層コーディング技術、例えばJPEG2000で圧縮することができ、これにより、コード化されたデータに直接的に組み入れられた異なるクオリティレベルを使用することが可能になる。
画像データセンサがビデオを直接的にキャプチャすることができる例の場合、センサの適応的コード化が、センサの状態に応じて行われる。キャプチャ接近モードは、例えば少数のイントラ・コード化フレームと呼ばれるもの(すなわち、より高いクオリティを生成する隣接フレームを有する時間ベース予測がない)と、多数のインターコード化フレーム(一般にP(「予測」)フレーム及びB(「逆行」)フレーム)とを使用して、より低レベルのキャプチャクオリティにコード化された、最適ではないデータ集合を生成する。
全てキャプチャ近接センサ・モードに設定されたイメージング装置によって提供される2Dデータ(2つの空間的方向)、3Dデータ(3次元)、又は時空間キャプチャの場合には(2D+t)は、それらの内容の事前の分析なしには直接的に活用することはできない。
撮影端末ユーザが持ち得る関心と同義の、撮影フィールド内に検出された顔の存在から、多くのタイプのCDE(事象トリガ基準)を考えることができる。表情又は挙動の認識(笑顔、しかめ面、開いた目など)を用いることもできる。端末にとって可能なスポーツ・モードを含まない撮影端末1の機能モードにおいて、撮影されるべきシーンに存在する被写体に関連する運動量が減少することが、シーン内に存在する人々が映画撮影又は写真撮影される準備をしていることを示すことになってもよい。
光度分布及び比色分布の変化の分析は、撮影条件が申し分のない画像キャプチャクオリティレベルと適合可能となる瞬間を決定することができる。撮影端末の撮影パラメータを調節するための専用の画像分析構成要素が、スピード/アパーチャ比及び感度の点で安定性に達すると、キャプチャ時点が差し迫っていると考えられる。
キャプチャ近接センサ・モードに設定されたイメージング装置が、例えば顔の存在を、特定の時点(t)で、クローズアップで検出する事例において、少なくとも1つの顔を検出するとすぐに、結果として生じるキャプチャ予測事象EPSをトリガすることができる。顔検出は、米国特許第6,940,545号明細書に記載された方法に従って実施することができる。このキャプチャ予測事象EPSは、例えば、顔が検出された人物が言った可能性のある言葉を記憶するために、聴覚センサの活性化をトリガすることである。画像センサのステータスを変えること、及びこれをコンテクストキャプチャ・モードに、又はコンテクストデータ・キャプチャとキャプチャ接近のキャプチャとを組み合わせたモードに変えることである。
図1によれば、キャプチャ近接センサが、典型的にはデジタル写真機上の撮影リリースボタン内に組み入れられた圧力センサ5である場合、撮影リリース押圧力として半分だけ押すと、キャプチャ予測事象EPSをトリガすることができる。デジタル写真機の大部分の機能モードは、ユーザがリリースボタンを半分押すとフォーカシングを始める。従って、このアクションは、画像キャプチャが差し迫っていることを極めて高い確率で決定する。
極めて低い(すなわちゼロに近いキャプチャ確率値)キャプチャ確率指数IPSを生成するキャプチャ予測事象EPSは、撮影端末1を作動することである。傾斜センサ3及び加速度センサ4を活性化することにより、IPSは高くなる。傾斜及び加速度と連関するキャプチャ予測事象の同時性は、画像キャプチャのより高い推定に相当するので、一層高いグローバルIPSをもたらす。
視覚フロー分析から生じるキャプチャ予測事象EPSは、推定画像キャプチャのために比較的広い時間間隔を提供する。画像をキャプチャするための潜在的な関心と同義の、視野内の顔の存在、又は顔の特定の表情又は特定の挙動(笑顔、開いた目など)の認識は、抽出された情報のクオリティに応じて種々にインタープリートすることができる。画像又は画像シーケンスの分析から、画像又は画像シーケンスのための被写体検出アルゴリズム又は形状認識アルゴリズムとして知られるアルゴリズムが、例えば、85%検出確率で画像ゾーン内に顔を検出可能にする。本発明による方法は、データ捕捉周波数及びデータ・キャプチャクオリティに重み付けするために、この確率情報を活用するのを可能にする。コンテクストキャプチャは有利には、抽出された情報の量の関数であってもよい。例えば、2人の顔だけでなく3人の顔が検出された場合、捕捉周波数はより正確である。
本発明の有利な態様の場合、キャプチャ予測事象EPSを設定する方法は、他の情報、例えば撮影端末1の画像キャプチャ・モードを用いることより、より容易になる。撮影端末1上の画像キャプチャ・モードは、例えばキャプチャ・モード・ボタン13で選択される。例えば、「顔検出」EPS及び「開いた目及び/又は笑顔の認識」EPS(キャプチャ予測事象)に相当するキャプチャ確率指数IPSは、選択されたキャプチャ・モードが「ポートレート」モードであるときにより高いキャプチャ確率値を有する。少量の局所的運動も、このキャプチャ・モードにおいてより重要である。他方において、「風景」モードにおいて、顔及び表情の検出の重要性は低い。「スポーツ」キャプチャ・モードにおいて、局所的運動量が高ければ高いほど、キャプチャ確率指数IPSは高くなる。
仮想の画像キャプチャ接近に従って、キャプチャ予測事象EPSを設定することは可能であるが、本発明による方法は、例えば、撮影装置1が作動させられるとすぐに、リリースボタン12を押すことを可能にする。この場合、コンテクスト抽出(コンテクストデータ・キャプチャ)が最大キャプチャクオリティですぐに実施される。同様に、ユーザは、特殊効果を得るために、撮影装置1を45°〜直角だけ傾倒させることにより撮影することを決めることができる。このような事例の場合、この傾倒アクションに連関されたキャプチャ予測事象EPSはトリガされない。しかし、このEPSと置き換わるように、他のキャプチャ予測事象EPSがトリガされる。
データ捕捉周波数及びデータ・キャプチャクオリティのサンプリングは、採用されるセンサのタイプに依存する。キャプチャされたデータ並びにこれらの出力、又は前記データを表すのに使用されるスペースの定量化は全て適合されなければならない。データ定量化は例えば、多かれ少なかれ低減されたビット数で記憶することによって行うことができる。データ出力は例えば、オーディオ又はビデオ圧縮ステップ、又はより一般には損失を伴う又は伴わない圧縮を施すことにより行うことができる。データを表すために使用されるスペースは、例えば画像に関してはモノクロ対カラー、音声に関してはステレオ対モノラル、又は加速度計ネットワークに関しては多方向対単方向である。
いずれの事例においても、等式1及び2をN個のキャプチャ予測事象に対して一般化することにより、時間的及び質的サブサンプリング規則によって支配される。所与のコンテクストセンサCCiの場合、等式1の一般化は:
Fa(CCi) = 最大[EPS1のFa(CCi), EPS2のFa(CCi), ..., EPSNのFa(CCi)]
等式12
と書かれる。
等式3の一般化は:
Qc(CCi) = 最大[EPS1のQc(CCi), EPS2のQc(CCi), ..., EPSNのQc(CCi)]
等式13
と書かれる。
本発明を好ましい態様を参照しながら詳細に説明してきた。但し特許請求の範囲内で変更形を作り得ることは明らかである。

Claims (25)

  1. 第1画像データセンサ(2A)及び少なくとも1つのコンテクストデータセンサ(3)、(4)、(5)、(6)、(7)、(8)、(9)、(10)を含む携帯端末のような端末(1)を用いて、画像又は画像シーケンスのキャプチャが所定の時間間隔内に発生する少なくとも1つの確率を自動的に決定する方法であって、
    前記センサが活性化されたときに、該キャプチャの確率は、該画像データセンサ及び/又はコンテクストデータセンサのうちの1つによって提供される少なくとも1つの応答から計算される。
  2. 該キャプチャの確率が、該活性化されたコンテクストデータセンサ又は画像データセンサのうちの少なくとも1つによって提供された応答が、前記センサの出力信号の予め決められた値、好ましくは数値を超過する際に従うシーケンスに従って計算される請求項1に記載の方法。
  3. 該キャプチャの確率の計算及び該予め決められた値が、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正される請求項2に記載の方法。
  4. 該キャプチャの確率が、0〜1に含まれる数値として表される請求項2に記載の方法。
  5. 該画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャの確率値に従って決定されるキャプチャクオリティ及び捕捉周波数を有する請求項1に記載の方法。
  6. 該画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ時点前に、キャプチャの確率とともに増大するキャプチャクオリティ及び捕捉周波数を有する請求項5に記載の方法。
  7. 該画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、該キャプチャの確率を最大化する該間隔が、キャプチャ時点前に、キャプチャの確率計算が行われた瞬間に接近するのにともなって一層増大するキャプチャクオリティ及び捕捉周波数を有する請求項1又は6に記載の方法。
  8. 該画像データセンサ及び/又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ時点後に両方とも減少するデータ・キャプチャクオリティ及び捕捉周波数を有する請求項1又は7に記載の方法。
  9. コンテクストデータセンサによってキャプチャされたデータが、センサが活性化されたときに連続的に操作される物理的測定値である請求項1に記載の方法。
  10. 該データ・キャプチャクオリティが、長さ単位当たりの画素密度によって表される、キャプチャされた画像の画素解像度値である請求項5から8までのいずれか1項に記載の方法。
  11. 該データ・キャプチャクオリティが、1秒当たりキャプチャされた画像の数の値である請求項5から8までのいずれか1項に記載の方法。
  12. 該コンテクストデータセンサが、該端末(1)上に配置された傾斜センサ(3)である請求項1に記載の方法。
  13. 該コンテクストデータセンサが、該端末(1)に伝達された運動を測定するための加速度計のような、該端末(1)上に配置された加速度センサ(4)である請求項1に記載の方法。
  14. 該コンテクストデータセンサが、該端末(1)の画像キャプチャ・リリースボタン(12)と協働する圧力センサ(5)である請求項1に記載の方法。
  15. 該コンテクストデータセンサが、該端末(1)上に配置された音声センサ(6)、例えばマイクロフォンである請求項1に記載の方法。
  16. 該コンテクストデータセンサが、該端末(1)上に配置された温度センサ(7)である請求項1に記載の方法。
  17. 該温度センサ(7)が、該画像キャプチャ・リリースボタン(12)内に含まれる請求項16に記載の方法。
  18. 該コンテクストデータセンサが、該端末(1)の把持中に当該抵抗センサに触れた人物の感情状態を測定するための、該端末(1)上に配置された抵抗センサ(8)である請求項1に記載の方法。
  19. 該コンテクストデータセンサが、該センサ(9)の動作フィールド内に存在する人物又は物体を検出するための、該端末(1)上に配置されたRFID又はNFC型センサ(9)である請求項1に記載の方法。
  20. 該コンテクストデータセンサが、空間内の該端末(1)の位置を測定するための、該端末(1)上に配置された、GPSセンサのような地理的位置特定センサ(10)である請求項1に記載の方法。
  21. 該コンテクストデータセンサが、好ましくは該端末(1)の背面上に配置された第2画像データセンサ(2B)であり、前記第2画像センサ(2B)が、該第1画像センサ(2A)のキャプチャ・フィールドの外側に存在する複数の人間の顔、及び/又はこれらの検出された人物の個々の顔に固有の情報を検出するために、該端末(1)内に組み入れられた検出手段と協働する請求項1に記載の方法。
  22. 該顔に固有の情報が、感情状態;顔の位置、例えば水平位置;該端末(1)に対する顔の運動速度、である請求項21に記載の方法。
  23. 該端末(1)が、画像キャプチャ・モード、例えばポートレート・モード、又は風景モード、又はパノラマ・モード、又はスポーツ・モードを選択するための手段を有しており、該コンテクストデータセンサによって発せられた、該超過を定義する信号の値が、予め決められるか、又は、該選択された画像キャプチャ・モードに従って計算される請求項2に記載の方法。
  24. 該携帯端末(1)が、CCD又はCMOS画像センサ及びディスプレイ・スクリーン(11)を含むデジタルカメラ付き電話機である請求項1に記載の方法。
  25. 該コンテクストデータが、該携帯端末(1)内に挿入されたフラッシュ・メモリ・カード、例えばSD(セキュア・デジタル)又はマイクロSDカードでキャプチャされ保存される請求項5に記載の方法。
JP2013264887A 2007-03-07 2013-12-24 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法 Pending JP2014116947A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0701624A FR2913510B1 (fr) 2007-03-07 2007-03-07 Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
FR0701624 2007-03-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009552110A Division JP2010520688A (ja) 2007-03-07 2008-03-03 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016014875A Division JP6134825B2 (ja) 2007-03-07 2016-01-28 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法

Publications (1)

Publication Number Publication Date
JP2014116947A true JP2014116947A (ja) 2014-06-26

Family

ID=38578678

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009552110A Pending JP2010520688A (ja) 2007-03-07 2008-03-03 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
JP2013264887A Pending JP2014116947A (ja) 2007-03-07 2013-12-24 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
JP2016014875A Active JP6134825B2 (ja) 2007-03-07 2016-01-28 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009552110A Pending JP2010520688A (ja) 2007-03-07 2008-03-03 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016014875A Active JP6134825B2 (ja) 2007-03-07 2016-01-28 コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法

Country Status (5)

Country Link
US (1) US8339469B2 (ja)
EP (1) EP2118704A1 (ja)
JP (3) JP2010520688A (ja)
FR (1) FR2913510B1 (ja)
WO (1) WO2008107138A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141766A1 (en) * 2008-12-08 2010-06-10 Panvion Technology Corp. Sensing scanning system
US9007477B2 (en) 2009-06-30 2015-04-14 Nokia Corporation Audio-controlled image capturing
AU2009243486B2 (en) * 2009-12-02 2012-12-13 Canon Kabushiki Kaisha Processing captured images having geolocations
KR101531449B1 (ko) * 2010-06-30 2015-06-24 노키아 코포레이션 센서의 호출을 제어하기 위한 방법 및 장치
KR101522393B1 (ko) * 2011-04-06 2015-05-21 주식회사 케이티 모바일 단말의 자세 정보에 따라 구분된 인증값을 제공하는 방법, 단말기 및 시스템
US9071680B2 (en) 2011-05-27 2015-06-30 Panasonic Intellectual Property Corporation Of America Information communication apparatus having indicator display function, and indicator display method executed by the information communication apparatus
US10853531B2 (en) 2011-11-02 2020-12-01 Nokia Technologies Oy Method and apparatus for context sensing inference
CA2886566A1 (en) * 2012-09-27 2014-04-03 John Joseph Geyer Mobile device context incorporating near field communications
US9313399B2 (en) 2013-06-14 2016-04-12 Qualcomm Incorporated System and method for identifying people in an image
US20150022635A1 (en) * 2013-07-19 2015-01-22 Blackberry Limited Using multiple flashes when obtaining a biometric image
KR20150021842A (ko) * 2013-08-21 2015-03-03 삼성전자주식회사 시스템 사용성 증진 장치, 방법 및 휴대 기기
CN104580969A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
US10074003B2 (en) * 2014-07-11 2018-09-11 Intel Corporation Dynamic control for data capture
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
JP2020099508A (ja) 2018-12-21 2020-07-02 オリンパス株式会社 撮像装置および撮像装置の制御方法
CN111428690B (zh) * 2020-04-21 2022-08-09 桂林电子科技大学 一种基于步态信号拓扑分析的身份认证方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2003204464A (ja) * 2001-10-30 2003-07-18 Yoshikazu Ichiyama プレイバックカメラ
JP2005286474A (ja) * 2004-03-29 2005-10-13 Hitachi Ltd 通信端末

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256289A (ja) * 1995-03-15 1996-10-01 Canon Inc 撮像装置
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
JP2000013672A (ja) * 1998-06-17 2000-01-14 Konica Corp 電子カメラ
US7619657B2 (en) * 2000-10-04 2009-11-17 Fujifilm Corp. Recording apparatus, communications apparatus, recording system, communications system, and methods therefor for setting the recording function of the recording apparatus in a restricted state
GB2371907A (en) * 2001-02-03 2002-08-07 Hewlett Packard Co Controlling the use of portable cameras
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP2003224761A (ja) * 2002-01-28 2003-08-08 Konica Corp 撮像装置
JP2004023692A (ja) * 2002-06-20 2004-01-22 Hitachi Ltd 撮影装置、撮影制限システム、撮影警告システム、及び撮影制限解除システム
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
JP2006014074A (ja) * 2004-06-28 2006-01-12 Fuji Photo Film Co Ltd 携帯電話機
JP2006014054A (ja) * 2004-06-28 2006-01-12 Nec Access Technica Ltd カメラ付携帯電子機器による接写防止方法及びカメラ付携帯電子機器
JP2006074510A (ja) * 2004-09-02 2006-03-16 Matsushita Electric Ind Co Ltd 遠隔撮像処理装置
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
GB2419488B (en) * 2004-10-23 2010-10-27 Hewlett Packard Development Co Image processing
US7606437B2 (en) * 2005-01-11 2009-10-20 Eastman Kodak Company Image processing based on ambient air attributes
US20060282788A1 (en) * 2005-06-10 2006-12-14 Nokia Corporation System and method for creating and utilizing context-sensitive popularity data
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
US20080052026A1 (en) * 2006-08-23 2008-02-28 Qurio Holdings, Inc. Configuring a content capture device for one or more service providers
US8165405B2 (en) * 2006-12-18 2012-04-24 Honda Motor Co., Ltd. Leveraging temporal, contextual and ordering constraints for recognizing complex activities in video
US20080266429A1 (en) * 2007-04-30 2008-10-30 Texas Instruments Incorporated Adaptive compensation for defective pixels
US8059163B2 (en) * 2007-08-28 2011-11-15 Sony Computer Entertainment Inc. Digital photography using electronic image analysis to identify faces of faces of known subjects in predetermined position
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP4492697B2 (ja) * 2007-12-28 2010-06-30 カシオ計算機株式会社 撮像装置、及び、プログラム
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2003204464A (ja) * 2001-10-30 2003-07-18 Yoshikazu Ichiyama プレイバックカメラ
JP2005286474A (ja) * 2004-03-29 2005-10-13 Hitachi Ltd 通信端末

Also Published As

Publication number Publication date
US8339469B2 (en) 2012-12-25
FR2913510A1 (fr) 2008-09-12
JP6134825B2 (ja) 2017-05-24
FR2913510B1 (fr) 2009-07-03
WO2008107138A1 (en) 2008-09-12
US20100165076A1 (en) 2010-07-01
JP2010520688A (ja) 2010-06-10
JP2016129347A (ja) 2016-07-14
EP2118704A1 (en) 2009-11-18

Similar Documents

Publication Publication Date Title
JP6134825B2 (ja) コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
US11809998B2 (en) Maintaining fixed sizes for target objects in frames
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
JP7026225B2 (ja) 生体検出方法、装置及びシステム、電子機器並びに記憶媒体
CN108399349B (zh) 图像识别方法及装置
CN109740516A (zh) 一种用户识别方法、装置、电子设备及存储介质
CN108229333A (zh) 用于识别运动视频中的事件的方法
CN105069083B (zh) 关联用户的确定方法及装置
KR20100102700A (ko) 저장된 객체 인식을 이용하는 디지털 카메라 포커싱
CN103620682A (zh) 包括感兴趣的特征的视频摘要
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
GB2414615A (en) Object detection, scanning and labelling
CN108337534B (zh) 视频管理系统和视频管理方法
TW201301878A (zh) 影像擷取方法與影像擷取系統
CN110378312A (zh) 图像处理方法及装置、电子设备和存储介质
CN109635142A (zh) 图像选择方法及装置、电子设备和存储介质
KR102054930B1 (ko) 영상 공유 방법 및 이를 위한 장치
CN105959563A (zh) 图像存储方法和图像存储装置
JP5436142B2 (ja) 画像処理装置、画像処理システムおよび画像処理装置の制御方法
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
JP2012151544A (ja) 撮像装置及びプログラム
WO2021084895A1 (en) A method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized
EP4195166A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
CN117058742A (zh) 一种人脸伪造的检测方法、装置、电子设备及介质
CN112995582A (zh) 监控设备的控制方法、装置、及服务器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150928