JP2006287749A - 撮像装置、及びその制御方法 - Google Patents

撮像装置、及びその制御方法 Download PDF

Info

Publication number
JP2006287749A
JP2006287749A JP2005106801A JP2005106801A JP2006287749A JP 2006287749 A JP2006287749 A JP 2006287749A JP 2005106801 A JP2005106801 A JP 2005106801A JP 2005106801 A JP2005106801 A JP 2005106801A JP 2006287749 A JP2006287749 A JP 2006287749A
Authority
JP
Japan
Prior art keywords
imaging
environment
sound
image
collecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005106801A
Other languages
English (en)
Other versions
JP2006287749A5 (ja
Inventor
Yuji Kaneda
雄司 金田
Masakazu Matsugi
優和 真継
Masami Kato
政美 加藤
Katsuhiko Mori
克彦 森
Hiroshi Sato
博 佐藤
Hirosuke Mitarai
裕輔 御手洗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005106801A priority Critical patent/JP2006287749A/ja
Priority to US11/392,810 priority patent/US7639282B2/en
Priority to CN2006100670390A priority patent/CN1841187B/zh
Publication of JP2006287749A publication Critical patent/JP2006287749A/ja
Publication of JP2006287749A5 publication Critical patent/JP2006287749A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information

Abstract

【課題】 より簡便に撮像を行うための技術を提供すること。
【解決手段】 収集した音声情報の認識を行い(S302)、認識の結果、所定の文章を発していると認識した場合(S303)には収集した画像の認識処理を行い(S306)、認識の結果、所定の表情であると認識した場合(S307)には画像、音声を記録する(S309)。
【選択図】 図10

Description

本発明は、撮像技術に関するものである。
撮像装置の制御について、従来では例えば、シャッターを押した場合に、あらかじめ登録しておいた音声信号を再生し、再生終了と共に撮影される技術がある(特許文献1を参照)。これは、被写体に撮影タイミングを音声を用いて指示し、被写体が音声再生終了に合わせて表情を作ることで最良な画像を撮影することができる技術である。
特開2002−165122号公報
しかし、撮像をより簡便に行うためには、シャッターの押下すらも省略することが好ましい。また被写体にカメラの撮影タイミングを気にさせずに、自然な表情や動作を適切なタイミングで撮影することが望まれる場合がある。
本発明はこのような目的のために成されたものであり、より簡便に撮像を行うための技術を提供することを目的とする。
本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。
即ち、撮像装置であって、
前記撮像装置の撮像環境から、第1の撮像環境を収集する第1の収集手段と、
前記撮像装置の撮像環境から、第2の撮像環境を収集する第2の収集手段と、
前記第1の撮像環境、前記第2の撮像環境が共に所定の条件を満たしている場合に、撮像対象の撮像を行う撮像手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。
即ち、撮像装置であって、
撮像環境における音を収集する音収集手段と、
前記音収集手段によって収集された音を認識する音認識手段と、
撮像対象の動画像を収集する動画像収集手段と、
前記動画像収集手段によって収集された動画像の各フレームの画像に基づいて、前記撮像対象が所定の条件を満たしたか否かを判断する判断手段と、
前記音収集手段によって収集された音が所定の音であり、且つ前記撮像対象が所定の条件を満たした場合には、前記撮像対象の撮像を行う撮像手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の撮像装置の制御方法は以下の構成を備える。
即ち、撮像装置の制御方法であって、
前記撮像装置の撮像環境から、第1の撮像環境を収集する第1の収集工程と、
前記撮像装置の撮像環境から、第2の撮像環境を収集する第2の収集工程と、
前記第1の撮像環境、前記第2の撮像環境が共に所定の条件を満たしている場合に、撮像対象の撮像を行う撮像工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の撮像装置の制御方法は以下の構成を備える。
即ち、撮像装置の制御方法であって、
撮像環境における音を収集する音収集工程と、
前記音収集工程で収集された音を認識する音認識工程と、
撮像対象の動画像を収集する動画像収集工程と、
前記動画像収集工程で収集された動画像の各フレームの画像に基づいて、前記撮像対象が所定の条件を満たしたか否かを判断する判断工程と、
前記音収集工程で収集された音が所定の音であり、且つ前記撮像対象が所定の条件を満たした場合には、前記撮像対象の撮像を行う撮像工程と
を備えることを特徴とする。
本発明の構成により、より簡便に撮像を行うことができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。尚、以下の各実施形態では、撮像装置の周囲環境(撮像環境)において、第1の撮像環境、第2の撮像環境の収集を行い、収集した第1の撮像環境、第2の撮像環境が所定の条件を満たしている場合に始めて撮像を開始する撮像装置について説明する。なお、以下ではこの第1の撮像環境、第2の撮像環境としてその一例を示すが、これに限定するものではないことが、以下の説明より明らかとなるであろう。
[第1の実施形態]
図1は、本実施形態に係る撮像装置の基本構成を示すブロック図である。同図に示す如く、本実施形態に係る撮像装置は、CPU700、ブリッジ701、CPUバス702、RAM704、映像入力部709、映像入力インターフェース部710、音声入力部707、音声入力インターフェース部708、EEPROM705、操作部706、システムバス703により構成されている。先ず、これらの各部について簡単に説明する。
CPU700はRAM704やEEPROM705に格納されているプログラムやデータを用いて撮像装置全体の制御を行うと共に、撮像装置が行う後述の各処理を実行する。
ブリッジ701は、比較的高速にデータ転送を行うためのCPUバス702と、CPUバス702に比べて低速なデータ転送を行うシステムバス703とを繋ぐ為のものである。また、ブリッジ701は、メモリコントローラの機能も有し、ブリッジ701に接続されているRAM704へのアクセス制御を行うDMA(Direct Memory Controller)機能を有する。
RAM704は、SDRAM(Synchronou DRAM)/DDR/RDRAM等の大容量高速メモリにより構成されるものであり、一時的にプログラムやデータを記憶するためのエリアを備えると共に、CPU700が各種の処理を実行する際に用いるワークエリアを備える。
EEPROM705は、CPU700に後述する各種の処理を実行させるためのプログラムやデータが格納されており、且つ、各種のデータを一時的に記憶するためのエリアも備える。このエリアには、撮像した画像と音声とがデータとして記録されることになる。
操作部706は、撮像装置の操作者が操作することで、各種の指示をCPU700に対して入力することのできる操作インターフェースとして機能するものであり、これには操作ボタンが備わっており、これを押下することで、映像入力部709、音声入力部707が動作を開始し、画像、音声の入力が開始されることになる。
映像入力部709は、CCD(Charge−Coupled Devices)/CMOS(Complimentary Metal Oxide Semiconductor)センサー等の光電変換デバイス、及びこの光電変換デバイスを制御するドライバー回路、各種画像補正を司る信号処理回路を備えるものである。この構成により映像入力部709は、現実空間の動画像を撮像し、撮像した動画像の各フレームの画像信号を映像入力インターフェース部710に出力する。
映像入力インターフェース部710は、映像入力部709から出力される各フレームの画像信号をディジタル画像データに変換し、バッファリングする。そして順次、例えばブリッジ701が備えるDMA機能を用いてRAM704上の所定のアドレスに転送する。
音声入力部707は例えばマイクであり、撮像装置の周囲の音を収集し、これをアナログ信号として音声入力インターフェース部708に出力する。音声入力インターフェース部708は、この音声信号をディジタル音声データに変換し、これをバッファリングする。そして順次、例えばブリッジ701が備えるDMA機能を用いてRAM704上の所定のアドレスに転送する。
以上の構成を有する撮像装置を用いて被写体(ここでは人を被写体としている)を撮像する場合について簡単に説明する。撮像装置の操作者が操作部706を操作して映像入力部709と音声入力部707の動作を開始させると、上述の通り、RAM704には順次各フレームの画像データと、音声データとが格納される。
CPU700は、RAM704に格納された画像データ、音声データを順次チェックし、一方が所定の条件を満たした場合、即ち、被写体(撮像対象)による撮影意図が認識された場合には、撮像の準備状態に移行し、更に他方が所定の条件を満たした場合、即ち、撮影の指示が認識された場合には、このときに参照した画像データと、音声データとをEEPROM705に転送する。これにより、撮影の指示が成されたときの画像を撮像する(ここでの「撮像する」ということはEEPROM705に画像を記録するということである)ことができると共に、このときの音声データをも記録することができる。
図2は、撮像装置の機能構成を示すブロック図である。センシングデータ取得部100は、結像光学系と固体撮像素子から得られる画像信号をA/D変換して得られるディジタル画像データと、マイクから得られる音声とを電気信号に変換して得られるディジタル音声データとを取得する。
センシングデータ分析部101は、センシングデータ取得部100が取得した画像、音声に対して後述する各種の認識処理を行う。なお、センシングデータ分析部101は、例えば専用ハード(ASIC,FPGAなど)で構成するようにしても良い。
図3は、センシングデータ分析部101の機能構成を示すブロック図である。同図に示す如く、センシングデータ分析部101は、表情認識部110、身体動作認識部111、個人識別部112、音声認識部113により構成されている。即ち、画像情報を用いて認識処理を行う部分(表情認識部110、身体動作認識部111、個人識別部112)と音声情報を用いて認識処理を行う部分(音声認識部113)とで構成されている。
画像情報を用いた認識は、個人認識、身振りや手振りなどの身体動作認識、表情認識である。
先ず個人認識処理について説明する。図5は、個人認識処理を説明するために用いる画像の一例を示す図である。個人の認識は、例えば、画像において肌色検索を行った後、肌色範囲220内で目のテンプレート221や口のテンプレート等を用いたマッチングにより目・口候補を決定し、それぞれの候補位置の空間配置関係から目・口位置、つまり顔位置検出を行う。次に、目・口位置を元にいくつかの特徴点を設定し、その特徴点において、”コンピュータによる顔の認識−サーベイ−“電子情報通信学会誌 Vol.J80-A No.8 pp.1215-1230 Aug.1997で記載されているように、ガボールウェブレット変換を行うことでパターンの局所的な周期性や方向性などの特徴量を抽出し、この特徴量をあらかじめ登録しておいたデータと比較することにより個人の識別を行う方法がある。個人識別部112は、このような個人認識処理を行う。なお、個人認識の方法はこれに限定するものではない。
次に、身体動作認識について説明する。図6、7は、身体動作認識処理を説明する為に用いる画像の一例を示す図である。図6に示すように、被写体240が手のポーズ241を行った場合、図7に示すように、人間の顔260が検出された位置を基準としてその周辺範囲を手のポーズを検出するテンプレート262を用いて被写体の手のポーズ261を認識する方法がある。また、身振りや手振りなどの認識技術には、”動き変化に基づくView-based Aspect Modelによる動作認識” 電子情報通信学会誌 Vol.J84-D2 No.10 pp.2212-2223 Oct.2001などがある。なお、ここで示す身体動作は、ポーズなどある瞬間の特定身体部位の形状でも良いし、身振りや手振りなど連続した一連の動作でも良い。身体動作認識部111は、このような身体動作認識処理を行う。なお、身体動作認識の方法についてはこれに限定するものではない。
次に、表情認識処理について説明する。図8は、表情認識処理を説明するために用いる画像の一例を示す図である。表情認識は、例えば、”人間とコンピュ−タによる顔表情の認識III−コンピュータによる顔表情認識技術(2):顔面の表情動作の認識−”, 電子情報通信学会誌 Vol.85 No.12 pp.936-941 Dec.2002で記述されているように、図8に示す如く目・口の位置から夫々の目・口の位置の周辺範囲内で目尻・目頭・口端点など複数の特徴点を抽出した後、顔の造作の形状や配置の変化を記述する特徴パラメータを算出し、この特徴パラメータを入力とする入力層とP.Ekman and W.V.Friesenの”Facial Action Coding System(FACS)”,Consulting Psychologists Press,1978で提唱されている Action Unitの検出の有無を出力とするニューラルネットワークを用意して表情を認識する方法がある。なお、表情は喜怒哀楽意外にも目瞑りなどを認識しても良い。表情認識部110はこのような処理を行う。なお、表情認識処理は、これらの方法に限られるわけではなく、別の方法を用いても良い。
以上のようにして、表情認識部110、身体動作認識部111、個人識別部112は、画像情報からそれぞれの認識処理を行う。なお、以上説明した画像情報からの認識処理では、画像を構成する全ての画素を用いるのではなく、例えば1画素ずつ間引いたサムネイル画像を生成し、このサムネイル画像を用いて認識処理を行うようにすれば、認識処理の際に参照する画素数が元の画像よりも少なくなるので、より認識処理を高速に行うことができる。
次に、音声情報を用いた認識処理について説明する。図4は、音声認識処理を説明するために用いる音声波形の一例を示す図である。同図に示す如く、時刻t[s]とt+1[s]との間で得られる一定フレーム長の音声信号200に対して、”音声認識研究の動向”, Vol.J83-D2 No.2 pp.433-457 Feb.2000で記載されているようにHMMを用いた確率モデルなどを用いることにより、「あ」や「い」などの音素から構成される単語や文章及び特定話者を認識する方法が従来から存在する。例えば得られた音声情報が「撮影してください」という文章であるかという判定を行う。なお、音声認識処理においては何らかの認識処理を用いても良いし、音素から構成される単語や文章、それ以外の「よし!!」などの発声、更には特定話者の認識を行っても良い。音声認識部113はこのような音声認識処理を行う。
図2に戻ってセンシングデータ分析部101による上記認識処理が完了すると、センシングデータ分析部101は、認識の結果、被写体から撮影意図(撮影意図とは被写体がこれから撮影を行いたいという被写体自身の意思のことである)が認識されたのか否かを判断し、撮影意図が認識された場合には撮影準備信号発生部102に撮影準備信号を発生させるよう、指示する。撮影準備信号発生部102は、この指示に従って撮影準備信号を撮影信号発生部103に出力する。
この撮影準備信号は、従来ではカメラでシャッターボタンを半押しにした時にカメラ内で発生する制御信号に相当し、例えば、AFやAEの作動制御信号や画像センサデータのバッファメモリ格納等の制御信号に相当する。
そして、センシングデータ分析部101は撮影意図の認識後、更に、センシングデータ取得部100が取得した画像、音声に対して上記認識処理を行い、今度は、被写体から撮影の指示が認識されたのか否かを判断し、撮影の指示が認識された場合には撮影信号発生部103に、撮影信号を発生させるよう、指示する。撮影信号発生部103は、この指示を受けると共に、撮影準備信号発生部102からの撮影準備信号を受けると、撮影信号を発生し、記憶部104に、認識で用いた画像、音声を記憶するように指示するので、記憶部104はこれを受け、指示された画像、音声を記憶する。
この撮影信号は、従来ではカメラでシャッターボタンを押したときにカメラ内で発生する制御信号に相当し、本実施形態の場合、例えば、笑顔の瞬間の場合に画像データ及び音声信号をメモリなどに記憶させることに相当する。
なお、記憶部104は例えばフラッシュメモリに相当するが、これに限定するものではない。
図10は、以上説明した、撮像装置が被写体を撮像する為に行う一連の処理のフローチャートである。なお、同図のフローチャートに従った処理をCPU700に実行させるためのプログラムやデータはEEPROM705に格納されており、CPU700はこれを用いて処理を行うことで、本実施形態に係る撮像装置は以下説明する各処理を実行することになる。
同図のフローチャートでは、撮像装置の操作者は操作部706を操作して、上記撮影準備状態に移行するために音声認識モードを選択すると共に、撮影準備状態から実際に撮影する状態に移行する為に表情認識モードを選択する。例えば操作部706に液晶画面を設け、そこに図9に示すようなGUIを表示し、何れかのモードを選択させる。選択方法は、例えばこの液晶画面をタッチパネル形式にし、液晶画面上をタッチさせるようにしても良いし、操作部706に備わっているボタン群でもって選択するようにしても良い。図9は、モードの選択画面表示例を示す図である。
上記各モードの選択指示をCPU700が検知すると、CPU700は設定した各モードのデータを一時的にRAM704に記憶させる(ステップS300)。
そして音声入力部707を制御して、音声の収集を開始する(ステップS301)。これにより、音声入力部707からは撮像装置の周囲の音声情報が音声信号として音声入力インターフェース部708に入力されるので、音声入力インターフェース部708はこれをディジタル音声データに変換してRAM704に出力する。
CPU700はRAM704に取得したこの音声データに対して上記音声認識処理を行い、被写体が発した音声が所定の文章(予めデータとしてEEPROM705に登録された文章データに従った文章)、例えば「撮影してください」なる文章を発しているのか否かを判断する(ステップS303)。
その結果、所定の文章を発していないと判断した場合には処理をステップS301に戻し、以降の処理を繰り返す。一方、所定の文章を発していると判断した場合には処理をステップS304に進め、CPU700は撮影準備信号を発生し(ステップS304)、撮像装置を撮影準備状態にする。撮像装置を撮影準備状態にするための処理については上述の通りである。
そしてCPU700は今度は映像入力部709を制御して、画像の収集を開始する(ステップS305)。これにより、映像入力部709からは、現実空間の動画像がフレーム単位で画像信号として映像入力インターフェース部710に入力されるので、映像入力インターフェース部710はこれをディジタル画像データに変換してRAM704に出力する。
そしてCPU700は、この画像データに対して上記認識処理を行うのであるが、ここでは表情認識モードが設定されているので、画像における被写体の顔の表情を認識し(ステップS306)、これが所定の表情、例えば笑顔であるのか否かを判断する(ステップS307)。
その結果、所定の表情ではない場合には処理をステップS305に戻し、以降の処理を繰り返す。一方、所定の表情である場合には処理をステップS308に進め、CPU700は撮影信号を発生し(ステップS308)、撮像装置を撮影状態にする。そして、CPU700は、ステップS306で認識処理を行う際に用いた画像のデータ、ステップS302で認識処理を行う際に用いた音声のデータをRAM704からEEPROM705に移動させることで、画像、音声の記録処理を行う(ステップS309)。
以上の処理により、例えばシャッターの押下などの操作は必要なく、音声情報、画像情報のみで被写体の撮像を行うことができるので、従来よりもより簡便に被写体の撮影を行うことができる。
なお、本実施形態では映像入力部709は、ステップS303で所定の文章を発していると判断した後に始めて動作させたのであるが、これに限定するものではなく、音声入力部707の動作開始と共に動作するようにしても良い。
また、本実施形態では画像、音声ともに記録するようにしているが、一方のみを記録するようにしても良い。
[第2の実施形態]
本実施形態では、上記撮影準備状態に移行するために個人認識モードを選択すると共に、撮影準備状態から実際に撮影する状態に移行する為に身体動作認識モードを選択する。
図11は、このようなモードを設定した場合に、撮像装置が被写体を撮像する為に行う一連の処理のフローチャートである。なお、同図のフローチャートに従った処理をCPU700に実行させるためのプログラムやデータはEEPROM705に格納されており、CPU700はこれを用いて処理を行うことで、本実施形態に係る撮像装置は以下説明する各処理を実行することになる。
上記各モードの選択指示をCPU700が検知すると、CPU700は設定した各モードのデータを一時的にRAM704に記憶させる(ステップS500)。
そして映像入力部709を制御して、画像の収集を開始する(ステップS501)。これにより、映像入力部709からは、現実空間の動画像がフレーム単位で画像信号として映像入力インターフェース部710に入力されるので、映像入力インターフェース部710はこれをディジタル画像データに変換してRAM704に出力する。
そしてCPU700は、この画像データに対して上記認識処理を行うのであるが、ここでは個人認識モードが設定されているので、画像における被写体の顔が誰の顔であるのかを認識し(ステップS502)、これが所定の個人の顔であるのか否かを判断する(ステップS503)。
その結果、所定の顔ではない場合には処理をステップS501に戻し、以降の処理を繰り返す。一方、所定の顔である場合には処理をステップS504に進め、CPU700は撮影準備信号を発生し(ステップS504)、撮像装置を撮影準備状態にする。撮像装置を撮影準備状態にするための処理については上述の通りである。
そしてCPU700は更に、ディジタル画像データの収集を続け(ステップS505)、RAM704に取得した画像データに対して上記認識処理を行うのであるが、ここでは身体動作認識モードが設定されているので、画像における被写体の身体動作を認識し(ステップS506)、これが所定の身体動作、例えばピースのポーズを取っているのか否かを判断する(ステップS507)。
その結果、所定の身体動作ではない場合には処理をステップS505に戻し、以降の処理を繰り返す。一方、所定の身体動作である場合には処理をステップS808に進め、CPU700は撮影信号を発生し(ステップS508)、撮像装置を撮影状態にする。そして、CPU700は、ステップS506で認識処理を行う際に用いた画像のデータをRAM704からEEPROM705に移動させることで、画像の記録処理を行う(ステップS509)。
なお、本フローチャートの処理を開始すると同時に、音声入力部707の動作も開始した場合には、ステップS506で認識処理を行う際に用いた画像のデータの取得時に略同時に取得した音声のデータもEEPROM705に記録するようにしても良い。
また、上記各実施形態では、画像情報、音声情報をそれぞれ単独で用いて撮影準備状態への移行、撮影状態への移行をCPU700によって行わせていたが、それぞれを組み合わせて移行させるようにしても良い。即ち、上記各実施形態の本質は、画像情報、音声情報を用いて撮影準備状態への移行、撮影状態への移行をCPU700によって行わせることにあり、それらをどのように用いるかについては特の限定するものではない。
[その他の実施形態]
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
本発明の第1の実施形態に係る撮像装置の基本構成を示すブロック図である。 撮像装置の機能構成を示すブロック図である。 センシングデータ分析部101の機能構成を示すブロック図である。 音声認識処理を説明するために用いる音声波形の一例を示す図である。 個人認識処理を説明するために用いる画像の一例を示す図である。 身体動作認識処理を説明する為に用いる画像の一例を示す図である。 身体動作認識処理を説明する為に用いる画像の一例を示す図である。 表情認識処理を説明するために用いる画像の一例を示す図である。 モードの選択画面表示例を示す図である。 撮像装置が被写体を撮像する為に行う一連の処理のフローチャートである。 撮像装置が被写体を撮像する為に行う一連の処理のフローチャートである。

Claims (9)

  1. 撮像装置であって、
    前記撮像装置の撮像環境から、第1の撮像環境を収集する第1の収集手段と、
    前記撮像装置の撮像環境から、第2の撮像環境を収集する第2の収集手段と、
    前記第1の撮像環境、前記第2の撮像環境が共に所定の条件を満たしている場合に、撮像対象の撮像を行う撮像手段と
    を備えることを特徴とする撮像装置。
  2. 前記第1の撮像環境、前記第2の撮像環境はそれぞれ撮像対象の画像情報、音声情報の何れかであることを特徴とする請求項1に記載の撮像装置。
  3. 更に、前記第1の収集手段が収集する前記第1の撮像環境内容、前記第2の収集手段が収集する前記第2の撮像環境内容を選択する選択手段を備えることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記第1の撮像環境が前記撮像対象からの音声であり、前記第2の撮像環境が前記撮像対象の表情である場合には、
    前記撮像手段は、前記音声が所定の文章を意味するものであり、且つ前記表情が所定の表情である場合に、前記撮像対象の撮像を行うことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
  5. 前記第1の撮像環境が、前記撮像対象としての人の外観であり、前記第2の撮像環境が、前記人の身体動作である場合には、
    前記制御手段は、前記人の外観に係る情報が所定のものであり、且つ前記身体動作が所定の動作である場合に、前記撮像対象の撮像を行うことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
  6. 前記人の外観は、顔、表情を含むことを特徴とする請求項5に記載の撮像装置。
  7. 撮像装置であって、
    撮像環境における音を収集する音収集手段と、
    前記音収集手段によって収集された音を認識する音認識手段と、
    撮像対象の動画像を収集する動画像収集手段と、
    前記動画像収集手段によって収集された動画像の各フレームの画像に基づいて、前記撮像対象が所定の条件を満たしたか否かを判断する判断手段と、
    前記音収集手段によって収集された音が所定の音であり、且つ前記撮像対象が所定の条件を満たした場合には、前記撮像対象の撮像を行う撮像手段と
    を備えることを特徴とする撮像装置。
  8. 撮像装置の制御方法であって、
    前記撮像装置の撮像環境から、第1の撮像環境を収集する第1の収集工程と、
    前記撮像装置の撮像環境から、第2の撮像環境を収集する第2の収集工程と、
    前記第1の撮像環境、前記第2の撮像環境が共に所定の条件を満たしている場合に、撮像対象の撮像を行う撮像工程と
    を備えることを特徴とする撮像装置の制御方法。
  9. 撮像装置の制御方法であって、
    撮像環境における音を収集する音収集工程と、
    前記音収集工程で収集された音を認識する音認識工程と、
    撮像対象の動画像を収集する動画像収集工程と、
    前記動画像収集工程で収集された動画像の各フレームの画像に基づいて、前記撮像対象が所定の条件を満たしたか否かを判断する判断工程と、
    前記音収集工程で収集された音が所定の音であり、且つ前記撮像対象が所定の条件を満たした場合には、前記撮像対象の撮像を行う撮像工程と
    を備えることを特徴とする撮像装置の制御方法。
JP2005106801A 2005-04-01 2005-04-01 撮像装置、及びその制御方法 Pending JP2006287749A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005106801A JP2006287749A (ja) 2005-04-01 2005-04-01 撮像装置、及びその制御方法
US11/392,810 US7639282B2 (en) 2005-04-01 2006-03-30 Image sensing device that acquires a movie of a person or an object and senses a still image of the person or the object, and control method thereof
CN2006100670390A CN1841187B (zh) 2005-04-01 2006-03-31 图像摄取设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005106801A JP2006287749A (ja) 2005-04-01 2005-04-01 撮像装置、及びその制御方法

Publications (2)

Publication Number Publication Date
JP2006287749A true JP2006287749A (ja) 2006-10-19
JP2006287749A5 JP2006287749A5 (ja) 2010-04-22

Family

ID=37030266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005106801A Pending JP2006287749A (ja) 2005-04-01 2005-04-01 撮像装置、及びその制御方法

Country Status (3)

Country Link
US (1) US7639282B2 (ja)
JP (1) JP2006287749A (ja)
CN (1) CN1841187B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158788A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp 情報処理装置および情報処理方法
JP2008219450A (ja) * 2007-03-05 2008-09-18 Fujifilm Corp 撮像装置およびその制御方法
JP2010098398A (ja) * 2008-10-15 2010-04-30 Nec Corp 撮像方法及び撮像装置
JP2011139498A (ja) * 2011-02-14 2011-07-14 Fujifilm Corp 撮像装置およびその制御方法
JP2020507159A (ja) * 2017-05-31 2020-03-05 オッポ広東移動通信有限公司 ピクチャプッシュの方法、移動端末および記憶媒体
US11153472B2 (en) 2005-10-17 2021-10-19 Cutting Edge Vision, LLC Automatic upload of pictures from a camera

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075868B (zh) * 2006-05-19 2010-05-12 华为技术有限公司 一种远程身份认证的系统、终端、服务器和方法
JP4908967B2 (ja) * 2006-08-10 2012-04-04 キヤノン株式会社 画像入力装置、画像出力装置及び転送方法
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US7995106B2 (en) * 2007-03-05 2011-08-09 Fujifilm Corporation Imaging apparatus with human extraction and voice analysis and control method thereof
JP4315212B2 (ja) * 2007-05-02 2009-08-19 カシオ計算機株式会社 撮像装置、撮像制御プログラム及び撮像制御方法
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP2009089174A (ja) * 2007-10-01 2009-04-23 Fujifilm Corp デジタルカメラおよびその撮影方法
JP5053950B2 (ja) * 2008-07-29 2012-10-24 キヤノン株式会社 情報処理方法、情報処理装置、プログラムおよび記憶媒体
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
US8432455B2 (en) * 2008-12-31 2013-04-30 Nokia Corporation Method, apparatus and computer program product for automatically taking photos of oneself
JP2010219692A (ja) * 2009-03-13 2010-09-30 Olympus Imaging Corp 撮像装置及びカメラ
KR101138313B1 (ko) * 2009-07-03 2012-04-25 주식회사 솔고 바이오메디칼 웃음 인식 자동문 시스템
JP5457092B2 (ja) * 2009-07-03 2014-04-02 オリンパスイメージング株式会社 デジタルカメラ及びデジタルカメラの合成画像表示方法
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
CN101742114A (zh) * 2009-12-31 2010-06-16 上海量科电子科技有限公司 通过手势识别来决定拍摄操作的方法及装置
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
JP2012060469A (ja) * 2010-09-09 2012-03-22 Sanyo Electric Co Ltd 撮像装置
JP2012094060A (ja) * 2010-10-28 2012-05-17 Sharp Corp 電子装置
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013110551A (ja) * 2011-11-21 2013-06-06 Sony Corp 情報処理装置、撮像装置、情報処理方法およびプログラム
CN103474070B (zh) * 2012-11-07 2016-06-08 宁波市鄞州乐可机电科技有限公司 一种声音传输装置
JP6244643B2 (ja) * 2013-04-15 2017-12-13 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
CN104750236A (zh) * 2013-12-27 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104238756B (zh) * 2014-09-28 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104978960A (zh) * 2015-07-01 2015-10-14 陈包容 一种基于语音识别拍照的方法及装置
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
CN109947977A (zh) * 2019-03-13 2019-06-28 广东小天才科技有限公司 一种结合图像的意图识别方法及装置、终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290799A (ja) * 2001-03-26 2002-10-04 Konica Corp 画像処理システム、プリント受付装置、撮像装置及び撮像トリガー装置
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2005027002A (ja) * 2003-07-02 2005-01-27 Fuji Photo Film Co Ltd 通信機能付カメラ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04361493A (ja) * 1991-06-07 1992-12-15 Canon Inc 映像信号再生装置
JP3171744B2 (ja) * 1994-03-15 2001-06-04 シャープ株式会社 音声及び動画の検索装置
AUPO918697A0 (en) * 1997-09-15 1997-10-09 Canon Information Systems Research Australia Pty Ltd Enhanced information gathering apparatus and method
JP2000069348A (ja) * 1998-08-20 2000-03-03 Canon Inc 撮像装置
JP2000307917A (ja) * 1999-04-23 2000-11-02 Sharp Corp 情報記録装置
US20020113687A1 (en) * 2000-11-03 2002-08-22 Center Julian L. Method of extending image-based face recognition systems to utilize multi-view image sequences and audio information
JP3754290B2 (ja) 2000-11-29 2006-03-08 三洋電機株式会社 カメラ
US7493559B1 (en) * 2002-01-09 2009-02-17 Ricoh Co., Ltd. System and method for direct multi-modal annotation of objects
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
KR100770637B1 (ko) * 2002-12-12 2007-10-29 후지필름 가부시키가이샤 디지털 카메라
CN1270516C (zh) * 2002-12-12 2006-08-16 富士胶片株式会社 面部识别方法、面部提取方法及摄像装置
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290799A (ja) * 2001-03-26 2002-10-04 Konica Corp 画像処理システム、プリント受付装置、撮像装置及び撮像トリガー装置
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2005027002A (ja) * 2003-07-02 2005-01-27 Fuji Photo Film Co Ltd 通信機能付カメラ

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153472B2 (en) 2005-10-17 2021-10-19 Cutting Edge Vision, LLC Automatic upload of pictures from a camera
US11818458B2 (en) 2005-10-17 2023-11-14 Cutting Edge Vision, LLC Camera touchpad
JP2008158788A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp 情報処理装置および情報処理方法
JP2008219450A (ja) * 2007-03-05 2008-09-18 Fujifilm Corp 撮像装置およびその制御方法
JP2010098398A (ja) * 2008-10-15 2010-04-30 Nec Corp 撮像方法及び撮像装置
JP2011139498A (ja) * 2011-02-14 2011-07-14 Fujifilm Corp 撮像装置およびその制御方法
JP2020507159A (ja) * 2017-05-31 2020-03-05 オッポ広東移動通信有限公司 ピクチャプッシュの方法、移動端末および記憶媒体

Also Published As

Publication number Publication date
CN1841187B (zh) 2010-05-12
US7639282B2 (en) 2009-12-29
CN1841187A (zh) 2006-10-04
US20060222214A1 (en) 2006-10-05

Similar Documents

Publication Publication Date Title
JP2006287749A (ja) 撮像装置、及びその制御方法
JP5683851B2 (ja) 撮像装置及び画像処理装置
JP4639869B2 (ja) 撮像装置およびタイマー撮影方法
KR101679290B1 (ko) 영상 처리 방법 및 장치
JP5129683B2 (ja) 撮像装置及びその制御方法
JP2007147762A (ja) 発話者予測装置および発話者予測方法
KR100981002B1 (ko) 합성화상 출력장치, 및 프로그램을 기록한 기록매체
JP2009141555A (ja) 音声入力機能付き撮像装置及びその音声記録方法
US20180255232A1 (en) Imaging apparatus, image processing device, imaging method, and computer-readable recording medium
JP2008033718A (ja) 撮像装置及び部位拡大表示方法
JP2016118991A (ja) 画像生成装置、画像生成方法及びプログラム
KR101325002B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
JP4429081B2 (ja) 情報処理装置及び情報処理方法
JP4595832B2 (ja) 撮像装置、プログラム、及び記憶媒体
JP2012151544A (ja) 撮像装置及びプログラム
JP5016999B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2010199968A (ja) デジタルカメラ
JP2014225763A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6635093B2 (ja) 画像記録装置、画像記録方法及びプログラム
JP2017037375A (ja) 撮像装置及びその制御方法
JP2010039795A (ja) 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法
JP2019191339A (ja) 電子機器、制御プログラム、制御装置および制御方法
JP2010141825A (ja) 撮像装置及び画像処理方法
KR102166176B1 (ko) 이미지 촬영 장치 및 방법
JP6278688B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111020

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20111228