JP2018160799A - 制御装置、制御方法、プログラム、及び、電子機器システム - Google Patents

制御装置、制御方法、プログラム、及び、電子機器システム Download PDF

Info

Publication number
JP2018160799A
JP2018160799A JP2017057019A JP2017057019A JP2018160799A JP 2018160799 A JP2018160799 A JP 2018160799A JP 2017057019 A JP2017057019 A JP 2017057019A JP 2017057019 A JP2017057019 A JP 2017057019A JP 2018160799 A JP2018160799 A JP 2018160799A
Authority
JP
Japan
Prior art keywords
image
image sensor
low
resolution image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017057019A
Other languages
English (en)
Inventor
隆弘 飯沼
Takahiro Iinuma
隆弘 飯沼
直規 葛谷
Naoki Kuzutani
直規 葛谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017057019A priority Critical patent/JP2018160799A/ja
Priority to CN201880005053.9A priority patent/CN110073654B/zh
Priority to CN202210769993.3A priority patent/CN115150554A/zh
Priority to US16/469,670 priority patent/US11196922B2/en
Priority to EP18770205.5A priority patent/EP3606035A4/en
Priority to PCT/JP2018/009149 priority patent/WO2018173792A1/ja
Publication of JP2018160799A publication Critical patent/JP2018160799A/ja
Priority to US17/488,063 priority patent/US20220021816A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/81—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer by operating on the power supply, e.g. enabling or disabling power-on, sleep or resume operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/181—Prevention or correction of operating errors due to failing power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】低消費電力化を図る。【解決手段】低解像度の画像を出力する低消費電力モードと、低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが低消費電力モードで出力する低解像度の画像から、あらかじめ決められた所定の被写体の有無が検出される。そして、所定の被写体の存在が検出された場合、イメージセンサの動作モードが通常モードに設定され、イメージセンサは、高解像度の画像を出力する。本技術は、例えば、イメージセンサの制御に適用することができる。【選択図】図２

Description

本技術は、制御装置、制御方法、プログラム、及び、電子機器システムに関し、特に、例えば、低消費電力化を図ることができるようにする制御装置、制御方法、プログラム、及び、電子機器システムに関する。
例えば、ウェアラブルデバイス等のバッテリから電源の供給を受けて動作するデバイス（以下、バッテリ搭載デバイスともいう）では、バッテリを長持ちさせるために、不使用時には、動作モードが低消費電力モードに設定され、スリープ状態やスタンバイ状態等の待機状態となる。そして、ユーザによる使用が検出されると、動作モードが通常モードに設定され（切り替わり）、通常の動作が行われる。
例えば、特許文献１に記載の携帯端末では、照度センサによって周囲の照度が検出され、照度が閾値以上である場合に、カメラモジュールの電源がオンにされ、画像が撮影される。そして、カメラモジュールで撮影された画像を用いて、顔認識処理が行われ、顔が認識されれば、動作モードが通常モードに設定され、顔が認識されなければ、動作モードが低消費電力モード（省電力モード）に設定される。
以上のように、特許文献１に記載の携帯端末は、顔が認識されれば、通常モードなり、顔が認識されなければ、低消費電力モードになるので、ユーザが携帯端末を使用するときには、通常モードとなり、使用していないときには、低消費電力モードとなって、ユーザが携帯端末を使用していないときの電力消費を抑制することができる。
特開2014-027386号公報
特許文献１に記載の携帯端末では、周囲の照度が閾値以上である場合に、カメラモジュールの電源がオンにされ、画像が撮影される。カメラモジュールで撮影される画像は、顔認識処理に用いられるため、ある程度の解像度の画像である必要があり、例えば、携帯端末をカメラとして機能させる場合と同様の解像度の画像（以下、通常の解像度の画像ともいう）である。
したがって、特許文献１に記載の携帯端末では、閾値以上の照度が検出されるたびに、カメラモジュールの電源がオンにされ、通常の解像度の画像が撮影される。
また、特許文献１に記載の携帯端末では、照度の閾値は、顔認識処理を行うために必要な明るさを基準として決められる。
したがって、特許文献１に記載の携帯端末では、高頻度で、閾値以上の照度が検出され、そのたびに、カメラモジュールの電源がオンにされ、通常の解像度の画像が撮影される。そのため、カメラモジュールの待機時間が短くなり、消費電力が大になる。
本技術は、このような状況に鑑みてなされたものであり、低消費電力化を図ることができるようにするものである。
本技術の制御装置、又は、プログラムは、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部とを備える、前記イメージセンサの制御装置、又は、そのような制御装置としてコンピュータを機能させるためのプログラムである。
本技術の制御方法は、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることとを含む、前記イメージセンサの制御方法である。
本技術の電子機器システムは、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、前記イメージセンサを制御する制御部とを備え、前記制御部は、前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部とを有する電子機器システムである。
本技術においては、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無が検出される。そして、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードが通常モードに設定され、前記イメージセンサは、前記高解像度の画像を出力する。
なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、低消費電力化を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。 カメラシステム１１の構成例を示すブロック図である。 電子機器システムが顔認証を行う場合の処理の例を説明するフローチャートである。 電子機器システムが顔認証を行う場合の処理の例を、さらに説明する図である。 電子機器システムが虹彩認証を行う場合の処理の例を説明する図である。 電子機器システムが、掌紋認証を行う場合の処理の例を説明する図である。 電子機器システムが有料駐車場の監視カメラであり、駐車を行った自動車のナンバープレートを記録する場合の処理の例を説明する図である。 電子機器システムが住宅の監視カメラであり、不審者を記録する場合の処理の例を説明する図である。 カメラシステム１１の他の構成例を示すブロック図である。 電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォン本来の処理を行う場合の処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した電子機器システムの一実施の形態＞
図１は、本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。
図１において、電子機器システムは、カメラシステム１１、画像処理部１２、及び、バッテリ１３を含む。
カメラシステム１１は、画像を撮影し、その撮影の結果得られる撮影画像を、画像処理部１２に供給する。
画像処理部１２は、カメラシステム１１からの撮影画像を対象とした画像処理を行う。
バッテリ１３は、カメラシステム１１及び画像処理部１２、その他、電子機器システムを構成する図示せぬブロックに、必要な電源を供給する。
以上のような電子機器システムは、例えば、スマートフォン等の携帯端末、建物の電子ロック、住宅や有料駐車場等の監視カメラ、リストバンド型や眼鏡型等のウェアラブルデバイス、その他、画像を撮影し、その画像を対象とした画像処理を行う任意の装置、特に、バッテリから電源の供給を受けて動作するバッテリ搭載デバイスに適用することができる。但し、電子機器システムは、バッテリ搭載デバイス以外の、電源コンセント等から電源の供給を受けて動作するデバイスにも適用することができる。
例えば、電子機器システムがスマートフォンに適用される場合、画像処理部１２では、画像処理として、撮影画像を用いた認証処理を行い、認証が成功した場合にのみ、スマートフォンのロックを解除して、スマートフォンを、通常の使用が可能な使用可能状態とすることができる。
また、例えば、電子機器システムが電子ロックに適用される場合、画像処理部１２では、画像処理として、撮影画像を用いた認証処理を行い、認証が成功した場合にのみ、電子ロックを解除することができる。
さらに、例えば、電子機器システムが住宅や有料駐車場の監視カメラに適用される場合、画像処理部１２では、画像処理として、住宅をうろつく不審者や、不正駐車を行った自動車の、いわゆるナンバープレート（自動車登録番号標等）が映った撮影画像の記録を行うことができる。
なお、画像処理部１２は、カメラシステム１１と別個に設ける他、カメラシステム１１（の、例えば、後述する制御部２２等）に内蔵させることができる。
＜カメラシステム１１の構成例＞
図２は、図１のカメラシステム１１の構成例を示すブロック図である。
図２において、カメラシステムは、イメージセンサ２１及び制御部２２を含む。
イメージセンサ２１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)のイメージセンサで、低解像度の低解像度画像を出力する低消費電力モードと、低解像度画像よりも高解像度の高解像度画像を出力する通常モードとを、動作モードとして有する。
イメージセンサ２１は、制御部２２の制御に従って、動作モードを設定し、その動作モードで、画像を撮影して、いわゆるraw画像を出力する。
ここで、低消費電力モードのイメージセンサ２１において、低解像度画像の出力は、例えば、FD(Floating Diffusion)加算や、画素からの画素値（電荷）の間引き読み出し等により行うことができる。
FD加算では、イメージセンサ２１において、そのイメージセンサ２１を構成する図示せぬ画素が、複数の画素の単位で、FDを共有しており、FDにおいて、そのFDを共有する画素等の複数の画素それぞれの画素値が加算される。
イメージセンサ２１は、画素値をAD(Analog to Digital)変換するADC(AD Converter)（図示せず）を有するが、FD加算や、画素値の間引き読み出しを行う場合には、読み出す画素値の数が少なくなるため、動作させる必要があるADCの数も少なくなる。さらに、画素値の読み出しの速度やADCの動作速度は低速で良く、したがって、低消費電力モードのイメージセンサ２１では、高解像度画像を出力する通常モードの場合と比較して、消費電力を大きく抑制することができる。
低消費電力モードでは、イメージセンサ２１は、上述のFD加算や、画素の間引き読み出しによって、例えば、横×縦が16×9画素等程度の極めて低解像度の低解像度画像を出力する。
一方、通常モードでは、イメージセンサ２１は、例えば、イメージセンサ２１が有する全画素を用いたHD(High Definition)画像や、いわゆる4k画像、8k画像等を、高解像度画像として出力する。
イメージセンサ２１が出力する低解像度画像又は高解像度画像としてのraw画像は、制御部２２に供給される。
なお、イメージセンサ２１としては、可視光を受光（撮影）するイメージセンサの他、赤外光等の可視光以外の光（電磁波）を受光するイメージセンサを採用することが可能である。
制御部２２は、イメージセンサ２１の画像の撮影を制御する。
制御部２２は、選択部３１、被写体有無検出部３２、モード設定部３３、露光制御部３４、及び、現像処理部３５を含む。
選択部３１は、モード設定部３３の制御に従い、イメージセンサ２１からのraw画像の出力先として、被写体有無検出部３２及び現像処理部３５のうちの一方を選択して、その選択した方に、raw画像を出力する。
ここで、モード設定部３３は、イメージセンサ２１の動作モードが通常モードであり、イメージセンサ２１が高解像度画像を出力する場合、その高解像度画像の出力先として、現像処理部３５を選択するように、選択部３１を制御する。また、モード設定部３３は、イメージセンサ２１の動作モードが低消費電力モードであり、イメージセンサ２１が低解像度画像を出力する場合、その低解像度画像の出力先として、被写体有無検出部３２を選択するように、選択部３１を制御する。
したがって、イメージセンサ２１が高解像度画像を出力する場合には、その高解像度画像は、選択部３１を介して、現像処理部３５に供給される。また、イメージセンサ２１が低解像度画像を出力する場合には、その低解像度画像は、選択部３１を介して、被写体有無検出部３２に供給される。なお、選択部３１から画像の（直接的又は間接的な）出力先として選択されていないブロックについては、電源の供給を停止することができる。この場合、カメラシステム１１（ひいては、電子機器システム）の低消費電力化を図ることができる。
被写体有無検出部３２は、選択部３１から供給される低解像度画像から、あらかじめ決められた所定の被写体（以下、設定被写体ともいう）の有無を検出する。すなわち、被写体有無検出部３２は、選択部３１から供給される低解像度画像に、設定被写体が映っているかどうかを検出する。
被写体有無検出部３２は、低解像度画像における設定被写体の有無の検出結果を表す検出情報を、モード設定部３３に供給する。
ここで、設定被写体としては、特定の人や、特定の人の目、特定の自動車等のような個物（個体）ではなく、任意の人や、任意の人の目、任意の自動車等のような、あるカテゴリに属する事物全般が採用される。したがって、設定被写体の有無を検出する対象が、低解像度画像であっても、設定被写体の有無を精度よく検出することができる。
モード設定部３３は、被写体有無検出部３２からの検出情報に応じて、イメージセンサ２１の動作モードを設定するとともに、その動作モードに応じて、選択部３１を制御する。
すなわち、モード設定部３３は、例えば、制御部２２の起動時等や、被写体有無検出部３２からの検出情報が、設定被写体あり（低解像度画像に設定被写体が映っていること）を表していない場合等に、イメージセンサ２１の動作モードを低消費電力モードに設定する。
また、モード設定部３３は、例えば、被写体有無検出部３２からの検出情報が、設定被写体ありを表している場合に、イメージセンサ２１の動作モードを通常モードに設定する。
上述したように、イメージセンサ２１は、低消費電力モードでは、低消費電力で動作して、低解像度画像を撮影して出力し、通常モードでは、高解像度画像を撮影して出力する。
ここで、上述したことから、図２では、イメージセンサ２１は、常時（普段）は、低消費電力モードで動作し、設定被写体があることが検出された場合に、通常モードで動作する。したがって、イメージセンサ２１は、いわば間欠的に、通常モードで動作する。
モード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定した場合には、その低消費電力モードに応じて、イメージセンサ２１が出力する低解像度画像としてのraw画像の出力先として、被写体有無検出部３２を選択するように、選択部３１を制御する。
また、モード設定部３３は、イメージセンサ２１の動作モードを通常モードに設定した場合には、その通常モードに応じて、イメージセンサ２１が出力する高解像度画像としてのraw画像の出力先として、現像処理部３５を選択するように、選択部３１を制御する。
露光制御部３４は、選択部３１が被写体有無検出部３２に出力する低解像度画像に応じて、イメージセンサ２１の露光を制御する。例えば、低解像度画像の輝度が低すぎる場合には、露光制御部３４は、露光時間を長くするように、イメージセンサ２１を制御する。また、例えば、低解像度画像の輝度が高すぎる場合には、露光制御部３４は、露光時間を短くするように、イメージセンサ２１を制御する。なお、露光制御部３４では、例えば、従来のAutoExposure技術等により、低解像度画像に映る被写体を適正露光範囲に収めるように、露光の制御を行うことができる。また、露光制御部３４では、例えば、従来のWideDynamicRange技術により、被写体として想定される全てのダイナミックレンジを露光範囲に収めるように、露光の制御を行うことができる。
現像処理部３５は、選択部３１から供給される高解像度画像としてのraw画像の現像処理を行うことによって、例えば、RGB(red, green, blue)のraw画像を、YCbCrの画像に変換し、撮影画像として、画像処理部１２に出力する。
＜電子機器システムの処理＞
図３は、図１の電子機器システムが、例えば、顔認証を行う場合の処理の例を説明するフローチャートである。
すなわち、図３は、例えば、電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォンが、ロックを解除して、スマートフォン本来の処理を行う場合の処理の例を示している。
ステップＳ１１において、モード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定し、処理は、ステップＳ１２に進む。
ステップＳ１２では、イメージセンサ２１は、モード設定部３３の設定（制御）に従い、動作モードを低消費電力モードに設定し、低解像度画像の撮影を開始して、処理は、ステップＳ１３に進む。
イメージセンサ２１が低消費電力モードで撮影する低解像度画像は、選択部３１に供給される。
ステップＳ１３において、モード設定部３３は、イメージセンサ２１の動作モードが低消費電力モードであることに応じて、選択部３１に、イメージセンサ２１からの低解像度画像の出力先として、被写体有無検出部３２を選択させる。これにより、イメージセンサ２１から選択部３１に供給される低解像度画像は、被写体有無検出部３２に供給される。
ここで、選択部３１が被写体有無検出部３２に供給する低解像度画像は、露光制御部３４にも供給される。露光制御部３４は、低解像度画像に応じて、イメージセンサ２１の露光を制御する。
その後、処理は、ステップＳ１３からステップＳ１４に進み、被写体有無検出部３２は、選択部３１から供給される低解像度画像から、設定被写体の有無を検出する検出処理を行い、その検出結果を表す検出情報を、モード設定部３３に供給して、処理は、ステップＳ１５に進む。
ここで、顔認証を行う場合、設定被写体としては、顔認証の対象となる（個体の制限がない人の）顔（頭部）が採用される。
ステップＳ１５では、モード設定部３３は、被写体有無検出部３２からの検出情報に応じて、低解像度画像に設定被写体がある（映っている）かどうかを判定する。
ステップＳ１５において、低解像度画像に設定被写体がない（映っていない）と判定された場合、処理は、ステップＳ１４に戻り、検出処理が繰り返される。
また、ステップＳ１５において、低解像度画像に設定被写体があると判定された場合、すなわち、低解像度画像に、顔認証の対象となる顔が映っている場合、処理は、ステップＳ１６に進む。
ステップＳ１６では、モード設定部３３は、イメージセンサ２１の動作モードを通常モードに設定し、処理は、ステップＳ１７に進む。
ステップＳ１７では、イメージセンサ２１は、モード設定部３３の設定に従い、動作モードを通常モードに設定し、高解像度画像の撮影を開始して、処理は、ステップＳ１８に進む。
イメージセンサ２１が通常モードで撮影する高解像度画像は、検出処理で、低解像度画像に存在が検出された顔が映っている画像であり、選択部３１に供給される。
ステップＳ１８において、モード設定部３３は、イメージセンサ２１の動作モードが通常モードであることに応じて、選択部３１に、イメージセンサ２１からの高解像度画像をの出力先として、現像処理部３５を選択させる。これにより、イメージセンサ２１から選択部３１に供給される高解像度画像は、現像処理部３５に供給される。
現像処理部３５は、選択部３１から供給される高解像度画像の現像処理を行うことによって、RGBの高解像度画像を、YCbCrの高解像度画像に変換し、撮影画像として、画像処理部１２に出力する。
その後、処理は、ステップＳ１８からステップＳ１９に進み、画像処理部１２は、現像処理部３５からの高解像度画像である撮影画像を用いて、顔認証（による個人認証）を行い、処理は、ステップＳ２０に進む。
ステップＳ２０では、画像処理部１２は、高解像度画像を用いた顔認証が成功したかどうかを判定する。
ステップＳ２０において、顔認証が成功していないと判定された場合、すなわち、高解像度画像に映る顔が、スマートフォンとしての電子機器システムの所有者（特定の個人）の顔でない場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ２０において、顔認証が成功したと判定された場合、すなわち、高解像度画像に映る顔が、スマートフォンとしての電子機器システムの所有者の顔である場合、処理は、ステップＳ２１に進む。
ステップＳ２１では、スマートフォンとしての電子機器システムは、スマートフォン本来の動作を開始し、処理は、ステップＳ２２に進む。
ステップＳ２２では、スマートフォンとしての電子機器システムは、スリープ状態となるスリープ条件が満たされるかどうかを判定する。
ここで、スリープ条件としては、例えば、スマートフォンとしての電子機器システムの電源ボタンが、スリープ状態になるように操作されたことや、スマートフォンとしての電子機器システムに対して、一定時間以上、操作がされなかったこと等を採用することができる。
ステップＳ２２において、スリープ条件が満たされないと判定された場合、処理は、ステップＳ２２に戻る。
また、ステップＳ２２において、スリープ条件が満たされると判定された場合、処理は、ステップＳ２３に進み、スマートフォンとしての電子機器システムは、スリープ状態となって、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
以上のように、図３のフローチャートにしたがった処理によれば、イメージセンサ２１は、イメージセンサ２１が出力する画像（低解像度画像）に、設定被写体が存在しない間は、低消費電力モードで動作し、設定被写体の存在が確認されると、通常モードで動作を開始する。
したがって、イメージセンサ２１が、設定被写体の存在に関係なく、常に、通常モードで動作する場合に比較して、画像処理部１２による顔認証の実行を待機している間のイメージセンサ２１の消費電力を大幅に低減することができる。その結果、バッテリ１３（図１）の持ち時間を向上させることができる。
本件発明者が行ったシミュレーションによれば、低消費電力モードで、顔認証の実行を待機する場合では、イメージセンサ２１の消費電力が、通常モードで、顔認証の実行を待機する場合の約1/40（例えば、1.5mW程度）に低減されることが確認された。
また、図３のフローチャートにしたがった処理によれば、低消費電力モードで撮影される低解像度画像に、設定被写体の存在が確認された場合には、通常モードで高解像度画像が撮影され、その高解像度画像を用いて顔認証が行われる。したがって、高精度の顔認証を行うことができる。
図４は、図１の電子機器システムが、顔認証を行う場合の処理の例を、さらに説明する図である。
図４のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図４のＡでは、イメージセンサ２１で撮影される画像の画角内に、顔認証の対象である（個体の制限がない）顔（頭部）が存在する。
図４のＢは、イメージセンサ２１で、図４のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図４のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
被写体有無検出部３２では、顔認証の対象である頭部（顔）を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての頭部の有無を検出する検出処理が行われる。
ここで、低解像度画像から、設定被写体としての頭部の有無を検出する検出処理としては、例えば、低解像度画像の中心付近からの、楕円形又は矩形の物体の検出と、低解像度画像の外縁に向かう肩の構造の検出とを行う処理等の簡易な処理を採用することができる。低解像度画像を対象とする検出処理では、特定の人の頭部を検出する必要はなく、任意の人の頭部の存在を検出することができれば良いからである。
上述のような、楕円形又は矩形の物体の検出と、低解像度画像の外縁に向かう肩の構造の検出とによれば、16×9画素程度の低解像度画像からであっても、イメージセンサ２１の動作モードの設定（切り替え）には、十分な精度で、頭部を検出することができる。
なお、低解像度画像から、設定被写体の有無を検出する検出処理のアルゴリズムは、特に限定されるものではない。例えば、低解像度画像から、設定被写体としての頭部の有無を検出する検出処理では、肩の構造の検出を行わずに、低解像度画像に頭部が映っているかどうかを判定する学習型アルゴリズム等に従って、設定被写体としての頭部の有無を検出することができる。
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての頭部の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、顔認証が行われる。
図５は、図１の電子機器システムが、虹彩認証を行う場合の処理の例を説明する図である。
図５のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図５のＡでは、イメージセンサ２１で撮影される画像の画角内に、虹彩認証の対象である目が存在する。
図５のＢは、イメージセンサ２１で、図５のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図５のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
被写体有無検出部３２では、虹彩認証の対象である目を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての目の有無を検出する検出処理が行われる。
ここで、低解像度画像から、設定被写体としての目の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人の目を検出する必要はなく、任意の人の目の存在を検出することができれば良いからである。
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての目の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、虹彩認証が行われる。
図６は、図１の電子機器システムが、掌紋認証を行う場合の処理の例を説明する図である。
図６のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図６のＡでは、イメージセンサ２１で撮影される画像の画角内に、掌紋認証の対象である手が存在する。
図６のＢは、イメージセンサ２１で、図６のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図６のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
被写体有無検出部３２では、掌紋認証の対象である手を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての手の有無を検出する検出処理が行われる。
ここで、低解像度画像から、設定被写体としての手の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人の手を検出する必要はなく、任意の人の手の存在を検出することができれば良いからである。
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての手の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、掌紋認証が行われる。
図７は、例えば、図１の電子機器システムが有料駐車場の監視カメラであり、不正駐車に対処するために、駐車を行った自動車のナンバープレートを記録する場合の処理の例を説明する図である。
図７のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図７のＡでは、イメージセンサ２１で撮影される画像の画角内に、記録の対象である自動車が存在する。
図７のＢは、イメージセンサ２１で、図７のＡの画角内の様子が撮影される場合の、監視カメラとしての電子機器システムの処理を示す図である。
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図７のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
被写体有無検出部３２では、記録の対象である自動車を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての自動車の有無を検出する検出処理が行われる。
ここで、低解像度画像から、設定被写体としての自動車の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の自動車を検出する必要はなく、任意の自動車の存在を検出することができれば良いからである。
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての自動車の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像の記録（録画）が行われる。
なお、この場合、高解像度画像の記録については、例えば、高解像度画像に映る自動車が存在しなくなるまで（高解像度画像に自動車が映らなくなるまで）、高解像度画像を、動画で録画することや、高解像度画像を、静止画で、１枚又は複数枚記録することができる。そして、高解像度画像に自動車が映らなくなった場合等に、イメージセンサ２１の動作モードを、低消費電力モードに戻すことができる。
図８は、例えば、図１の電子機器システムが住宅の監視カメラであり、不審者を記録する場合の処理の例を説明する図である。
図８のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図８のＡでは、イメージセンサ２１で撮影される画像の画角内に、記録の対象である人が存在する。
図８のＢは、イメージセンサ２１で、図８のＡの画角内の様子が撮影される場合の、監視カメラとしての電子機器システムの処理を示す図である。
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図８のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
被写体有無検出部３２では、記録の対象である人を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての人の有無を検出する検出処理が行われる。
ここで、低解像度画像から、設定被写体としての人の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人を検出する必要はなく、任意の人の存在を検出することができれば良いからである。
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての人の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像の記録（録画）が行われる。
なお、この場合、高解像度画像の記録については、例えば、高解像度画像に映る人が存在しなくなるまで（高解像度画像に人が映らなくなるまで）、高解像度画像を、動画で録画することや、高解像度画像を、静止画で、１枚又は複数枚記録することができる。そして、高解像度画像に人が映らなくなった場合等に、イメージセンサ２１の動作モードを、低消費電力モードに戻すことができる。
＜カメラシステム１１の他の構成例＞
図９は、図１のカメラシステム１１の他の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図９において、カメラシステム１１は、イメージセンサ２１、制御部２２、照度センサ５１、及び、動作制御部５２を有する。
したがって、図９のカメラシステム１１は、イメージセンサ２１及び制御部２２を有する点で、図２の場合と共通する。
但し、図９のカメラシステム１１は、照度センサ５１及び動作制御部５２が新たに設けられている点で、図２の場合と相違する。
照度センサ５１は、カメラシステム１１の周囲（イメージセンサ２１で撮影が行われる範囲）の照度をセンシングし、動作制御部５２に供給する。
動作制御部５２は、照度センサ５１からの周囲の照度に応じて、イメージセンサ２１及び制御部２２の動作を制御する。
すなわち、周囲の照度が閾値以上でない場合、すなわち、例えば、周囲の照度が、被写体有無検出部３２で検出処理を行うことが可能な明るさの低解像度画像を撮影することができる程度の照度でない場合、動作制御部５２は、動作を停止するように（極力、処理を行わないが、迅速に、処理を開始することが可能な状態となるように）、イメージセンサ２１及び制御部２２を制御し、イメージセンサ２１及び制御部２２の動作を停止させる。
また、周囲の照度が閾値以上である場合、すなわち、例えば、周囲の照度が、被写体有無検出部３２で検出処理を行うことが可能な程度の明るさの低解像度画像を撮影することができる程度の照度である場合、動作制御部５２は、動作を開始するように、イメージセンサ２１及び制御部２２を制御し、イメージセンサ２１及び制御部２２の動作を開始させる。
イメージセンサ２１及び制御部２２が動作を開始すると、図２の場合と同様に、制御部２２のモード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定し、イメージセンサ２１は、低消費電力モードでの低解像度画像の撮影を開始する。また、制御部２２では、被写体有無検出部３２が、イメージセンサ２１が低消費電力モードで撮影する低解像度画像を対象とする検出処理を開始する。
図１０は、例えば、図９のカメラシステム１１を有する電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォンが、ロックを解除して、スマートフォン本来の処理を行う場合の処理の例を説明するフローチャートである。
ステップＳ４１において、動作制御部５２は、照度センサ５１から供給される周囲の照度が閾値以上であるかどうかを判定し、閾値以上でないと判定した場合、処理は、ステップＳ４１に戻り、以下、同様の処理を繰り返す。
ステップＳ４１の処理の間、動作制御部５２は、イメージセンサ２１及び制御部２２の動作を停止させる。
一方、ステップＳ４１において、動作制御部５２は、照度センサ５１から供給される周囲の照度が閾値以上であると判定された場合、動作制御部５２は、イメージセンサ２１及び制御部２２の動作を開始させ、処理は、ステップＳ４２に進む。
ステップＳ４２ないしＳ５４では、図３のステップＳ１１ないしＳ２３とそれぞれ同様の処理が行われる。
そして、ステップＳ５４において、スマートフォンとしての電子機器システムが、スリープ状態となると、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
以上のように、図１０のフローチャートにしたがった処理によれば、イメージセンサ２１及び制御部２２は、周囲の照度が閾値以上でない場合には、動作を停止しており、周囲の照度が閾値以上になると、動作を開始して、図３の場合と同様の処理を行う。
照度センサ５１の消費電力（例えば、数μW）は、低消費電力モードのイメージセンサ２１の消費電力（例えば、1.5mW程度）よりも十分に低く、したがって、図１０のフローチャートにしたがった処理によれば、図３の場合よりも、さらに、イメージセンサ２１の消費電力を低減することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した制御部２２や画像処理部１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
図１１は、一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成することができる。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成することができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を備える、前記イメージセンサの制御装置。
＜２＞
前記高解像度の画像を用いて、認証が行われる
＜１＞に記載の制御装置。
＜３＞
前記高解像度画像の記録が行われる
＜１＞に記載の制御装置。
＜４＞
前記イメージセンサは、周囲の照度が閾値以上である場合、動作を開始する
＜１＞ないし＜３＞のいずれかに記載の制御装置。
＜５＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることと
を含む、前記イメージセンサの制御方法。
＜６＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
して、コンピュータを機能させるためのプログラム。
＜７＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、
前記イメージセンサを制御する制御部と
を備え、
前記制御部は、
前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を有する
電子機器システム。
１１ カメラシステム， １２ 画像処理部， １３ バッテリ， ２１ イメージセンサ， ２２ 制御部， ３１ 選択部， ３２ 被写体有無検出部， ３３ モード設定部， ３４ 露光制御部， ３５ 現像処理部， ５１ 照度センサ， ５２ 動作制御部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (7)

  1. 低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
    前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
    を備える、前記イメージセンサの制御装置。
  2. 前記高解像度の画像を用いて、認証が行われる
    請求項１に記載の制御装置。
  3. 前記高解像度画像の記録が行われる
    請求項１に記載の制御装置。
  4. 前記イメージセンサは、周囲の照度が閾値以上である場合、動作を開始する
    請求項１に記載の制御装置。
  5. 低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、
    前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることと
    を含む、前記イメージセンサの制御方法。
  6. 低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
    前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
    して、コンピュータを機能させるためのプログラム。
  7. 低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、
    前記イメージセンサを制御する制御部と
    を備え、
    前記制御部は、
    前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
    前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
    を有する
    電子機器システム。
JP2017057019A 2017-03-23 2017-03-23 制御装置、制御方法、プログラム、及び、電子機器システム Pending JP2018160799A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017057019A JP2018160799A (ja) 2017-03-23 2017-03-23 制御装置、制御方法、プログラム、及び、電子機器システム
CN201880005053.9A CN110073654B (zh) 2017-03-23 2018-03-09 控制设备、控制方法、计算机存储介质以及电子装置系统
CN202210769993.3A CN115150554A (zh) 2017-03-23 2018-03-09 用于图像传感器的控制方法、控制设备以及电子装置系统
US16/469,670 US11196922B2 (en) 2017-03-23 2018-03-09 Control apparatus, control method, program, and electronic device system that provide low power consumption
EP18770205.5A EP3606035A4 (en) 2017-03-23 2018-03-09 CONTROL DEVICE, CONTROL METHOD, PROGRAM AND ELECTRONIC DEVICE SYSTEM
PCT/JP2018/009149 WO2018173792A1 (ja) 2017-03-23 2018-03-09 制御装置、制御方法、プログラム、及び、電子機器システム
US17/488,063 US20220021816A1 (en) 2017-03-23 2021-09-28 Control apparatus, control method, program, and electronic device system that provide low power consumption

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017057019A JP2018160799A (ja) 2017-03-23 2017-03-23 制御装置、制御方法、プログラム、及び、電子機器システム

Publications (1)

Publication Number Publication Date
JP2018160799A true JP2018160799A (ja) 2018-10-11

Family

ID=63585984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017057019A Pending JP2018160799A (ja) 2017-03-23 2017-03-23 制御装置、制御方法、プログラム、及び、電子機器システム

Country Status (5)

Country Link
US (2) US11196922B2 (ja)
EP (1) EP3606035A4 (ja)
JP (1) JP2018160799A (ja)
CN (2) CN110073654B (ja)
WO (1) WO2018173792A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020230340A1 (ja) 2019-05-13 2020-11-19 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
JP2022174875A (ja) * 2021-05-12 2022-11-25 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
US11565707B2 (en) 2020-03-05 2023-01-31 Honda Motor Co., Ltd. Occupant behavior determining apparatus, occupant behavior determining method, and storage medium
WO2023032274A1 (ja) * 2021-08-31 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
US20230093198A1 (en) * 2021-09-17 2023-03-23 Aptiv Technologies Limited Vehicle video conferencing system
JP7358263B2 (ja) 2020-02-12 2023-10-10 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7427463B2 (ja) 2020-02-12 2024-02-05 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003826A1 (ja) 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム
US10963745B2 (en) * 2018-11-21 2021-03-30 Intel Corporation Real time adaptive training face detection for ultra low power always on architecture
US10999495B1 (en) * 2019-11-05 2021-05-04 Valuedata Co., Ltd. Internet of things-based indoor selfie-supporting camera system
CN111464679B (zh) * 2020-04-09 2021-05-25 Oppo广东移动通信有限公司 电子设备及其监控方法
JP7008104B2 (ja) * 2020-06-22 2022-01-25 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
CN112532870B (zh) * 2020-11-09 2021-11-30 福建福瑞康信息技术有限公司 多终端自适应数据处理系统、方法及计算机可读存储介质
CN113411476A (zh) * 2021-06-10 2021-09-17 蔚来汽车科技(安徽)有限公司 图像传感器控制装置、方法、存储介质和可移动对象
CN115460362A (zh) * 2022-11-08 2022-12-09 之江实验室 一种分辨率可重构视觉传感器
CN118116117A (zh) * 2022-11-30 2024-05-31 荣耀终端有限公司 人群识别方法、设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
JP2001186387A (ja) * 1999-12-24 2001-07-06 Victor Co Of Japan Ltd 監視カメラ端末
JP2004094412A (ja) * 2002-08-29 2004-03-25 Mitsubishi Heavy Ind Ltd 車両検知・車番認識システム
JP4324170B2 (ja) * 2005-03-17 2009-09-02 キヤノン株式会社 撮像装置およびディスプレイの制御方法
JP5587547B2 (ja) * 2008-09-17 2014-09-10 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置
US20130016262A1 (en) * 2011-07-14 2013-01-17 Majewicz Peter I Imager exposure control
JP5853521B2 (ja) * 2011-09-14 2016-02-09 株式会社リコー 画像形成装置及び電力制御方法
KR101796481B1 (ko) * 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
US9320019B2 (en) * 2011-12-23 2016-04-19 Maxlinear, Inc. Method and system for channel allocation and bandwidth management in a WiFi device that utilizes full spectrum capture
JP6062175B2 (ja) * 2012-07-25 2017-01-18 京セラ株式会社 携帯端末、省電力制御プログラムおよび省電力制御方法
EP2770783B1 (en) * 2013-02-21 2018-06-20 Apple Inc. A wearable information system having at least one camera
KR101497814B1 (ko) * 2013-07-02 2015-03-02 주식회사 동양유니텍 근거리 무선통신을 이용한 통행자 감시 장치 및 방법
KR102305578B1 (ko) * 2013-08-23 2021-09-27 삼성전자 주식회사 단말의 모드 변경 방법 및 장치
US9357150B2 (en) * 2013-12-03 2016-05-31 Capso Vision Inc. Image sensor with integrated power conservation control
KR102205702B1 (ko) * 2014-07-30 2021-01-21 삼성전자주식회사 이미지 센서 및 이미지 센서를 구동하는 방법, 그리고 이를 이용한 영상 촬영 장치
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
CN104410785B (zh) * 2014-11-17 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
KR102304693B1 (ko) * 2015-02-12 2021-09-28 삼성전자주식회사 카메라 시스템의 제어 방법, 전자 장치 및 저장 매체

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020230340A1 (ja) 2019-05-13 2020-11-19 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
JP7358263B2 (ja) 2020-02-12 2023-10-10 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7427463B2 (ja) 2020-02-12 2024-02-05 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
US11565707B2 (en) 2020-03-05 2023-01-31 Honda Motor Co., Ltd. Occupant behavior determining apparatus, occupant behavior determining method, and storage medium
JP2022174875A (ja) * 2021-05-12 2022-11-25 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
JP7218397B2 (ja) 2021-05-12 2023-02-06 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
WO2023032274A1 (ja) * 2021-08-31 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
US20230093198A1 (en) * 2021-09-17 2023-03-23 Aptiv Technologies Limited Vehicle video conferencing system

Also Published As

Publication number Publication date
CN110073654B (zh) 2022-07-26
US11196922B2 (en) 2021-12-07
WO2018173792A1 (ja) 2018-09-27
US20200084388A1 (en) 2020-03-12
CN110073654A (zh) 2019-07-30
CN115150554A (zh) 2022-10-04
US20220021816A1 (en) 2022-01-20
EP3606035A1 (en) 2020-02-05
EP3606035A4 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
WO2018173792A1 (ja) 制御装置、制御方法、プログラム、及び、電子機器システム
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
US9986171B2 (en) Method and apparatus for dual exposure settings using a pixel array
US10187566B2 (en) Method and device for generating images
JP2007004723A (ja) セキュリティシステム、制御プログラム、およびコンピュータ読取可能な記録媒体、電子機器、クレイドル
JP2010041435A (ja) 撮像装置及びその制御方法
JPWO2016125352A1 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US20220303450A1 (en) Electronic device for providing image processing service through network
US11223761B2 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
EP3576012B1 (en) Video capturing system and network system to support privacy mode
US10904452B2 (en) Method of generating composite image using plurality of images with different exposure values and electronic device supporting the same
US10009545B2 (en) Image processing apparatus and method of operating the same
JP2007249589A (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
CN112055152B (zh) 摄像装置
JP5016999B2 (ja) 撮像装置、撮像方法、及びプログラム
KR102628414B1 (ko) 프라이버시 모드를 지원하는 영상 촬영 시스템 및 네트워크 시스템
JP7054492B2 (ja) 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置
JP6203007B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.
CN110225239A (zh) 电子设备及其控制方法和存储介质
KR20100018331A (ko) 사람 찾기 기능을 갖는 디지털 촬영 장치의 제어 방법 및상기 방법에 의해 제어되는 디지털 촬영 장치
JP2004208157A (ja) 撮影装置
KR20100018332A (ko) 촬영한 영상을 분리 저장하는 디지털 촬영 장치의 제어방법 및 상기 방법에 의해 제어되는 디지털 촬영 장치
KR20160089620A (ko) 하이브리드 촬영 모듈, 그리고 이를 이용한 하이브리드 촬영 방법
JP2016039394A (ja) 撮像装置、撮像装置の制御方法およびコンピュータプログラム