JP2018182403A - 電子機器、および、電子機器の制御方法 - Google Patents

電子機器、および、電子機器の制御方法 Download PDF

Info

Publication number
JP2018182403A
JP2018182403A JP2017074928A JP2017074928A JP2018182403A JP 2018182403 A JP2018182403 A JP 2018182403A JP 2017074928 A JP2017074928 A JP 2017074928A JP 2017074928 A JP2017074928 A JP 2017074928A JP 2018182403 A JP2018182403 A JP 2018182403A
Authority
JP
Japan
Prior art keywords
unit
light emission
light
period
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017074928A
Other languages
English (en)
Inventor
久美子 馬原
Kumiko Umahara
久美子 馬原
祐介 森山
Yusuke Moriyama
祐介 森山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017074928A priority Critical patent/JP2018182403A/ja
Priority to PCT/JP2018/005006 priority patent/WO2018186019A1/ja
Priority to US16/491,299 priority patent/US10897588B2/en
Publication of JP2018182403A publication Critical patent/JP2018182403A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】発光部と固体撮像素子とを設けた電子機器において、ノイズを抑制する。【解決手段】電子機器は、撮像部、禁止期間設定部、および、発光部を具備する。電子機器において撮像部は、画像データを撮像する。発光部は、照射光を発光する。禁止期間設定部は、照射光の発光の開始または停止により撮像部内にノイズが生じる期間を禁止期間として設定する。発光制御部は、禁止期間内における前記発光の開始および停止を禁止するよう前記発光部を制御する。【選択図】図２

Description

本技術は、電子機器、および、電子機器の制御方法に関する。詳しくは、間欠光を照射する発光部と固体撮像素子とを設けた電子機器、および、電子機器の制御方法に関する。
従来より、測距機能を持つ電子機器において、ＴｏＦ（Time of Flight）方式と呼ばれる測距方式がよく用いられている。このＴｏＦ方式は、サイン波や矩形波などの間欠光を電子機器から物体に照射し、その照射光に対する反射光を受光して、照射光と反射光との位相差から距離を測定する方式である。例えば、このＴｏＦ方式を用いた測距センサにより、一定の間隔でデプスマップを生成する遊具装置が提案されている（例えば、特許文献１参照。）。
特開２０００−２７８５９４号公報
上述の従来技術では、現在のデプスマップと過去のデプスマップとの差分から、被写体の動きなどを検出することができる。しかし、測距に加えて画像認識なども行う際には、画像データの撮像も必要になる。この画像データの撮像のために、電子機器に固体撮像素子をさらに追加すると、測距センサ内の発光部が発光を開始または停止する際に電圧、電流や磁界が変動し、その電圧等の変動に起因して固体撮像素子にノイズが生じるおそれがある。固体撮像素子と測距センサとの電源を分離したり、電源系統に高抵抗を挿入すれば、電圧変動によるノイズを低減することができるが、回路規模やコストが増大するおそれがあり、望ましくない。
本技術はこのような状況に鑑みて生み出されたものであり、発光部と固体撮像素子とを設けた電子機器において、ノイズを抑制することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像データを撮像する撮像部と、照射光を発光する発光部と、上記照射光の発光の開始または停止により上記撮像部内にノイズが生じる期間を禁止期間として設定する禁止期間設定部と上記禁止期間内における上記発光の開始および停止を禁止するよう上記発光部を制御する発光制御部とを具備する電子機器、および、その制御方法である。これにより、発光の開始または停止により撮像部内にノイズの生じる期間が禁止期間として設定され、その禁止期間において、発光の開始および停止が禁止されるという作用をもたらす。
また、この第１の側面において、上記発光制御部は、上記発光部において上記発光が行われている時間を計時し、所定時間を計時したときに上記発光を停止させるよう制御してもよい。これにより、所定時間が計時されたときに発光が停止するという作用をもたらす。
また、この第１の側面において、上記発光制御部は、計時中に上記禁止期間の開始時刻になった場合には上記禁止期間に亘って上記計時を中断するとともに上記発光部に発光を中断させてもよい。これにより、禁止期間内は計時および発光が中断するという作用をもたらす。
また、この第１の側面において、上記発光部は、計時中に上記禁止期間の開始時刻になった場合には上記禁止期間に亘って上記発光部に発光を継続させ、上記禁止期間の終了時刻になったときに上記発光部に発光を停止させてもよい。これにより、禁止期間内に発光が継続するという作用をもたらす。
また、この第１の側面において、前記発光制御部は、計時中または前記禁止期間に亘って前記発光部に発光させてもよい。これにより、計時中または前記禁止期間に亘って照射光が発光されるという作用をもたらす。
また、この第１の側面において、上記撮像部および上記発光部は、同一の基板に設けられていてもよい。これにより、同一の基板に設けられた撮像部および発光部により撮像および発光が行われるという作用をもたらす。
また、この第１の側面において、上記撮像部および上記禁止期間設定部は、固体撮像素子内に設けられてもよい。これにより、固体撮像素子内において禁止期間が設定されるという作用をもたらす。
また、この第１の側面において、上記撮像部は、固体撮像素子内に設けられ、上記禁止期間設定部は、上記固体撮像素子の外部に設けられてもよい。これにより、固体撮像素子外において禁止期間が設定されるという作用をもたらす。
また、この第１の側面において、上記画像データは、画素データからなり、上記撮像部は、所定のサンプリング期間においてアナログ信号をデジタル信号に変換して上記画素データを生成し、上記禁止期間は、上記サンプリング期間を含むものであってもよい。これにより、サンプリング期間を含む禁止期間内において発光の開始および停止が禁止されるという作用をもたらす。
また、この第１の側面において、上記照射光に対する反射光を受光する受光部と、上記照射光と上記反射光との位相差に基づいて距離を演算する測距演算部と
をさらに具備してもよい。これにより、距離が演算されるという作用をもたらす。
また、この第１の側面において、上記距離に基づいて上記画像データに所定のデータを合成する画像合成部をさらに具備してもよい。これにより、画像データにデータが合成されるという作用をもたらす。
本技術によれば、発光部と固体撮像素子とを設けた電子機器において、ノイズを抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における電子機器の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における禁止期間設定部の一構成例を示すブロック図である。 本技術の第１の実施の形態における測距モジュールの一構成例を示すブロック図である。 本技術の第１の実施の形態における発光制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるパルス期間調整部の一構成例を示すブロック図である。 本技術の第１の実施の形態における発光イネーブル信号生成部の動作の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における測距モジュールの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における画像データの一例である。 本技術の第１の実施の形態における距離画像の一例である。 本技術の第１の実施の形態における合成画像データの一例である。 本技術の第１の実施の形態における電子機器の動作の一例を示すシーケンス図である。 本技術の第１の実施の形態における発光処理の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例における発光制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態の変形例における発光継続制御部の動作の一例を示す図である。 本技術の第１の実施の形態の変形例における測距モジュールの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態の変形例における測距モジュールの別の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態における測距モジュールの一構成例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（禁止期間内に発光を中断させる例）
２．第２の実施の形態（測距モジュールが禁止期間を設定し、禁止期間内に発光を中断させる例）
３．移動体への応用例
＜１．第１の実施の形態＞
［電子機器の構成例］
図１は、本技術の実施の形態における電子機器１００の一構成例を示すブロック図である。この電子機器１００は、基板１１０および表示部１２０を備える。基板１１０には、電源回路１１１、固体撮像素子２００、測距モジュール３００および画像合成部１１２が設けられる。電子機器１００としては、スマートフォンやパーソナルコンピュータが想定される。
電源回路１１１は、基板１１０内の回路に電源を供給するものである。この電源回路１１１は、例えば、固体撮像素子２００に信号線１２８を介して電源電圧ＶＤＤ１を供給し、測距モジュール３００に信号線１２９を介して電源電圧ＶＤＤ２を供給する。
固体撮像素子２００は、有効画像期間内に画像データを撮像するものである。この固体撮像素子２００は、撮像した画像データを信号線２０９を介して画像合成部１１２に供給する。また、固体撮像素子２００は、有効画像期間内の所定期間を禁止期間として設定し、その禁止期間を示す禁止信号ＮＧを生成して測距モジュール３００に信号線２０８を介して供給する。
ここで、有効画像期間は、垂直同期信号の周期内において画素信号が読み出される期間である。また、垂直同期信号は、撮像の開始タイミングを示す所定周波数（例えば、３０ヘルツ）の周期信号である。
また、禁止期間は、測距モジュール３００による間欠的なパルス光の発光の開始および停止を禁止する期間である。この禁止期間として、その期間内に電圧や電流が大きく変動すると固体撮像素子２００にノイズが生じるおそれのある期間が設定される。測距モジュール３００が発光を開始または停止すると、そのモジュール内の回路の電圧、電流や磁界が変動し、その電圧等の変動が電源回路１１１等の電源系統を介して固体撮像素子２００に伝播してしまう。そして、例えば、アナログ信号をデジタル信号に変換するサンプリング期間において、電圧等の変動が生じると、その変動に起因して固体撮像素子２００においてノイズが発生するおそれがある。このノイズを抑制するために、固体撮像素子２００は、サンプリング期間と、その前後のマージン期間とからなる期間を禁止期間として設定する。
測距モジュール３００は、ＴｏＦ方式を用いて被写体までの距離を測定するものである。ただし、測距モジュール３００は、禁止期間内においてパルス光の発光を中断する。同一の基板１１０に固体撮像素子２００および測距モジュール３００を設けると、電源系統が共通となるために電圧変動が伝播しやすいが、禁止期間内のパルス光の中断により、その電圧変動に起因するノイズを抑制することができる。そして、測距モジュール３００は、測距した距離を示す距離情報を生成し、画像合成部１１２に信号線３０９を介して供給する。
画像合成部１１２は、距離情報に基づいて、画像データに所定のデータを合成して合成画像データを生成するものである。画像合成部１１２は、合成画像データを表示部１２０に信号線１１９を介して供給する。
表示部１２０は、合成画像データを表示するものである。例えば、液晶パネルなどが表示部１２０として用いられる。
なお、電子機器１００は、合成画像データを表示部１２０に表示しているが、記録部をさらに設けて合成画像データを記録してもよい。また、電子機器１００は、通信部をさらに設けて合成画像データを外部に送信してもよい。
また、電子機器１００では、固体撮像素子２００および測距モジュール３００を同一の基板１１０に設けているが、これらを別々の基板に設けてもよい。ただし、固体撮像素子２００と測距モジュール３００との位置が近い方が互いの取得データにずれが無く、また、コストの低減や製品の小型化が容易となるため、同一の基板上に設けることが望ましい。
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、撮像部２０５および禁止期間設定部２７０を備える。
撮像部２０５は、有効画像期間内に画像データを撮像するものである。この撮像部２０５は、ドライバ２１０、画素アレイ部２２０、タイミング制御部２３０、カラムＡＤＣ２４０、信号処理部２５０および垂直同期信号生成部２６０を備える。
垂直同期信号生成部２６０は、垂直同期信号ＶＳＹＮＣ１を生成するものである。この垂直同期信号生成部２６０は、例えば、フレーム同期信号ＦＳＹＮＣ１を逓倍して垂直同期信号ＶＳＹＮＣ１を生成する。垂直同期信号生成部２６０として、例えば、カウンタやＰＬＬ（Phase Locked Loop）が用いられる。ここで、フレーム同期信号ＦＳＹＮＣ１は、複数枚の画像データ（フレーム）を撮像する期間を示す信号である。垂直同期信号生成部２６０は、生成した垂直同期信号ＶＳＹＮＣ１をタイミング制御部２３０および禁止期間設定部２７０に信号線２６９を介して供給する。なお、垂直同期信号生成部２６０は、水晶発振器からの発振信号を用いて垂直同期信号ＶＳＹＮＣ１を生成することもできる。
タイミング制御部２３０は、垂直同期信号ＶＳＹＮＣ１に同期してドライバ２１０、カラムＡＤＣ２４０および信号処理部２５０を制御するものである。このタイミング制御部２３０は、垂直同期信号ＶＳＹＮＣ１から水平同期信号ＨＳＹＮＣ１を生成し、ドライバ２１０に信号線２３７を介して供給する。この水平同期信号ＨＳＹＮＣ１は、画像データ内のラインを読み出すタイミングを示す信号である。
ドライバ２１０は、水平同期信号ＨＳＹＮＣ１に同期して画素アレイ部２２０を駆動するものである。このドライバ２１０として、例えば、シフトレジスタが用いられる。
画素アレイ部２２０には、二次元格子状に複数の画素２２１が配列される。以下、所定の方向に配列された画素２２１の集合を「行」または「ライン」と称し、その行に垂直な方向に配列された画素２２１の集合を「列」と称する。
画素２２１は、ドライバ２１０の制御に従って、光電変換によりアナログの画素信号を生成するものである。この画素２２１は、画素信号をカラムＡＤＣ２４０に出力する。この画素信号として、リセットレベルまたは信号レベルが出力される。リセットレベルは、画素２２１内の浮遊拡散層を初期化した際の電圧であり、信号レベルは、露光量に応じた電圧である。
カラムＡＤＣ２４０は、画素信号（信号レベルまたはリセットレベル）に対してＡＤ（Analog to Digital）変換を行うものである。このカラムＡＤＣ２４０には、画素アレイ部２２０の列ごとにＡＤＣ（Analog to Digital Converter）が設けられる。それぞれのＡＤＣは、列に対応する画素信号をデジタルの画素データに変換（言い換えれば、サンプリング）して信号処理部２５０に供給する。
信号処理部２５０は、画素データに対して所定の信号処理を実行するものである。この信号処理部２５０は、例えば、リセットレベルと信号レベルとの差分を正味の画素データとして演算するＣＤＳ（Correlated Double Sampling）処理を実行する。そして、信号処理部２５０は、画素データのそれぞれを画像合成部１１２に出力する。
禁止期間設定部２７０は、垂直同期信号ＶＳＹＮＣ１の周期内の有効画像期間内において、所定期間を禁止期間として設定するものである。この禁止期間設定部２７０は、禁止期間を示す禁止信号ＮＧを生成して測距モジュール３００に出力する。例えば、禁止期間においてイネーブルであり、それ以外の期間においてディセーブルの信号が禁止信号ＮＧとして出力される。
なお、禁止期間設定部２７０は、垂直同期信号ＶＳＹＮＣ１に同期して禁止期間を設定しているが、この構成に限定されない。例えば、タイミング制御部２３０が水平同期信号ＨＳＹＮＣ１を禁止期間設定部２７０にも供給し、禁止期間設定部２７０が、水平同期信号ＨＳＹＮＣ１に同期して禁止信号ＮＧを設定してもよい。
［禁止期間設定部の構成例］
図３は、本技術の第１の実施の形態における禁止期間設定部２７０の一構成例を示すブロック図である。この禁止期間設定部２７０は、レジスタ２７１、制御回路２７２およびカウンタ２７３を備える。
レジスタ２７１は、禁止期間を示す設定情報を保持するものである。例えば、禁止期間の開始時刻を示すカウンタ値Ｎｓ１と、禁止期間の終了時刻を示すカウンタ値Ｎｅ１とが設定情報として保持される。これらの開始時刻および終了時刻は、例えば、垂直同期信号ＶＳＹＮＣ１の立上りのタイミングからの相対時刻により表される。立上りのタイミングから「１０」ミリ秒が経過したときに禁止期間が開始し、立上りのタイミングから「１１」ミリ秒が経過したときに終了する場合、例えば、「１０」ミリ秒を示すカウンタ値Ｎｓ１と、「１１」ミリ秒を示すカウンタ値Ｎｅ１とが保持される。なお、レジスタ２７１は、終了時刻を示すカウンタ値の代わりに、禁止期間の長さを示すカウンタ値を保持してもよい。
カウンタ２７３は、水平同期信号ＨＳＹＮＣ１より高い周波数のクロック信号に同期してカウンタ値を計数（言い換えれば、計時）するものである。
制御回路２７２は、レジスタ２７１の設定情報に基づいて禁止信号ＮＧを生成するものである。この制御回路２７２は、例えば、垂直同期信号ＶＳＹＮＣ１の立上りのタイミングでカウンタ２７３をリセットして計数（計時）を開始させる。そして、制御回路２７２は、カウンタ値を参照し、禁止期間の開始時刻に対応するＮｓ１になったときから、終了時刻に対応するＮｅ１になったときまでの間に亘って禁止信号ＮＧをイネーブルにする。それ以外の期間において制御回路２７２は、禁止信号ＮＧをディセーブルにする。
［測距モジュールの構成例］
図４は、本技術の第１の実施の形態における測距モジュール３００の一構成例を示すブロック図である。この測距モジュール３００は、発光制御部３１０、発光部３５０、同期制御部３６０、受光部３７０および測距演算部３８０を備える。
同期制御部３６０は、発光制御部３１０と受光部３７０とを同期して動作させるものである。この同期制御部３６０は、所定周波数のタイミング信号を生成し、信号線３６９を介して発光制御部３１０および受光部３７０に供給する。この測距モジュール３００内のタイミング信号は、固体撮像素子２００内の同期信号（ＶＳＹＮＣ１など）と同期していないものとする。
発光制御部３１０は、禁止期間内における発光の開始および停止を禁止するよう発光部３５０を制御するものである。この発光制御部３１０は、所定の発光開始時刻に、発光イネーブル信号ＥＮの生成を開始するとともに発光時間の計時を開始する。ここで、発光イネーブル信号ＥＮは、パルス光を発光するか否かを発光部３５０に指示する周期信号であり、その周波数には、タイミング信号よりも高い値（例えば、５メガヘルツ）が設定される。
そして、発光制御部３１０は、発光開始時刻から一定時間を計時するまでに亘って発光イネーブル信号ＥＮを発光部３５０に信号線３１９を介して供給する。ただし、禁止信号ＮＧの示す禁止期間において、発光制御部３１０は、発光イネーブル信号ＥＮの生成と計時とを中断する。
発光部３５０は、発光制御部３１０の制御に従ってパルス光を照射光として発光するものである。パルス光として、例えば、可視光以外の光（赤外光など）が生成される。
受光部３７０は、タイミング信号に同期して照射光（パルス光）に対する反射光を受光するものである。この受光部３７０には、例えば、二次元格子状に複数の画素が配列され、それらの画素毎に画素データが生成される。受光部３７０は、画素データのそれぞれを測距演算部３８０に信号線３７９を介して供給する。
測距演算部３８０は、画素データに基づいて照射光と反射光との位相差を検出し、その位相差から距離を演算するものである。測距演算部３８０は、画素ごとに、距離を示す距離情報を生成し、それらの距離情報からなる距離画像（フレーム）を画像合成部１１２に信号線３０９を介して供給する。
なお、禁止期間においても受光部３７０が動作する構成としているが、禁止期間内に受光部３７０が受光動作を停止する構成であってもよい。この場合には、例えば、禁止信号ＮＧを受光部３７０にも供給すればよい。
また、発光制御部３１０および発光部３５０を測距モジュール３００内に設けているが、これらを測距モジュール３００以外のモジュールや回路に設けてもよい。
［発光制御部の構成例］
図５は、本技術の第１の実施の形態における発光制御部３１０の一構成例を示すブロック図である。この発光制御部３１０は、パルス期間調整部３２０および発光イネーブル信号生成部３３０を備える。
パルス期間調整部３２０は、パルス光の発光期間を調整するものである。このパルス期間調整部３２０は、所定の発光開始時刻に制御信号ＰＬＳをディセーブルからイネーブルにするとともに、計時を開始する。そして、パルス期間調整部３２０は、１フレーム分の測距に必要なパルス光の発光時間を計時したときに制御信号ＰＬＳをディセーブルに戻す。ただし、禁止信号ＮＧの示す禁止期間においてパルス期間調整部３２０は、発光時間の計時を中断する。このため、制御信号ＰＬＳがイネーブルである期間は、禁止期間の分だけ長くなる。例えば、１フレーム分の測距に「３０」ミリ秒の発光が必要であり、「３０」ミリ秒の計時中に禁止期間が「１」ミリ秒挿入される場合、「１」ミリ秒の間に亘って計時が中断するため、「３１」ミリ秒間に亘って制御信号ＰＬＳがイネーブルになる。パルス期間調整部３２０は、生成した制御信号ＰＬＳを発光イネーブル信号生成部３３０に信号線３２９を介して供給する。
発光イネーブル信号生成部３３０は、パルス期間調整部３２０の制御に従って発光イネーブル信号ＥＮを生成するものである。この発光イネーブル信号生成部３３０は、制御信号ＰＬＳがイネーブルである期間に亘って所定周波数の発光イネーブル信号ＥＮを生成し、発光部３５０に供給する。ただし、禁止期間において、発光イネーブル信号生成部３３０は、発光イネーブル信号ＥＮの生成を中断する。
［パルス期間調整部の構成例］
図６は、本技術の第１の実施の形態におけるパルス期間調整部３２０の一構成例を示すブロック図である。このパルス期間調整部３２０は、カウンタ３２１、レジスタ３２２、制御回路３２３、および、カウンタ３２４を備える。
レジスタ３２２は、パルス光の発光期間を示す設定情報を保持するものである。例えば、レジスタ３２２には、発光期間の発光開始時刻を示すカウンタ値Ｎｓ２と、発光期間の長さ（すなわち、発光時間）を示すカウンタ値Ｎｅ２とが保持される。発光開始時刻は、例えば、所定の基準タイミングからの相対時刻により表される。その基準タイミングから「１０」ミリ秒が経過したときに発光を開始させ、「３０」ミリ秒に亘って発光させる場合には、例えば、「１０」ミリ秒を示すカウンタ値Ｎｓ２と、「３０」ミリ秒を示すカウンタ値Ｎｅ２とが保持される。
カウンタ３２１および３２４は、水平同期信号ＨＳＹＮＣ１の周波数より高い周波数のクロック信号に同期してカウンタ値を計数（計時）するものである。カウンタ３２１は、現在時刻の計時に用いられる。一方、カウンタ３２４は、パルス光の発光時間の計時に用いられる。
制御回路３２３は、レジスタ３２２の設定情報に基づいて制御信号ＰＬＳを生成するものである。この制御回路３２３は、例えば、基準タイミングでカウンタ３２１をリセットして計数（計時）を開始させる。そして、制御回路３２３は、カウンタ３２１のカウンタ値を参照し、発光開始時刻に対応するＮｓ２になったときにカウンタ３２４をリセットして、発光時間の計時を開始させるとともに制御信号ＰＬＳをディセーブルからイネーブルにする。
そして、制御回路３２３は、カウンタ３２４のカウンタ値を参照し、発光時間に対応するカウンタ値Ｎｅ２になったときに制御信号ＰＬＳをディセーブルにする。ただし、カウンタ３２４による計時中において、禁止信号ＮＧがイネーブルになった場合に制御回路３２３は、その禁止信号ＮＧがディセーブルになるまでカウンタ３２４に計時を中断させる。
図７は、本技術の第１の実施の形態における発光イネーブル信号生成部３３０の動作の一例を示す図である。制御信号ＰＬＳがイネーブルであり、かつ、禁止信号ＮＧがディセーブルである場合に発光イネーブル信号生成部３３０は、発光イネーブル信号ＥＮを周期的に生成する。発光イネーブル信号ＥＮに従って発光部３５０はパルス光を発光する。
一方、制御信号ＰＬＳがディセーブルである場合、または、禁止信号ＮＧがイネーブルである場合に発光イネーブル信号生成部３３０は、発光イネーブル信号ＥＮを停止する。これにより、発光部３５０はパルス光の発光を停止する。
図８は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。例えば、タイミングＴ１において垂直同期信号ＶＳＹＮＣ１が立上り、タイミングＴ１からタイミングＴ２までがブランク期間に該当するものとする。また、タイミングＴ２からタイミングＴ３までが有効画像期間であり、タイミングＴ３からタイミングＴ４までがブランク期間であるものとする。これらのブランク期間において、禁止信号ＮＧはディセーブルに設定される。
そして、有効画像期間内のタイミングＴ２１に水平同期信号ＨＳＹＮＣ１が立上り、タイミングＴ２６までの間に１ライン（行）目の画素信号が読み出されるものとする。この場合に、禁止期間設定部２７０は、例えば、リセットレベルのサンプリング期間を含むタイミングＴ２２からＴ２３までの期間と、信号レベルのサンプリング期間を含むタイミングＴ２４からＴ２５までの期間とを禁止期間として設定する。
なお、サンプリング期間を含む期間を禁止期間として設定しているが、電圧等の変動により固体撮像素子２００にノイズが生じ得る期間であれば、サンプリング期間以外の期間を含む禁止期間を設定することもできる。例えば、固体撮像素子２００が、その固体撮像素子２００内のバッファメモリに画像データを書き込む期間や、画素２２１内の浮遊拡散層が電荷を電圧に変換する期間が禁止期間として想定される。また、水平同期信号ＨＳＹＮＣ１の周期内に禁止期間設定部２７０は、禁止期間を２回設定しているが、１回や３回以上の設定を行ってもよい。
図９は、本技術の第１の実施の形態における測距モジュール３００の動作の一例を示すタイミングチャートである。例えば、タイミングＴ５１やＴ５３に対応するカウンタ値Ｎｓ２が発光開始時刻を示す情報としてレジスタ３２２に設定されている。また、その発光開始時刻からの発光時間に対応するカウンタ値Ｎｅ２もレジスタ３２２に設定されている。
パルス期間調整部３２０は、タイミングＴ５１に、発光時間の計時を開始するとともに制御信号ＰＬＳをイネーブルにする。そして、カウンタ値がＮｅ２になったタイミングＴ５２において、パルス期間調整部３２０は、制御信号ＰＬＳをディセーブルにする。このタイミングＴ５１からＴ５２までの期間において禁止信号ＮＧはディセーブルであるため、計時は中断されない。図９の禁止信号ＮＧおよび制御信号ＰＬＳについて、イネーブルをハイレベルで表し、ディセーブルをローレベルで表している。なお、これらの信号について、逆にローレベルをイネーブルとしてもよい。
発光イネーブル信号生成部３３０は、制御信号ＰＬＳがイネーブルであるタイミングＴ５１からＴ５２までの期間に亘って発光イネーブル信号ＥＮを生成してパルス光を発光させる。そして、タイミングＴ５２以降において、１フレーム分の測距情報が読み出される。
また、パルス期間調整部３２０は、タイミングＴ５３に、発光時間の計時を開始するとともに制御信号ＰＬＳをイネーブルにする。禁止信号ＮＧは、タイミングＴ５４からＴ５５までの期間と、タイミングＴ５６からＴ５８まで期間とに亘ってイネーブルに設定される。このため、これらの禁止期間に亘ってパルス期間調整部３２０は計時を中断する。計時を中断したため、禁止期間が無い場合にはタイミングＴ５７にカウンタ値がＮｅ２になり計時が終了するはずであったが、その後のタイミングＴ５９まで計時の終了タイミングが延びる。パルス期間調整部３２０は、タイミングＴ５９に制御信号ＰＬＳをディセーブルにする。
発光イネーブル信号生成部３３０は、制御信号ＰＬＳがイネーブルのＴ５３からＴ５９までの期間において発光イネーブル信号ＥＮを生成してパルス光を発光させる。ただし、タイミングＴ５４からＴ５５までの禁止期間と、タイミングＴ５６からＴ５８までの禁止期間とにおいて、発光イネーブル信号生成部３３０は発光イネーブル信号ＥＮを停止してパルス光の発光を中断させる。そして、タイミングＴ５９以降において、１フレーム分の測距情報が読み出される。
ここで、仮に禁止期間を設定せずに測距モジュール３００がパルス光を発光させると、例えば、サンプリング期間の直前のタイミングＴ５７においてパルス光の発光が停止する。これにより、測距モジュール３００の電圧や電流が変動し、その電圧等の変動に起因して固体撮像素子２００にノイズが生じるおそれがある。特に、固体撮像素子２００および測距モジュール３００を同一の基板１１０上に設けた場合は、ノイズが生じやすくなる。
これに対して、固体撮像素子２００は、タイミングＴ５７を含む期間を禁止期間として設定し、測距モジュール３００は、その禁止期間内に亘って継続して発光を停止する。このため、禁止期間内に発光が開始することも終了することもなく、その禁止期間内の電圧や電流の変動が抑制される。これにより、電圧等の変動に起因するノイズを低減し、画像データの画質を向上させることができる。ノイズを抑制することができるため、固体撮像素子２００および測距モジュール３００を同一の基板１１０上に設けることができる。また、電圧等の変動抑制のための電源分離や抵抗付加などのノイズ対策が不要となる。
図１０は、本技術の第１の実施の形態における画像データ５０１の一例である。画像データ５０１等の画像データは、垂直同期信号ＶＳＹＮＣ１に同期して撮像される。
図１１は、本技術の第１の実施の形態における距離画像５０２の一例である。同図において、色の濃さは、距離を表す。距離画像５０２は、例えば、画像データとは非同期に生成される。なお、距離画像５０２が画像データと同期して生成される構成であってもよい。
図１２は、本技術の第１の実施の形態における合成画像データ５０３の一例である。図１０に例示した画像データ５０１において、画像合成部１１２は、図１１に例示した距離画像５０２に基づいて、現実には存在しない、りんごなどのデータ５０４を合成する。これにより、合成画像データ５０３が生成される。このような合成処理は、例えば、ＡＲ（Augmented Reality）技術を実現する際に用いられる。
［電子機器の動作例］
図１３は、本技術の第１の実施の形態における電子機器１００の動作の一例を示すシーケンス図である。この動作は、例えば、画像合成を行うためのアプリケーションが実行されたときに開始される。電子機器１００内の固体撮像素子２００は、垂直同期信号ＶＳＹＮＣ１に同期して画像データを撮像し（ステップＳ９０１）、そのＶＳＹＮＣ１の周期内において禁止期間を設定する（ステップＳ９０２）。画像データは、画像合成部１１２に供給され、禁止期間を示す禁止信号ＮＧは測距モジュール３００へ供給される。また、測距モジュール３００は、発光を開始または停止するための発光処理を実行し（ステップＳ９１０）、距離情報を生成する（ステップＳ９０３）。この距離情報は、画像合成部１１２に供給される。また、画像合成部１１２は、距離情報に基づいて画像データに対して合成処理を行う（ステップＳ９０４）。
上述の処理が繰り返し実行される。ここで、画像データの撮像と、発光処理および距離情報の生成とは、例えば、非同期に実行される。なお、画像データの撮像と、発光処理および距離情報の生成とが同期して実行される構成であってもよい。
図１４は、本技術の第１の実施の形態における発光処理の一例を示すフローチャートである。測距モジュール３００は、現在時刻が発光開始時刻であるか否かを判断する（ステップＳ９１１）。発光開始時刻でない場合に（ステップＳ９１１：Ｎｏ）、測距モジュール３００は、ステップＳ９１１を繰り返す。
一方、発光開始時刻である場合に（ステップＳ９１１：Ｙｅｓ）、測距モジュール３００は、パルス光の発光と、発光時間の計時とを開始する（ステップＳ９１２）。そして、測距モジュール３００は、現在時刻が禁止期間内であるか否かを判断する（ステップＳ９１３）。禁止期間内である場合に（ステップＳ９１３：Ｙｅｓ）、測距モジュール３００は、パルス光の発光と発光時間の計時とを禁止期間に亘って中断する（ステップＳ９１４）。
禁止期間内でない場合（ステップＳ９１３：Ｎｏ）、または、ステップＳ９１４の後に測距モジュール３００は、予め設定された所定時間を計時したか否かを判断する（ステップＳ９１５）。所定時間を計時していない場合に（ステップＳ９１５：Ｎｏ）、測距モジュール３００は、ステップＳ９１３以降を繰り返し実行する。
所定時間を計時した場合に（ステップＳ９１５：Ｙｅｓ）、測距モジュール３００は、パルス光の発光と発光時間の計時とを停止し（ステップＳ９１６）、発光処理を終了する。
このように、本技術の第１の実施の形態によれば、測距モジュール３００は、禁止期間外に発光の開始および停止を実行し、禁止期間内は発光を中断するため、禁止期間内において電圧や電流の変動を抑制することができる。これにより、禁止期間内の電圧等の変動に起因する固体撮像素子２００のノイズを抑制することができる。
［変形例］
上述の第１の実施の形態では、電子機器１００は、禁止期間に亘ってパルス光の発光を強制的に停止させていたが、禁止期間が長くなるほど、発光開始時刻から距離情報の読出し開始までの時間が長くなるおそれがある。例えば、１フレーム分の距離情報の生成に、「３０」ミリ秒の発光が必要とされる場合、発光開始時刻から「３０」ミリ秒が経過する前に「１」ミリ秒の禁止期間が挿入されると、距離情報の読出し開始は、発光開始時刻から「３１」ミリ秒後となる。このように距離情報の読出し開始までの時間が長くなると、距離画像のフレームレートが低下するおそれがある。この第１の実施の形態の変形例の電子機器１００は、距離画像のフレームレートの低下を抑制する点において第１の実施の形態と異なる。
図１５は、本技術の第１の実施の形態の変形例における発光制御部３１０の一構成例を示すブロック図である。この発光制御部３１０は、発光継続制御部３４０をさらに備える点において第１の実施の形態と異なる。
また、第１の実施の形態の変形例のパルス期間調整部３２０および発光イネーブル信号生成部３３０には、禁止信号ＮＧが入力されない。このため、パルス期間調整部３２０は、禁止期間において発光時間の計時を中断せず、発光イネーブル信号生成部３３０も禁止期間において発光イネーブル信号の生成を停止しない。発光イネーブル信号生成部３３０は、生成した発光イネーブル信号をＥＮｉｎとして発光継続制御部３４０に供給する。
発光継続制御部３４０は、発光時間の計時中に禁止期間の開始時刻となった場合に、禁止期間に亘って発光を継続させるものである。この発光継続制御部３４０は、発光を継続させるための発光イネーブル信号ＥＮｏｕｔを生成して、発光部３５０に供給する。
図１６は、本技術の第１の実施の形態の変形例における発光継続制御部３４０の動作の一例を示す図である。発光イネーブル信号ＥＮｉｎの生成中（すなわち、計時中）において禁止信号ＮＧがイネーブルになった場合に発光継続制御部３４０は内部フラグをオンに設定し、発光イネーブル信号ＥＮｉｎをそのままＥＮｏｕｔとして出力する。
また、発光イネーブル信号ＥＮｉｎが停止中で、禁止信号ＮＧがイネーブルである場合に発光継続制御部３４０は、内部フラグがオンであれば、発光イネーブル信号ＥＮｏｕｔを生成してパルス光の発光を継続させる。一方、内部フラグがオフであれば、発光継続制御部３４０は発光イネーブル信号ＥＮｏｕｔを停止する。
また、発光イネーブル信号ＥＮｉｎが生成中で、禁止信号ＮＧがディセーブルである場合に発光継続制御部３４０は、内部フラグをオフにし、発光イネーブル信号ＥＮｉｎをそのままＥＮｏｕｔとして出力する。一方、発光イネーブル信号ＥＮｉｎが停止中で、禁止信号ＮＧがディセーブルである場合に発光継続制御部３４０は、発光イネーブル信号ＥＮｏｕｔを停止させる。
図１７は、本技術の第１の実施の形態の変形例における測距モジュール３００の動作の一例を示すタイミングチャートである。
パルス期間調整部３２０は、タイミングＴ６１に、発光時間の計時を開始するとともに制御信号ＰＬＳをイネーブルにする。そして、カウンタ値がＮｅ２になったタイミングＴ６２において、パルス期間調整部３２０は、制御信号ＰＬＳをディセーブルにする。なお、図１７の禁止信号ＮＧおよび制御信号ＰＬＳについて、イネーブルをハイレベルで表し、ディセーブルをローレベルで表している。なお、これらの信号について、逆にローレベルをイネーブルとしてもよい。
発光継続制御部３４０は、制御信号ＰＬＳがイネーブルのタイミングＴ６１からＴ６２までの期間に亘って発光イネーブル信号ＥＮｏｕｔを出力してパルス光を発光させる。そして、タイミングＴ６２以降において、１フレーム分の測距情報が読み出される。
また、パルス期間調整部３２０は、タイミングＴ６３に、発光時間の計時を開始するとともに制御信号ＰＬＳをイネーブルにする。禁止信号ＮＧは、タイミングＴ６４からＴ６５までの期間と、タイミングＴ６６からＴ６８まで期間とに亘ってイネーブルに設定される。
パルス期間調整部３２０は、タイミングＴ６６とＴ６８との間のタイミングＴ６７に計時を終了して制御信号ＰＬＳをディセーブルにする。しかし、このときには禁止期間が継続しているため、発光継続制御部３４０は、禁止期間の終了タイミングＴ６８までの間に亘って発光イネーブル信号ＥＮｏｕｔを出力してパルス光を強制的に発光させる。そして、タイミングＴ６８以降において、１フレーム分の測距情報が読み出される。
タイミングＴ６７において計時が終了しているため、タイミングＴ６７からＴ６８までの期間は、１フレーム分の距離情報の生成に必要のない余分な発光時間である。しかしながら、パルス光の発光中に禁止期間が挿入されても、測距モジュール３００は発光を中断する必要がないため、発光を中断する第１の実施の形態と比較して、距離情報の読出しまでの時間を短くすることができる。
なお、発光制御部３１０は、計時中（制御信号ＰＬＳがイネーブル）でないときに禁止信号ＮＧがイネーブルになった場合には、パルス光を発光させていないが、この構成に限定されない。例えば、図１８のように、計時中であるか否かに関わらず、禁止期間中は常に発光させる構成であってもよい。すなわち、この構成において発光制御部３１０は、計時中または禁止期間内にパルス光を発光させる。同図では、タイミングＴ６９乃至Ｔ７０などにおいて、制御信号ＰＬＳがディセーブルであるが、禁止信号ＮＧがイネーブルであるため、発光制御部３１０が、禁止期間に亘って強制的に発光させている。
このように、本技術の第１の実施の形態の変形例では、測距モジュール３００が、禁止期間に亘ってパルス光の発光を継続させるため、禁止期間内にパルス光を中断する場合と比較して距離情報の読出しまでの時間を短くすることができる。これにより、距離画像のフレームレートの低下を抑制することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００が禁止信号ＮＧを生成していたが、この構成では、禁止信号ＮＧを処理する回路を固体撮像素子２００および測距モジュール３００の両方に設けなくてはならなくなる。測距モジュール３００が内部で禁止信号ＮＧを生成する構成とすれば、禁止信号ＮＧに関する回路は測距モジュール３００のみに設ければよくなり、固体撮像素子２００は一般的な構成のものを用いることができるため、設計者の負担を軽減することができる。この第２の実施の形態の電子機器１００は、測距モジュール３００が禁止信号ＮＧを内部で生成する点において第１の実施の形態と異なる。
図１９は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、禁止期間設定部２７０を備えない点において第１の実施の形態と異なる。第２の実施の形態の垂直同期信号生成部２６０は、垂直同期信号ＶＳＹＮＣ１をタイミング制御部２３０と測距モジュール３００とに供給する。
図２０は、本技術の第２の実施の形態における測距モジュール３００の一構成例を示すブロック図である。この第２の実施の形態の測距モジュール３００は、禁止期間設定部３９０をさらに備える点において第１の実施の形態と異なる。
禁止期間設定部３９０の構成は、第１の実施の形態の禁止期間設定部２７０と同様である。
このように、本技術の第２の実施の形態では、測距モジュール３００が禁止信号ＮＧを生成するため、測距モジュール３００についてのみ、禁止信号ＮＧに関する設計を行えばよくなり、電子機器１００の設計が容易となる。
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークI/F(interface)１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２２は、撮像部１２０３１の設置位置の例を示す図である。図２１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２２には、撮像部１２１０１乃至１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１乃至１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１乃至１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１乃至１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を基に、撮像範囲１２１１１乃至１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１乃至１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１乃至１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１および車外情報検出ユニット１２０３０に適用され得る。具体的には、図１の固体撮像素子２００を、撮像部１２０３１に適用し、測距モジュール３００を車外情報検出ユニット１２０３０に適用することができる。撮像部１２０３１および車外情報検出ユニット１２０３０に本開示に係る技術を適用することにより、ノイズを低減して画像データの画質を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）画像データを撮像する撮像部と、
照射光を発光する 発光部と、
前記照射光の発光の開始または停止により前記撮像部内にノイズが生じる期間を禁止期間として設定する禁止期間設定部と
前記禁止期間内における前記発光の開始および停止を禁止するよう前記発光部を制御する 発光制御部と
を具備する電子機器。
（２）前記発光制御部は、前記発光部において前記発光が行われている時間を計時し、所定時間を計時したときに前記発光を停止させるよう制御する
前記（１）記載の電子機器。
（３）前記発光制御部は、計時中に前記禁止期間の開始時刻になった場合には前記禁止期間に亘って前記計時を中断するとともに前記発光部に発光を中断させる
前記（２）記載の電子機器。
（４）前記発光部は、計時中に前記禁止期間の開始時刻になった場合には前記禁止期間に亘って前記発光部に発光を継続させ、前記禁止期間の終了時刻になったときに前記発光部に発光を停止させる
前記（２）記載の電子機器。
（５）前記発光制御部は、計時中または前記禁止期間に亘って前記発光部に発光させる
前記（２）記載の電子機器。
（６）前記撮像部および前記発光部は、同一の基板に設けられる
前記（１）から（５）のいずれかに記載の電子機器。
（７）前記撮像部および前記禁止期間設定部は、固体撮像素子内に設けられる
前記（１）から（６）のいずれかに記載の電子機器。
（８）前記撮像部は、固体撮像素子内に設けられ、
前記禁止期間設定部は、前記固体撮像素子の外部に設けられる
前記（１）から（６）のいずれかに記載の電子機器。
（９）前記画像データは、画素データからなり、
前記撮像部は、所定のサンプリング期間においてアナログ信号をデジタル信号に変換して前記画素データを生成し、
前記禁止期間は、前記サンプリング期間を含む
前記（１）から（８）のいずれかに記載の電子機器。
（１０）前記照射光に対する反射光を受光する受光部と、
前記照射光と前記反射光との位相差に基づいて距離を演算する測距演算部と
をさらに具備する前記（１）から（９）のいずれかに記載の電子機器。
（１１）前記距離に基づいて前記画像データに所定のデータを合成する画像合成部をさらに具備する前記（１０）記載の電子機器。
（１２）画像データを撮像する撮像手順と、
照射光を発光する発光手順と、
前記照射光の発光の開始または停止により前記撮像部内にノイズが生じる期間を禁止期間として設定する禁止期間設定手順と
前記禁止期間内における前記発光の開始および停止を禁止するよう前記発光部を制御する発光制御手順と
を具備する電子機器の制御方法。
１００ 電子機器
１１０ 基板
１１１ 電源回路
１１２ 画像合成部
１２０ 表示部
２００ 固体撮像素子
２０５ 撮像部
２１０ ドライバ
２２０ 画素アレイ部
２２１ 画素
２３０ タイミング制御部
２４０ カラムＡＤＣ
２５０ 信号処理部
２６０ 垂直同期信号生成部
２７０、３９０ 禁止期間設定部
２７１、３２２ レジスタ
２７２、３２３ 制御回路
２７３、３２１、３２４ カウンタ
３００ 測距モジュール
３１０ 発光制御部
３２０ パルス期間調整部
３３０ 発光イネーブル信号生成部
３４０ 発光継続制御部
３５０ 発光部
３６０ 同期制御部
３７０ 受光部
３８０ 測距演算部
１２０３０ 車外情報検出ユニット
１２０３１ 撮像部

Claims (12)

  1. 画像データを撮像する撮像部と、
    照射光を発光する発光部と、
    前記照射光の発光の開始または停止により前記撮像部内にノイズが生じる期間を禁止期間として設定する禁止期間設定部と
    前記禁止期間内における前記発光の開始および停止を禁止するよう前記発光部を制御する発光制御部と
    を具備する電子機器。
  2. 前記発光制御部は、前記発光部において前記発光が行われている時間を計時し、所定時間を計時したときに前記発光を停止させるよう制御する
    請求項１記載の電子機器。
  3. 前記発光制御部は、計時中に前記禁止期間の開始時刻になった場合には前記禁止期間に亘って前記計時を中断するとともに前記発光部に発光を中断させる
    請求項２記載の電子機器。
  4. 前記発光部は、計時中に前記禁止期間の開始時刻になった場合には前記禁止期間に亘って前記発光部に発光を継続させ、前記禁止期間の終了時刻になったときに前記発光部に発光を停止させる
    請求項２記載の電子機器。
  5. 前記発光制御部は、計時中または前記禁止期間に亘って前記発光部に発光させる
    請求項２記載の電子機器。
  6. 前記撮像部および前記発光部は、同一の基板に設けられる
    請求項１記載の電子機器。
  7. 前記撮像部および前記禁止期間設定部は、固体撮像素子内に設けられる
    請求項１記載の電子機器。
  8. 前記撮像部は、固体撮像素子内に設けられ、
    前記禁止期間設定部は、前記固体撮像素子の外部に設けられる
    請求項１記載の電子機器。
  9. 前記画像データは、画素データからなり、
    前記撮像部は、所定のサンプリング期間においてアナログ信号をデジタル信号に変換して前記画素データを生成し、
    前記禁止期間は、前記サンプリング期間を含む
    請求項１記載の電子機器。
  10. 前記照射光に対する反射光を受光する受光部と、
    前記照射光と前記反射光との位相差に基づいて距離を演算する測距演算部と
    をさらに具備する請求項１記載の電子機器。
  11. 前記距離に基づいて前記画像データに所定のデータを合成する画像合成部をさらに具備する請求項１０記載の電子機器。
  12. 画像データを撮像する撮像手順と、
    照射光を発光する発光手順と、
    前記照射光の発光の開始または停止により前記撮像部内にノイズが生じる期間を禁止期間として設定する禁止期間設定手順と
    前記禁止期間内における前記発光の開始および停止を禁止するよう前記発光部を制御する発光制御手順と
    を具備する電子機器の制御方法。
JP2017074928A 2017-04-05 2017-04-05 電子機器、および、電子機器の制御方法 Pending JP2018182403A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017074928A JP2018182403A (ja) 2017-04-05 2017-04-05 電子機器、および、電子機器の制御方法
PCT/JP2018/005006 WO2018186019A1 (ja) 2017-04-05 2018-02-14 電子機器、および、電子機器の制御方法
US16/491,299 US10897588B2 (en) 2017-04-05 2018-02-14 Electronic apparatus and electronic apparatus controlling method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017074928A JP2018182403A (ja) 2017-04-05 2017-04-05 電子機器、および、電子機器の制御方法

Publications (1)

Publication Number Publication Date
JP2018182403A true JP2018182403A (ja) 2018-11-15

Family

ID=63712568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017074928A Pending JP2018182403A (ja) 2017-04-05 2017-04-05 電子機器、および、電子機器の制御方法

Country Status (3)

Country Link
US (1) US10897588B2 (ja)
JP (1) JP2018182403A (ja)
WO (1) WO2018186019A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070426A1 (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067809B1 (en) * 2019-07-29 2021-07-20 Facebook Technologies, Llc Systems and methods for minimizing external light leakage from artificial-reality displays
WO2021166344A1 (ja) * 2020-02-18 2021-08-26 ソニーグループ株式会社 センシングシステム、および、測距システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278594A (ja) 1999-03-25 2000-10-06 Minolta Co Ltd デジタルカメラ
JP2000201298A (ja) * 1999-01-07 2000-07-18 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体
JP2003333404A (ja) * 2002-05-17 2003-11-21 Fuji Photo Film Co Ltd デジタルカメラ
JP5760168B2 (ja) * 2009-07-17 2015-08-05 パナソニックＩｐマネジメント株式会社 空間情報検出装置
EP2808700B1 (en) 2013-05-30 2019-10-02 Ricoh Company, Ltd. Drive assist device, and vehicle using drive assist device
KR102194233B1 (ko) * 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
JPWO2016031206A1 (ja) * 2014-08-29 2017-06-15 パナソニックＩｐマネジメント株式会社 半導体装置、実装体、車両
JP6573367B2 (ja) * 2015-05-01 2019-09-11 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070426A1 (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置

Also Published As

Publication number Publication date
US10897588B2 (en) 2021-01-19
US20200029032A1 (en) 2020-01-23
WO2018186019A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN110832346B (zh) 电子装置和电子装置的控制方法
JP2020136958A (ja) イベント信号検出センサ及び制御方法
JP7299845B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2018155194A1 (ja) 測距装置、および測距方法
WO2018186019A1 (ja) 電子機器、および、電子機器の制御方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP2021047076A (ja) 測距センサ
WO2020184224A1 (ja) 距離測定装置及びスキュー補正方法
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020158378A1 (ja) 測距装置、測距方法、並びにプログラム
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021192460A1 (ja) センシングデバイス、および、電子装置
JP2020010150A (ja) 撮像装置および撮像システム
US20220236414A1 (en) Measurement device, measurement method, and program
WO2023079830A1 (ja) 測距装置、および、光検出素子
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021145212A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021106625A1 (ja) 測距センサ、測距システム、および、電子機器
JP2018113615A (ja) 固体撮像素子、駆動方法、および電子機器
WO2021166344A1 (ja) センシングシステム、および、測距システム
JP2020122774A (ja) 測距装置、測距方法、並びにプログラム