JP2020039125A - 撮像装置、撮像システム、撮像方法および撮像プログラム - Google Patents
撮像装置、撮像システム、撮像方法および撮像プログラム Download PDFInfo
- Publication number
- JP2020039125A JP2020039125A JP2019159150A JP2019159150A JP2020039125A JP 2020039125 A JP2020039125 A JP 2020039125A JP 2019159150 A JP2019159150 A JP 2019159150A JP 2019159150 A JP2019159150 A JP 2019159150A JP 2020039125 A JP2020039125 A JP 2020039125A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- output
- recognition
- line
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 314
- 238000012545 processing Methods 0.000 claims abstract description 834
- 230000004044 response Effects 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 262
- 230000008569 process Effects 0.000 description 230
- 230000000007 visual effect Effects 0.000 description 220
- 238000010586 diagram Methods 0.000 description 122
- 230000004048 modification Effects 0.000 description 86
- 238000012986 modification Methods 0.000 description 86
- 238000001514 detection method Methods 0.000 description 70
- 230000015654 memory Effects 0.000 description 65
- 238000009825 accumulation Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 55
- 238000010801 machine learning Methods 0.000 description 44
- 238000013527 convolutional neural network Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000005096 rolling process Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 17
- 239000004065 semiconductor Substances 0.000 description 15
- 230000001276 controlling effect Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 12
- 238000007667 floating Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 239000003990 capacitor Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 239000000047 product Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 101100243108 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDI1 gene Proteins 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Vascular Medicine (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Character Discrimination (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
1.本開示の各実施形態に係る構成例
2.本開示に適用可能な既存技術の例
2−1.ローリングシャッタの概要
2−2.グローバルシャッタの概要
2−3.DNN(Deep Neural Network)について
2−3−1.CNN(Convolutional Neural Network)の概要
2−3−2.RNN(Recurrent Neural Network)の概要
2−4.駆動速度について
3.本開示の概要
4.第1の実施形態
4−1.認識処理部による動作例
4−2.認識処理部による動作の具体例
4−3.第1の実施形態の応用例
5.第2の実施形態
5−0−1.第2の実施形態に係る構成例
5−0−2.第2の実施形態に係る認識処理部における処理の例
5−0−3.第2の実施形態に係る認識処理の詳細
5−0−4.第2の実施形態に係る読み出しおよび認識処理の制御例
6.第3の実施形態
6−0.第3の実施形態の概要
6−0−1.時間によるトリガ信号出力の例
6−1.第3の実施形態の第1の変形例
6−2.第3の実施形態の第2の変形例
6−3.第3の実施形態の第3の変形例
7.第4の実施形態
7−1.第4の実施形態の第1の変形例
7−2.第4の実施形態の第2の変形例
8.第5の実施形態
8−0−1.調停処理の具体例
8−1.第5の実施形態の第1の変形例
8−2.第5の実施形態の第2の変形例
8−3.第5の実施形態の第3の変形例
9.第6の実施形態
本開示に係る撮像装置の構成について、概略的に説明する。図1は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図1において、撮像装置1は、センサ部10と、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15と、を含み、これら各部がCMOS(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたCMOSイメージセンサ(CIS)である。なお、撮像装置1は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
画素アレイ部101による撮像を行う際の撮像方式として、ローリングシャッタ(RS)方式と、グローバルシャッタ(GS)方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図5A、図5Bおよび図5Cは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図5Aに示されるように、フレーム200の例えば上端のライン201からライン単位で順に撮像を行う。
次に、画素アレイ部101による撮像を行う際の撮像方式として、グローバルシャッタ(GS)方式について、概略的に説明する。図8A、図8Bおよび図8Cは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図8Aに示されるように、フレーム200に含まれる全画素回路100で同時に露出を行う。
次に、各実施形態に適用可能なDNN(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、DNNのうち、CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
先ず、CNNについて、概略的に説明する。CNNによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図10は、CNNによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「8」を描画した画像50の全体の画素情報51に対して、所定に学習されたCNN52による処理を施す。これにより、認識結果53として数字の「8」が認識される。
次に、RNNについて、概略的に説明する。図12Aおよび図12Bは、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図12Aに示されるように、1つの画像をDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図15Aおよび図15Bを用いて説明する。図15Aは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平640画素×垂直480画素(480ライン)であるものとする。この場合、14400[ライン/秒]の駆動速度で駆動することで、30[fps(frame per second)]での出力が可能となる。
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図16は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図16において、ステップS1で、各実施形態に係る撮像装置1(図1参照)により、認識対象となる対象画像の撮像を開始する。
次に、本開示の第1の実施形態について説明する。
第1の実施形態に係る撮像装置1において、認識処理部12は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ13に記憶されるプログラムを読み出して実行することで、DNNを利用した認識器として機能する。
次に、図17を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、DNNを利用して顔検出を実行する場合を例示する。
次に、第1の実施形態の応用例について説明する。ここでは、第1の実施形態の応用例として、例えば図17のフローチャートのステップS124でのCNNによる機械学習処理の結果や、ステップS127でのRNNによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図20Aおよび図20Bは、第1の実施形態の応用例について説明するための模式図である。
(5−0−1.第2の実施形態に係る構成例)
次に、本開示の第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態による認識処理を拡張したものである。図21は、第2の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図21において、図1に示される光学部30、センサ部10、メモリ13および表示部31は、省略されている。また、図21において、図1の構成に対してトリガ生成部16が追加されている。
図22は、第2の実施形態に係る認識処理部12における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部110が、画像60のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部110にライン単位で読み出されたラインL#xのライン画像データ(ラインデータ)が特徴量計算部120に入力される。
次に、第2の実施形態についてより詳細に説明する。図23は、第2の実施形態に係る機能を説明するための一例の機能ブロック図である。第2の実施形態では、認識処理部12による認識処理が主となるので、図23では、上述した図21の構成に対して、視認処理部14、出力制御部15およびトリガ生成部16を省略している。また、図23では、センサ制御部11において、読出制御部111が省略されている。
次に、第2の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図29Aおよび図29Bは、第2の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図29Aおよび図29Bの例では、1撮像周期(1フレーム周期)内に撮像動作を行わないブランク期間blkを設ける例である。図29Aおよび図29Bにおいて、右方向に時間が進行することを示している。
次に、本開示の第3の実施形態について説明する。第3の実施形態は、認識処理部12による認識結果と、視認処理部14による視認用の画像データと、の出力のタイミングを制御する例である。第3の実施形態では、図21を参照し、トリガ生成部16で生成されたトリガ信号に基づき、認識処理実行部124からの認識結果の出力と、画像処理部143からの画像データの出力と、を制御する。
図31は、第3の実施形態に係る出力制御処理の概要を説明するための一例のフローチャートである。図31のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部11は、センサ部10からライン単位で画素データを読み出すものとする。
図32は、第3の実施形態に係る出力制御処理の例を模式的に示す模式図である。ここでは、トリガ生成部16が時間に基づきトリガ信号を出力する場合について説明する。
次に、第3の実施形態の第1の変形例について説明する。第3の実施形態の第1の変形例は、トリガ信号を、センサ制御部11によりフレームから読み出された領域に応じて生成する例である。
次に、第3の実施形態の第2の変形例について説明する。第3の実施形態の第2の変形例は、トリガ信号を、認識処理実行部124による認識処理の結果の確からしさを示す認識確信度に応じて生成する例である。
次に、第3の実施形態の第3の変形例について説明する。第3の実施形態の第3の変形例は、トリガ信号を、当該撮像装置1の外部から取得される外部情報に応じて生成する例である。
次に、第4の実施形態について説明する。第4の実施形態は、認識処理部12による認識結果の出力と、視認処理部14による視認用の画像データの出力と、のズレに対応する例である。
次に、第4の実施形態の第1の変形例について説明する。上述した第4の実施形態では、認識結果と視認用の画像データとの時間的なズレを抑制しているが、この第4の実施形態の第1の変形例では、認識結果と視認用の画像データとの空間的なズレを抑制する。例えば、車載の用途などにより、撮像装置1が撮像中に高速に移動している場合、認識結果と視認用の画像データとの間に、空間的なズレ(例えばオブジェクトの2次元面内の位置ズレ)が発生する場合がある。また、高速で移動する動物体を撮像装置1で撮像した場合も、この動物体の画像データ内におけるオブジェクトにおいて、空間的なズレが発生する場合がある。第4の実施形態の第1の変形例では、このようなズレを、外部センサから取得する情報に基づき抑制する。
次に、第4の実施形態の第2の変形例について説明する。第4の実施形態の第2の変形例は、認識処理部12による認識処理の後に視認処理部14において行われる画素データの読み出しを高速に行い、認識結果の出力タイミングと、視認用の画像データの出力タイミングと、の差分を抑制する例である。
次に、第5の実施形態について説明する。第5の実施形態は、認識処理部12が読み出しを行う読出領域と、視認処理部14が読み出しを行う読出領域と、で調停を行う例である。例えば、認識処理部12と視認処理部14とのうち一方がライン間引きによりライン読み出しを行い、他方がライン順次で読み出しを行う場合、あるタイミングで認識処理部12と視認処理部14とで読み出しの対象とするラインが異なるものとなる。このような場合、認識処理部12と視認処理部14と間で読出領域の調停を行い、読出対象のラインを決定する。
次に、第5の実施形態に係る調停処理について、より具体的に説明する。図52は、第5の実施形態に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第1の変形例について説明する。第5の実施形態の第1の変形例は、調停制御部1110aが調停処理に用いる調停情報として、認識処理部12による認識結果を適用する例である。図55は、第5の実施形態の第1の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第2の変形例について説明する。第5の実施形態の第2の変形例は、調停制御部1110が調停処理に用いる調停情報として、視認処理部14から出力される視認用画像を適用する例である。図59は、第5の実施形態の第2の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第3の変形例について説明する。この第5の実施形態の第3の変形例は、調停制御部1110が調停処理に用いる調停情報として、外部から供給される外部制御情報を適用する例である。図62は、第5の実施形態の第3の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第6の実施形態として、本開示に係る、第1〜第5の実施形態および各変形例による撮像装置1の適用例について説明する。図64は、上述の第1〜第5の実施形態および各変形例による撮像装置1を使用する使用例を示す図である。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
本開示に係る技術(本技術)は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
(1)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識部と、
前記読出単位毎に前記認識部により認識した認識結果を出力する第1の出力部と、
前記画素信号を後段に出力する第2の出力部と、
前記第1の出力部が前記認識結果を出力する第1のタイミングと、前記第2の出力部が前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置。
(2)
前記トリガ生成部は、
前記第1のタイミングと前記第2のタイミングとを同期させる前記トリガ信号を生成する、
前記(1)に記載の撮像装置。
(3)
前記トリガ生成部は、前記トリガ信号を一定周期で出力する、
前記(1)または(2)に記載の撮像装置。
(4)
前記トリガ生成部は、
当該撮像装置の外部からの制御に応じて前記トリガ信号を生成する、
前記(1)乃至(3)の何れかに記載の撮像装置。
(5)
前記トリガ生成部は、
前記認識結果の確からしさを示す認識確信度に応じて前記トリガ信号を生成する、
前記(1)乃至(4)の何れかに記載の撮像装置。
(6)
前記第1の出力部による前記認識結果の出力と、前記第2の出力部による前記画素信号の出力と、を制御する出力制御部、
をさらに備え、
前記出力制御部は、
前記第1の出力部により出力される前記認識結果と、前記第2の出力部により出力される前記画素信号と、の間のズレを補正する、
前記(1)乃至(5)の何れかに記載の撮像装置。
(7)
前記出力制御部は、
前記第1の出力部に出力された前記認識結果を保持する保持部を含み、前記保持部に保持される前記認識結果を、前記第2の出力部による前記画素信号の出力に同期して出力する、
前記(6)に記載の撮像装置。
(8)
前記保持部は、
前記第2の出力部に出力された前記画素信号をさらに保持し、
前記出力制御部は、
前記保持部に保持される前記認識結果と前記画素信号との空間上のズレ量を推測し、推測された該ズレ量に基づき、前記保持部に保持される前記画素信号および前記認識結果のうち少なくとも一方を補正し、前記保持部に保持される前記認識結果と、前記保持部に保持される補正された該画素信号と、を同期して出力する、
前記(6)に記載の撮像装置。
(9)
前記トリガ生成部は、
前記第1の出力部に対する前記トリガ信号の出力に応じて、前記第2の出力部が出力するための前記画素信号の前記撮像部からの読み出しを、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
前記(1)乃至(8)の何れかに記載の撮像装置。
(10)
前記トリガ生成部は、
前記第2の出力部に対する前記トリガ信号の出力に応じて、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを、前記第2の出力部が出力するための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
前記(1)乃至(8)の何れかに記載の撮像装置。
(11)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎に認識部により認識した認識結果を出力する第1の出力部と、
前記画素信号を後段に出力する第2の出力部と、
前記第1の出力部が前記認識結果を出力する第1のタイミングと、前記第2の出力部が前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置と、
前記読出単位毎の教師データを学習した前記認識部、
を備える情報処理装置と、
を含む撮像システム。
(12)
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第1の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第2の出力ステップと、
前記第1の出力ステップにより前記認識結果を出力する第1のタイミングと、前記第2の出力部ステップにより前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
を含む撮像方法。
(13)
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第1の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第2の出力ステップと、
前記第1の出力ステップにより前記認識結果を出力する第1のタイミングと、前記第2の出力部ステップにより前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
をプロセッサに実行させるための撮像プログラム。
(14)
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
(15)
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してCNN(Convolution Neural Network)を利用した機械学習処理を実行する前記(14)に記載の電子機器。
(16)
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記CNNを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してRNN(Recurrent Neural Network)を利用した機械学習処理を実行する前記(15)に記載の電子機器。
(17)
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記(14)乃至(16)の何れかに記載の電子機器。
(18)
前記単位領域の画像データは、所定ライン数の画像データである前記(14)〜(17)の何れかに記載の電子機器。
(19)
前記単位領域の画像データは、矩形領域の画像データである前記(14)〜(17)の何れかに記載の電子機器。
(20)
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記(14)乃至(19)の何れかに記載の電子機器。
10 センサ部
11 センサ制御部
12 認識処理部
14 視認処理部
110 読出部
111 読出制御部
120 特徴量計算部
121 特徴量蓄積制御部
122 特徴量蓄積部
123 読出決定部
124 認識処理実行部
140 画像データ蓄積制御部
141 画像データ蓄積部
143 画像処理部
Claims (13)
- 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識部と、
前記読出単位毎に前記認識部により認識した認識結果を出力する第1の出力部と、
前記画素信号を後段に出力する第2の出力部と、
前記第1の出力部が前記認識結果を出力する第1のタイミングと、前記第2の出力部が前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置。 - 前記トリガ生成部は、
前記第1のタイミングと前記第2のタイミングとを同期させる前記トリガ信号を生成する、
請求項1に記載の撮像装置。 - 前記トリガ生成部は、前記トリガ信号を一定周期で出力する、
請求項1に記載の撮像装置。 - 前記トリガ生成部は、
当該撮像装置の外部からの制御に応じて前記トリガ信号を生成する、
請求項1に記載の撮像装置。 - 前記トリガ生成部は、
前記認識結果の確からしさを示す認識確信度に応じて前記トリガ信号を生成する、
請求項1に記載の撮像装置。 - 前記第1の出力部による前記認識結果の出力と、前記第2の出力部による前記画素信号の出力と、を制御する出力制御部、
をさらに備え、
前記出力制御部は、
前記第1の出力部により出力される前記認識結果と、前記第2の出力部により出力される前記画素信号と、の間のズレを補正する、
請求項1に記載の撮像装置。 - 前記出力制御部は、
前記第1の出力部に出力された前記認識結果を保持する保持部を含み、前記保持部に保持される前記認識結果を、前記第2の出力部による前記画素信号の出力に同期して出力する、
請求項6に記載の撮像装置。 - 前記保持部は、
前記第2の出力部に出力された前記画素信号をさらに保持し、
前記出力制御部は、
前記保持部に保持される前記認識結果と前記画素信号との空間上のズレ量を推測し、推測された該ズレ量に基づき、前記保持部に保持される前記画素信号および前記認識結果のうち少なくとも一方を補正し、前記保持部に保持される前記認識結果と、前記保持部に保持される補正された該画素信号と、を同期して出力する、
請求項7に記載の撮像装置。 - 前記トリガ生成部は、
前記第1の出力部に対する前記トリガ信号の出力に応じて、前記第2の出力部が出力するための前記画素信号の前記撮像部からの読み出しを、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
請求項1に記載の撮像装置。 - 前記トリガ生成部は、
前記第2の出力部に対する前記トリガ信号の出力に応じて、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを、前記第2の出力部が出力するための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
請求項1に記載の撮像装置。 - 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎に認識部により認識した認識結果を出力する第1の出力部と、
前記画素信号を後段に出力する第2の出力部と、
前記第1の出力部が前記認識結果を出力する第1のタイミングと、前記第2の出力部が前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置と、
前記読出単位毎の教師データを学習した前記認識部、
を備える情報処理装置と、
を含む撮像システム。 - プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第1の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第2の出力ステップと、
前記第1の出力ステップにより前記認識結果を出力する第1のタイミングと、前記第2の出力ステップにより前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
を含む撮像方法。 - 撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第1の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第2の出力ステップと、
前記第1の出力ステップにより前記認識結果を出力する第1のタイミングと、前記第2の出力ステップにより前記画素信号を出力する第2のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
をプロセッサに実行させるための撮像プログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19855709.2A EP3846446A4 (en) | 2018-08-31 | 2019-09-02 | IMAGE CAPTURE DEVICE, IMAGE CAPTURE SYSTEM, IMAGE CAPTURE PROCESS AND IMAGE CAPTURE PROGRAM |
US17/267,502 US11741700B2 (en) | 2018-08-31 | 2019-09-02 | Imaging apparatus, imaging system, imaging method, and imaging program |
BR112021003084-0A BR112021003084A2 (pt) | 2018-08-31 | 2019-09-02 | aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador. |
KR1020217004985A KR20210053884A (ko) | 2018-08-31 | 2019-09-02 | 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 |
PCT/JP2019/034496 WO2020045682A1 (ja) | 2018-08-31 | 2019-09-02 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
CN201980054531.XA CN112585943B (zh) | 2018-08-31 | 2019-09-02 | 成像设备、成像系统、成像方法和存储介质 |
JP2019229783A JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
US18/353,893 US20240029424A1 (en) | 2018-08-31 | 2023-07-18 | Imaging apparatus, imaging system, imaging method, and imaging program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163700 | 2018-08-31 | ||
JP2018163700 | 2018-08-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229783A Division JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6638851B1 JP6638851B1 (ja) | 2020-01-29 |
JP2020039125A true JP2020039125A (ja) | 2020-03-12 |
Family
ID=69166772
Family Applications (9)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019159150A Active JP6638851B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159133A Active JP6635222B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159151A Active JP6638852B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159132A Active JP6635221B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019229257A Active JP7500962B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019229256A Active JP7424034B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置および認識処理方法 |
JP2019229783A Active JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019237377A Active JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2024006216A Pending JP2024028531A (ja) | 2018-08-31 | 2024-01-18 | 情報処理装置、固体撮像素子および情報処理方法 |
Family Applications After (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019159133A Active JP6635222B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159151A Active JP6638852B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159132A Active JP6635221B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019229257A Active JP7500962B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019229256A Active JP7424034B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置および認識処理方法 |
JP2019229783A Active JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019237377A Active JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2024006216A Pending JP2024028531A (ja) | 2018-08-31 | 2024-01-18 | 情報処理装置、固体撮像素子および情報処理方法 |
Country Status (7)
Country | Link |
---|---|
US (7) | US11704904B2 (ja) |
EP (4) | EP3846441A4 (ja) |
JP (9) | JP6638851B1 (ja) |
KR (4) | KR20210052444A (ja) |
CN (4) | CN112567728B (ja) |
BR (4) | BR112021003115A2 (ja) |
WO (4) | WO2020045686A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7076972B2 (ja) * | 2017-09-29 | 2022-05-30 | キヤノン株式会社 | 撮像素子及び撮像装置 |
JP6638851B1 (ja) * | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
JP7492345B2 (ja) | 2020-02-27 | 2024-05-29 | キヤノン株式会社 | 撮像素子及びその制御方法、及び、撮像装置及びその制御方法 |
WO2021187121A1 (ja) * | 2020-03-19 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置 |
US20230101876A1 (en) * | 2020-03-24 | 2023-03-30 | Sony Semiconductor Solutions Corporation | Rendering system and automated driving verification system |
JPWO2021200330A1 (ja) * | 2020-03-31 | 2021-10-07 | ||
CN111510650B (zh) * | 2020-04-26 | 2021-06-04 | 豪威芯仑传感器(上海)有限公司 | 一种图像传感器 |
US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
CN115769250A (zh) * | 2020-07-15 | 2023-03-07 | 安致尔软件公司 | 用于机动车的视觉系统 |
JPWO2022019025A1 (ja) * | 2020-07-20 | 2022-01-27 | ||
KR20220028928A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 부분 영상 기반의 영상 처리 방법 및 장치 |
KR20220105292A (ko) * | 2021-01-20 | 2022-07-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
US20240078803A1 (en) * | 2021-01-29 | 2024-03-07 | Sony Group Corporation | Information processing apparatus, information processing method, computer program, and sensor apparatus |
JP2022119379A (ja) * | 2021-02-04 | 2022-08-17 | キヤノン株式会社 | 光電変換装置 |
KR20220156327A (ko) * | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 비전 센서 및 이의 동작 방법 |
JP2022186333A (ja) * | 2021-06-04 | 2022-12-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法および撮像プログラム |
WO2022270000A1 (ja) * | 2021-06-25 | 2022-12-29 | ソニーグループ株式会社 | 制御装置、制御方法、およびプログラム |
CN113344778B (zh) * | 2021-08-05 | 2021-11-05 | 成都市谛视科技有限公司 | 一种成像控制方法、装置、设备及计算机可读存储介质 |
JPWO2023047775A1 (ja) * | 2021-09-27 | 2023-03-30 | ||
US20230133057A1 (en) * | 2021-10-29 | 2023-05-04 | Keysight Technologies, Inc. | System and method for configuring network elements in a design network topology |
WO2023090036A1 (ja) | 2021-11-22 | 2023-05-25 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2023127614A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127612A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127615A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127653A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023149188A1 (ja) * | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
JP2023141906A (ja) * | 2022-03-24 | 2023-10-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法および撮像プログラム |
WO2023189080A1 (ja) * | 2022-03-30 | 2023-10-05 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0193875A (ja) * | 1987-10-05 | 1989-04-12 | Mitsubishi Heavy Ind Ltd | 文字認識装置 |
JP2017207650A (ja) * | 2016-05-19 | 2017-11-24 | キヤノン株式会社 | レンズ装置 |
JP2018117309A (ja) * | 2017-01-20 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法および画像処理システム |
JP2019091308A (ja) * | 2017-11-15 | 2019-06-13 | 大日本印刷株式会社 | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ |
Family Cites Families (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2910534B2 (ja) * | 1993-11-18 | 1999-06-23 | ノーリツ鋼機株式会社 | 写真フィルム用コード情報読取装置 |
JPH09138802A (ja) * | 1995-11-15 | 1997-05-27 | Hitachi Ltd | 文字認識翻訳システム |
US6252975B1 (en) | 1998-12-17 | 2001-06-26 | Xerox Corporation | Method and system for real time feature based motion analysis for key frame selection from a video |
US7106374B1 (en) * | 1999-04-05 | 2006-09-12 | Amherst Systems, Inc. | Dynamically reconfigurable vision system |
US6839452B1 (en) * | 1999-11-23 | 2005-01-04 | California Institute Of Technology | Dynamically re-configurable CMOS imagers for an active vision system |
JP4250420B2 (ja) | 2001-01-22 | 2009-04-08 | ハンド ヘルド プロダクツ インコーポレーティッド | 部分フレーム操作モードを有する光学読取装置 |
US20040028137A1 (en) * | 2002-06-19 | 2004-02-12 | Jeremy Wyn-Harris | Motion detection camera |
JP4130180B2 (ja) * | 2004-05-26 | 2008-08-06 | 株式会社リコー | 画像読取装置、画像形成装置及び画像読取方法 |
JP4546157B2 (ja) * | 2004-06-03 | 2010-09-15 | キヤノン株式会社 | 情報処理方法、情報処理装置、撮像装置 |
JP4830270B2 (ja) * | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
JP4934326B2 (ja) * | 2005-09-29 | 2012-05-16 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
JP2007201660A (ja) * | 2006-01-25 | 2007-08-09 | Fuji Xerox Co Ltd | 画像処理装置、画像形成装置、画像処理方法及びプログラム |
WO2007119818A1 (ja) | 2006-04-14 | 2007-10-25 | Nec Corporation | 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム |
JP5150067B2 (ja) | 2006-07-05 | 2013-02-20 | パナソニック株式会社 | 監視システム、監視装置及び監視方法 |
JP2008015860A (ja) * | 2006-07-07 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像認識カメラ |
KR100846498B1 (ko) * | 2006-10-18 | 2008-07-17 | 삼성전자주식회사 | 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템 |
JP4362537B2 (ja) * | 2007-06-06 | 2009-11-11 | シャープ株式会社 | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
WO2009120582A2 (en) * | 2008-03-27 | 2009-10-01 | Pressline Services, Inc | Printing press, folder, and methods of operation |
JP5288915B2 (ja) * | 2008-07-08 | 2013-09-11 | キヤノン株式会社 | 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体 |
JP5279517B2 (ja) * | 2009-01-09 | 2013-09-04 | キヤノン株式会社 | 物体検知装置及び物体検知方法 |
US8179466B2 (en) * | 2009-03-11 | 2012-05-15 | Eastman Kodak Company | Capture of video with motion-speed determination and variable capture rate |
US8218068B2 (en) | 2009-04-01 | 2012-07-10 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
KR20110056616A (ko) | 2009-11-23 | 2011-05-31 | 한국전자통신연구원 | 객체 검출 유닛 및 이를 이용한 데이터 전송 방법 |
JP5505007B2 (ja) | 2010-03-18 | 2014-05-28 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム |
GB2478911B (en) | 2010-03-22 | 2014-01-08 | Timocco Ltd | Object locating and tracking in video frames using smoothness check along specified line sections |
JP5761601B2 (ja) | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
JP5220828B2 (ja) | 2010-11-11 | 2013-06-26 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体 |
JP5691736B2 (ja) * | 2011-03-29 | 2015-04-01 | ブラザー工業株式会社 | 読取装置 |
JP5866826B2 (ja) * | 2011-06-30 | 2016-02-24 | 株式会社ニコン | 撮像装置 |
JP5979967B2 (ja) * | 2011-06-30 | 2016-08-31 | キヤノン株式会社 | 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム |
JP5839872B2 (ja) * | 2011-07-19 | 2016-01-06 | オリンパス株式会社 | 固体撮像装置、撮像装置、および信号読み出し方法 |
JP5879831B2 (ja) * | 2011-09-02 | 2016-03-08 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
BR112014027066A2 (pt) * | 2012-05-02 | 2017-06-27 | Nikon Corp | dispositivo de formação de imagem |
JP5909147B2 (ja) * | 2012-05-08 | 2016-04-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
JP5955170B2 (ja) | 2012-09-06 | 2016-07-20 | キヤノン株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US9294703B2 (en) * | 2012-12-03 | 2016-03-22 | Samsung Electronics Co., Ltd. | Image sensor including data transmission circuit having split bus segments |
JP2014139732A (ja) * | 2013-01-21 | 2014-07-31 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび表示装置 |
CN103077407B (zh) * | 2013-01-21 | 2017-05-17 | 信帧电子技术(北京)有限公司 | 车标定位识别方法及系统 |
WO2014114741A1 (en) * | 2013-01-25 | 2014-07-31 | Innovaciones Microelectrónicas S.L. (Anafocus) | Advanced region of interest function for image sensors |
JP6155786B2 (ja) | 2013-04-15 | 2017-07-05 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 |
CN103716661A (zh) | 2013-12-16 | 2014-04-09 | 乐视致新电子科技(天津)有限公司 | 一种视频打分上报方法及装置 |
JP6350863B2 (ja) | 2013-12-20 | 2018-07-04 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
JP6289184B2 (ja) * | 2014-03-14 | 2018-03-07 | オリンパス株式会社 | 画像認識装置および画像認識方法 |
JP6338436B2 (ja) * | 2014-04-25 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102192088B1 (ko) * | 2014-07-18 | 2020-12-16 | 삼성전자주식회사 | 인지센서 및 이의 구동방법 |
JP2016061797A (ja) * | 2014-09-12 | 2016-04-25 | キヤノン株式会社 | 焦点調節装置及びその制御方法 |
JP6168022B2 (ja) * | 2014-09-30 | 2017-07-26 | 株式会社デンソー | 画像認識装置 |
US10175345B2 (en) * | 2014-10-17 | 2019-01-08 | Voxtel, Inc. | Event tracking imager |
US9684830B2 (en) * | 2014-11-14 | 2017-06-20 | Intel Corporation | Automatic target selection for multi-target object tracking |
US9418319B2 (en) | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
US10045726B2 (en) * | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
US10602084B2 (en) * | 2015-07-16 | 2020-03-24 | Sony Corporation | Imaging apparatus which performs compressive sensing reading data for a partitioned block output from an image sensor |
CN105373785B (zh) | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
JP2017112409A (ja) | 2015-12-14 | 2017-06-22 | ソニー株式会社 | 撮像装置および方法 |
JP6762710B2 (ja) * | 2015-12-14 | 2020-09-30 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US9773196B2 (en) * | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
JP7058933B2 (ja) | 2016-05-09 | 2022-04-25 | 株式会社ニコン | 撮像素子及びこれを用いた撮像装置 |
JP2017228975A (ja) | 2016-06-23 | 2017-12-28 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム |
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
JP2018022935A (ja) | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
KR102526559B1 (ko) | 2016-09-16 | 2023-04-27 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 장치 및 전자 기기 |
JP2018081545A (ja) | 2016-11-17 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像データ抽出装置及び画像データ抽出方法 |
JP6787102B2 (ja) | 2016-12-14 | 2020-11-18 | 株式会社デンソー | 物体検出装置、物体検出方法 |
TWI754696B (zh) | 2016-12-14 | 2022-02-11 | 日商索尼半導體解決方案公司 | 固體攝像元件及電子機器 |
JP6780537B2 (ja) * | 2017-02-22 | 2020-11-04 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
US10380853B1 (en) * | 2017-05-22 | 2019-08-13 | Amazon Technologies, Inc. | Presence detection and detection localization |
CN107563168A (zh) | 2017-09-05 | 2018-01-09 | 广东欧珀移动通信有限公司 | 移动终端的解锁方法、装置及移动终端 |
CN107944351B (zh) | 2017-11-07 | 2020-08-04 | 深圳市易成自动驾驶技术有限公司 | 图像识别方法、装置及计算机可读存储介质 |
KR102661596B1 (ko) * | 2018-08-08 | 2024-04-29 | 삼성전자주식회사 | 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법 |
JP6638851B1 (ja) * | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
TWI820194B (zh) * | 2018-08-31 | 2023-11-01 | 日商索尼半導體解決方案公司 | 電子機器及固體攝像裝置 |
EP3848839A4 (en) * | 2018-09-06 | 2021-10-20 | Sony Group Corporation | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS, TERMINAL DEVICE, AND INFORMATION PROCESSING DEVICE |
US11290640B2 (en) * | 2020-06-10 | 2022-03-29 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
-
2019
- 2019-08-30 JP JP2019159150A patent/JP6638851B1/ja active Active
- 2019-08-30 JP JP2019159133A patent/JP6635222B1/ja active Active
- 2019-08-30 JP JP2019159151A patent/JP6638852B1/ja active Active
- 2019-08-30 JP JP2019159132A patent/JP6635221B1/ja active Active
- 2019-09-02 BR BR112021003115-4A patent/BR112021003115A2/pt unknown
- 2019-09-02 EP EP19853677.3A patent/EP3846441A4/en active Pending
- 2019-09-02 BR BR112021003183-9A patent/BR112021003183A2/pt unknown
- 2019-09-02 EP EP19855709.2A patent/EP3846446A4/en active Pending
- 2019-09-02 KR KR1020217004864A patent/KR20210052444A/ko active Search and Examination
- 2019-09-02 US US17/269,544 patent/US11704904B2/en active Active
- 2019-09-02 US US17/267,500 patent/US11763554B2/en active Active
- 2019-09-02 KR KR1020217004985A patent/KR20210053884A/ko unknown
- 2019-09-02 EP EP19854640.0A patent/EP3846443A4/en active Pending
- 2019-09-02 WO PCT/JP2019/034501 patent/WO2020045686A1/ja unknown
- 2019-09-02 CN CN201980054043.9A patent/CN112567728B/zh active Active
- 2019-09-02 US US17/267,502 patent/US11741700B2/en active Active
- 2019-09-02 KR KR1020217004871A patent/KR20210053883A/ko active Search and Examination
- 2019-09-02 CN CN201980054962.6A patent/CN112585948A/zh active Pending
- 2019-09-02 WO PCT/JP2019/034496 patent/WO2020045682A1/ja unknown
- 2019-09-02 BR BR112021003119-7A patent/BR112021003119A2/pt unknown
- 2019-09-02 EP EP19854945.3A patent/EP3846444A4/en active Pending
- 2019-09-02 CN CN201980054977.2A patent/CN112585531B/zh active Active
- 2019-09-02 WO PCT/JP2019/034500 patent/WO2020045685A1/ja unknown
- 2019-09-02 BR BR112021003084-0A patent/BR112021003084A2/pt unknown
- 2019-09-02 US US17/269,543 patent/US11595608B2/en active Active
- 2019-09-02 WO PCT/JP2019/034499 patent/WO2020045684A1/ja unknown
- 2019-09-02 KR KR1020217004989A patent/KR20210052446A/ko unknown
- 2019-09-02 CN CN201980054531.XA patent/CN112585943B/zh active Active
- 2019-12-19 JP JP2019229257A patent/JP7500962B2/ja active Active
- 2019-12-19 JP JP2019229256A patent/JP7424034B2/ja active Active
- 2019-12-19 JP JP2019229783A patent/JP7380180B2/ja active Active
- 2019-12-26 JP JP2019237377A patent/JP7424051B2/ja active Active
-
2023
- 2023-06-16 US US18/336,134 patent/US20230334848A1/en active Pending
- 2023-07-18 US US18/353,893 patent/US20240029424A1/en active Pending
- 2023-08-17 US US18/451,144 patent/US20230394813A1/en active Pending
-
2024
- 2024-01-18 JP JP2024006216A patent/JP2024028531A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0193875A (ja) * | 1987-10-05 | 1989-04-12 | Mitsubishi Heavy Ind Ltd | 文字認識装置 |
JP2017207650A (ja) * | 2016-05-19 | 2017-11-24 | キヤノン株式会社 | レンズ装置 |
JP2018117309A (ja) * | 2017-01-20 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法および画像処理システム |
JP2019091308A (ja) * | 2017-11-15 | 2019-06-13 | 大日本印刷株式会社 | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6638851B1 (ja) | 撮像装置、撮像システム、撮像方法および撮像プログラム | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2022019025A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191011 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6638851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |