JP2020205482A - センサ装置、信号処理方法 - Google Patents
センサ装置、信号処理方法 Download PDFInfo
- Publication number
- JP2020205482A JP2020205482A JP2019111094A JP2019111094A JP2020205482A JP 2020205482 A JP2020205482 A JP 2020205482A JP 2019111094 A JP2019111094 A JP 2019111094A JP 2019111094 A JP2019111094 A JP 2019111094A JP 2020205482 A JP2020205482 A JP 2020205482A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- detection
- processing
- array sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 claims abstract description 429
- 238000012545 processing Methods 0.000 claims abstract description 378
- 238000003384 imaging method Methods 0.000 claims abstract description 91
- 238000004364 calculation method Methods 0.000 claims description 211
- 238000000034 method Methods 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 112
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 14
- 238000013144 data compression Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 description 46
- 238000007906 compression Methods 0.000 description 37
- 230000006835 compression Effects 0.000 description 37
- 230000006978 adaptation Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 230000008685 targeting Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000000593 degrading effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000005415 magnetization Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000269350 Anura Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000696 magnetic material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
下記非特許文献1には画像からの顔認識処理についての技術が開示されている。
また下記特許文献1にはイメージセンサで撮像した領域内での関心領域設定を含む技術が開示されている。
また下記特許文献2には監視エリアの動きに応じて動作周波数を変更する技術が開示されている。
即ち、画像認識による物体検出等の処理を考えた場合、美しい絵作りよりも、その物体検出という目的に適した画像処理が実現されることが望ましい。
さらに、そのような物体検出等の目的に沿いながら、処理や記憶や転送の負荷を低減できることが望まれる。
そこで本開示では、画像認識による物体検出等の目的に適応した画像信号が得られるようにするとともに、処理負荷等を低減できるようにする技術を提案する。
閾値を設定し、パラメータを閾値に基づいて決めることができるようにする。
撮像処理に関するパラメータとしては、例えばアレイセンサにおける露光時間やアレイセンサからの読出タイミング、フレームレートなどがある。
画像処理に関するパラメータとしては、例えば画像の解像度や色階調数などがある。
即ちアレイセンサによって得られた画像信号について、画像処理部で画像処理を施すが、その画像処理パラメータを設定する閾値が画像信号における検出物体のクラスに基づいて設定されるようにする。
なお画像信号から検出される物体とは、画像からの認識を目的として検出対象となりうる物体のことをいう。あらゆる物体が、ここでいう検出対象の物体とされる可能性がある。例えば人、動物、移動体(自動車、自転車、航空機等)、自然物(野菜、植物等)、工業製品/部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体を対象とすることができる。
クラスとは、画像認識を用いて認識された物体のカテゴリーである。例えば「人」「自動車」「飛行機」「船」「トラック」「標識」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように検出すべき物体をクラス分けするものである。
そして例えば「人」「自動車」「標識」等のクラスに応じて適切とされる閾値を設定する。
例えばセンサ装置側でローカルラーニングとしての学習処理を行って閾値を求める。
センサ装置が出力する画像信号について物体検出、例えば人の検出等を行う場合に、例えばその検出精度として要求されるレベルを満たすように閾値を設定する。
上記した第1の開示技術としてのセンサ装置においては、前記閾値設定部は、前記画像処理部と同一筐体の装置内に設けられるようにすることが考えられる。
例えばセンサ装置としてのユニット内、もしくはセンサ装置を含む端末装置や撮像装置内に閾値設定部が設けられるようにする。
即ち領域情報を生成するための物体検出を、アレイセンサの全領域からではなく、アクティブエリアとされた領域の情報により行うようにする。
なお領域情報に関する情報とは、領域情報の元となる物体の検出領域の情報や、領域情報そのものなどである。
即ち領域情報を生成するために物体検出を行うが、その検出対象の物体が現れる領域をアクティブエリアとする。
即ち演算部は、アレイセンサから一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を、アクティブエリアを対象とする状態に戻すようにする。
即ち演算部は所定の選択アルゴリズムに従って、キーフレームとなるフレームを選択して、アクティブエリア設定の処理を行うようにする。
閾値を設定し、テンプレートで示される取得領域の処理のパラメータを閾値に基づいて変更できるようにする。
クラスに応じた閾値を設定し、フレームレートが閾値に基づいて変更できるようにする。
センサ装置が出力する画像信号について物体検出においてオブジェクトトラッキングが維持できるフレームレートはクラス毎に異なる。そこでクラスに応じてオブジェクトトラッキングが維持できるようにする。
例えばフレームレートを指示するためアレイセンサの読み出し間隔の値などを設定値として記憶しておくが、一方のモードでは、閾値に応じて設定されたフレームレートとする。
前記画像処理部で画像処理された画像信号を外部装置に出力する出力部を備えることが考えられる。
即ちクラス認識に基づいて選択されたパラメータを用いて画像処理された画像信号を外部装置に送信出力する。外部装置とは、例えば物体検出を行う外部プロセッサやクラウドにおけるプロセッサ等が想定される。
また、上記した第1,第2,第3の開示技術のセンサ装置においては、前記出力部は、出力する画像信号についてのクラス識別に関する情報の送信も行うことが考えられる。
出力する画像信号に付随してクラス識別に関する情報、例えば識別されたクラスやオブジェクト数(物体数)などを出力する。
また、上記した第1,第2,第3の開示技術のセンサ装置においては、前記画像処理部は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理の少なくとも1つを行うことが考えられる。
即ち画像処理部では、色、輝度、色相、シャープネス、データサイズ(解像度やフレームレート)などを変化させる。
閾値を用いてパラメータを設定(変更)することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等として出力することができる。
上記の第2の開示技術に係る画像処理方法は、検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、を行い、前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う。
これにより領域情報を設定するための物体検出の処理を画像のフレーム全体を対象としなくてもよいものとする。
上記の第3の開示技術に係る画像処理方法は、検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて前記フレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする。
閾値を用いてフレームレートを設定(変更)することで、検出対象のクラスに適したフレームレートを適用する。
<1.センサ装置の構成>
<2.第1の実施の形態:分類画像適応化>
<3.第2の実施の形態:エリアクリッピング>
<4.第3の実施の形態:AROIを用いたエリアクリッピング>
<5.第4の実施の形態:インテリジェントコンプレッション>
<6.第5の実施の形態:アクティブサンプリング>
<7.第6の実施の形態:閾値設定による画像適応化>
<8.第7の実施の形態:アクティブエリアクリッピング>
<9.第8の実施の形態:閾値設定とAROIを用いたエリアクリッピング>
<10.第9の実施の形態:閾値設定によるアクティブサンプリング>
<11.移動体への応用例>
<12.まとめ及び変形例>
なお以下の説明する実施の形態としては、撮像素子アレイを有し、検出信号として画像信号を出力するイメージセンサとしてのセンサ装置1を例に挙げる。特に実施の形態のセンサ装置1は画像解析による物体検出機能を備えるものとし、インテリジェントアレイセンサと呼ぶことのできる装置である。
センサ装置1の構成例を図1に示す。なお図1にはセンサ装置1とデータ通信を行う外部装置としてプロセッサ11、外部センサ12も示している。プロセッサ11はセンサ装置1と通信接続されるあらゆるプロセッサが想定される。
ADC/ピクセルセレクタ3、バッファ4、ロジック部5は、アレイセンサ2で得られる検出信号を外部への出力のために信号処理する信号処理部30の例となる。
なお以下の説明ではアレイセンサ2は、イメージセンサとして二次元の画像信号を出力するものとするが、センサ装置1内のアレイセンサ2としては、音波検出素子を配列したセンサアレイモジュールや、触覚情報検出素子を配列したセンサアレイモジュールなどとして構成されることもある。
またアレイセンサ2の画素(撮像素子)に対するピクセル選択の機能を持つことで、アレイセンサ2において選択した画素のみについて、光電変換信号を読み出しでデジタルデータ化して出力することもできる。
つまりADC/ピクセルセレクタ3は、通常は1フレームの画像を構成する有効な画素の全てについて光電変換信号のデジタルデータ化出力を行うが、選択した画素のみについての光電変換信号のデジタルデータ化出力を行うこともできる。
例えばロジック部5では、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理等の処理により画質調整を行うことが想定される。
またロジック部5ではデータ圧縮処理、解像度変換、フレームレート変換、縦横比率変換、サンプリングレート変更など、データサイズを変更する処理を行うことも想定される。
これらロジック部5で行われる各処理については、それぞれの処理に用いるパラメータが設定される。例えば色や輝度の補正係数、ゲイン値、圧縮率、フレームレート、解像度、処理対象の領域、サンプリングレートなどの設定値がある。ロジック部5では、それぞれの処理について設定されたパラメータを用いて必要な処理を行う。本実施の形態では、これらのパラメータを後述するように演算部8が設定する場合がある。
メモリ6に記憶された画像信号は、必要なタイミングでインターフェース部7によりプロセッサ11等に送信出力される。
なお、メモリ6としてはDRAM、SRAM(Static Random Access Memory)、MRAM(Magnetoresistive Random Access Memory :磁気抵抗メモリ)などが想定される。
なおMRAMは磁気によってデータを記憶するメモリであり、磁気コアの代わりにTMR素子(tunneling magnetoresistive)を使用するものが知られている。TMR素子は数原子分という極めて薄い絶縁物の層を磁性体ではさんだもので、磁性体の層の磁化の方向によって電気抵抗が変化する。TMR素子の磁化の方向は電源が切られても変化せず、不揮発性のメモリとなる。微細化すればするほど書き込み電流を大きくする必要があるため、メモリセルを微細化するためには、磁界を使わず、スピンがそろった電子を流して書き込むスピン注入磁化反転方式(STT:spin torque transfer)を用いたSTT−MRAMが知られている。
もちろんメモリ6の具体例としては、これら以外の記憶素子でもよい。
プロセッサ11は外部センサ12の検出情報を参照することもできる。
なお、プロセッサ11は、有線又は無線でセンサ装置1と接続されることが考えられる。
このプロセッサ11は、センサ装置1と共通の筐体に設けられることが考えられる。例えばセンサ装置1を装備する撮像装置や端末装置内のプロセッサとされることが想定される。
或いはまた、プロセッサ11は、センサ装置1とは別体の装置に設けられるものでも良い。例えばセンサ装置1を装備する撮像装置や端末装置とケーブルや無線通信等で接続される情報処理装置、端末装置、画像編集装置、モニタ装置、通信装置等に内蔵されるものでもよい。
さらにプロセッサ11は、例えばクラウドコンピューティングシステムにおけるプロセッサとされ、センサ装置1或いはセンサ装置1を内蔵する機器との間でネットワーク通信が行われるものでもよい。
またキーフレーム選択部81は、フレームレートに関するモード(第5の実施の形態におけるアイドリングモードとノーマルモード)を切り換える処理を行う場合もある。
画像信号から検出される物体とは、画像からの認識を目的として検出対象となりうる物体のことをいう。センサ装置1やプロセッサ11の検出の目的、処理能力、アプリケーション種別などに応じて、どのような物体が検出対象とされるかは異なるが、あらゆる物体が、ここでいう検出対象の物体とされる可能性がある。あくまで一部であるが例示すると、動物、移動体(自動車、自転車、航空機等)、自然物(野菜、植物等)、工業製品/部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体が該当する可能性がある。
また第2の実施の形態で説明するように、物体領域認識部82は、バウンディングボックスに基づいて、処理の対象とすべき領域(関心領域)を示す領域情報であるROI(Region of Interest)を算出する処理や、ROIに基づくADC/ピクセルセレクタ3に対する制御等を行う場合もある。
クラスとは、画像認識を用いて認識された物体のカテゴリーである。例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように検出すべき物体をクラス分けするものである。
またパラメータ選択部84は、第3の実施の形態のように、バウンディングボックスを元にROIを算出するクラスをベースに予めクラス別に算出されたアドバンスドROI(Advanced ROI:AROI)のテンプレートを記憶しており、そのテンプレートを選択する処理を行う場合もある。
またパラメータ選択部84には、第5の実施の形態におけるアイドリングモードとノーマルモードの設定値を記憶し、これを物体検出に基づいて選択して、信号処理部30を制御する処理を行う場合もある。
また例えばプロセッサ11側が、インターフェース部7に対して必要な情報を指示し、インターフェース部7がそれに応じた情報を出力することも考えられる。
図1の構成のセンサ装置1により実行できる第1の実施の形態の処理として分類画像適応化の処理を説明する。
そして画像認識にとって望ましい画質、つまり物体検出の精度が高くなる画質は、必ずしも人が見て綺麗と感じる画質ではないということがある。
例えば図2Aは人がみて高品質と感じる画像の例を示し、一方図2Bは例えば階調数が少なくされるなどにより、人が見た感覚では、多少画質が劣化していると感じる画像であるとしている。
ところが図2Aの画像をニューラルネットワークにより解析した場合の物体検出結果としては、花を魚(fish)と誤判定しており、一方、図2Bの画像に対しては花を正しく花(flower)と判定している。
この例からわかるように画像認識の精度を高めるには、人の美観を基準とした画質調整とは異なる画質調整が行われることが望ましい。
センサ装置1では撮像光学系40により被写体光がアレイセンサ2に集光され、画像撮像が行われる。得られた画像信号Gはロジック部5で処理されるが、演算部8にも供給される。
演算部8では物体領域認識部82で候補となる物体の検出及びその物体領域の認識処理が行われる。この物体領域認識部82では、必要な物体領域についてバウンディングボックスの計算も行われる。
また演算部8では、検出された物体についてクラス識別部83でクラス識別が行われる。複数の物体や複数種類の物体が検出された場合、それぞれについてクラス識別が行われ、各クラスに分類される。例えば図の場合、「車」というクラスの物体が1つ、「人」というクラスの物体が5つ、「交通信号機」というクラスの物体が1つというようにクラス識別及び分類が行われる。
なおパラメータセットとは、例えばゲイン設定値、色補正係数、階調数、圧縮率、フレームレートなど、ロジック部5の処理で用いる複数のパラメータの値を1つのセットとして記憶したものである。
またプロセッサ11は、センサ装置1に対して各種の指示を送信できる。
例えば「人」というクラスのパラメータセットを生成する場合、図4Aに示すように、人間の画像を多数、学習データSDとして用いてディープラーニングを行い、人の認識という観点で最も画像認識率が高いパラメータセットPR1を生成する。
他の各クラスについても、同様にディープラーニングを用いて最も画像認識率が高いパラメータセットPR2,PR3・・・を生成する。
そして図4Bのように、生成した各クラスに対応するパラメータセットPR1,PR2,PR3・・・を、パラメータ選択部84が選択できるように記憶しておく。
図5はステップS100としてアレイセンサ2から1フレーム単位の画像信号の出力が開始された後において、センサ装置1(主に演算部8)で実行される処理を示している。
この図5において演算部8の処理は図1に示したキーフレーム選択部81、物体領域認識部82、クラス識別部83、パラメータ選択部84としての各機能により実行される処理である。なおこのことは、後述する図9、図14、図16、図18でも同様である。
センサ装置1はアレイセンサ2のピクセルアレイ出力信号であるフレーム単位の画像信号から、キーフレームを選択し、画像認識を行うことで、撮影対象のクラスを認識することになる。キーフレームの選択はキーフレーム選択アルゴリズムにより行われ、これにより静止画像(ある1フレーム)が選択される。
キーフレーム選択アルゴリズムの例を挙げる。
まず、指定した時間の間隔ごとに1フレーム選択するという手法がある。例えば30秒間隔で1フレームをキーフレームとするなどである。もちろん30秒というのは一例である。
またセンサ装置1の外部(プロセッサ11等)からの命令によるタイミングとしてキーフレームを選択することも考えられる。例えばセンサ装置1が搭載されているデバイス、機器側からの指示に応じたものとする。例えばセンサ装置1が自動車に搭載されているケースで、駐車場に停止していたが、走行を開始したタイミングなどでキーフレームを選択するなどである。
またキーフレームの選択手法を状況に応じて変化させてもよい。例えばセンサ装置1が自動車に搭載される場合に、停車時、通常走行時、高速走行時でキーフレームの間隔を変更するなどである。
即ち演算部8はキーフレームの画像において検出すべき物体の候補を探索し、1又は複数の候補の位置(画像内の位置座標)を求める。
例えば図6Aの入力画像がキーフレームとされたとする。演算部8はこの画像の中で検出すべき物体らしい箇所を検出する。例えば図6B、図6Cの領域が検出すべき物体らしい箇所とされる。これが物体の候補となる。
上述のようにクラスとは画像認識を使って認識された物体のカテゴリーである。
例えば図6D、図6Eのように、「人」「花」といったクラス識別が行われる。
ターゲットクラスは、クラスの中でプロセッサ11から特別に設定されたクラスである。例えばターゲットクラスが「人」と設定されていた場合は、センサ装置1は人を認識したときに指定されたプロセスに入るものとする。
なおターゲットクラスは、複数指定可能とすることが望ましい。
一方、ターゲットクラスが存在しなければ、演算部8はステップS101に戻って、次のキーフレームの選択を行うことになる。
図6F、図6Gにバウンディングボックス20を示している。バウンディングボックス20は、X軸上の領域範囲としての最小座標値Xmin、最大座標値Xmax、及びY軸上の領域範囲としての最小座標値Ymin、最大座標値Ymaxにより規定される。
例えば1つのターゲットクラスが存在する場合は、そのクラスに対応するパラメータセットを選択する。
画面内に複数種類のターゲットクラスの物体が存在する場合は、以下の例が考えられる。
例えば、各クラスのうち最も物体の数の多いクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、最もバウンディングボックス20の面積が大きい物体のクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、クラス毎にバウンディングボックス20の面積の総計が最も大きくなるクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、クラス毎の物体の数とバウンディングボックス20の面積の総計(又は最大値)から、最優先のクラスを求め、そのクラスに対応するパラメータセットを選択することが考えられる。
もちろん他にもパラメータセットの選択手法は各種存在するが、いずれにしても画面内で支配的な物体、もしくは優先して検出すべき物体のクラスに応じたパラメータセットが選択されるようにすればよい。
これによりロジック部5では以降、順次入力される各フレームの画像信号について、設定されたパラメータセットを用いて各種の画像処理を行う。
処理された画像信号や設定されたパラメータ、或いは識別されたクラスの情報などはDRAM6に一時的に記憶される。
つまりDRAM6に一時記憶された情報のいずれかが、プロセッサ11の要求に応じてインターフェース部7により読み出されて送信される。
なお、このステップS108の処理は、演算部8の制御によるものとしてもよいが、インターフェース部7を介したプロセッサ11によるDRAM6に対するアクセスにより実行されるものでもよい。演算部8がインターフェース部7の制御を行わない場合、演算部8の処理としては、ステップS107の後、ステップS101に戻ることになる。
また検出されたクラス(ターゲットクラス)や物体数の情報もプロセッサ11に提供されれば、プロセッサ11での物体検出処理に有用な情報となる。
これらにより、プロセッサ11で精度の高い物体検出を行うことができる。
なお、センサ装置1内では簡易的にクラス設定を行い、外部でより細かく認識するという使い方もできる。例えば顔認識やナンバープレート認識まではセンサ装置1で実行せずに、プロセッサ11に実行させるような処理も可能である。
また図5の処理例では、ステップS102で物体らしい箇所を検出し(図6B、図6C)、ステップS103でクラス識別し(図6D、図6E)、その後ステップS105でバウンディングボックス20の設定を行う(図6F、図6G)ものとしているが、この手順に限られない。例えばステップS102の段階で、物体らしい箇所を検出したらバウンディングボックス20の設定をしてしまい、その後、ステップS103でクラス識別を行い、ターゲットクラスが存在したらステップS104からS106に進むような手順でもよい。
図1の構成のセンサ装置1により実行できる第2の実施の形態の処理としてエリアクリッピングを説明する。
しかし全フレームの全画素の情報をプロセッサ11に転送し、プロセッサ11で物体検出していくと、特にアレイセンサ2による撮像画像の高精細化が進むにつれ、転送情報量が著しく増大し、転送時間も要するようになる。またクラウド送信する場合には通信量の増大は通信コスト、時間に大きく影響する。さらにプロセッサ11やクラウドにおけるストレージ量の負担も増え、かつ解析処理負担、処理時間も増え、物体検出パフォーマンスが低下する懸念がある。
そこで第2の実施の形態では、あるフレームの画像において必要な物体を認識したら、次のフレーム以降は、おおよそ当該物体の領域の画素レベルで画像信号の取得や転送を行うようにし、他の領域の画素は情報として存在しないようにすることで、処理の効率化を図るようにする。
図7Aに或るフレームF1の画像を示している。検出すべき物体として「人」を設定した場合、フレームF1の画像内で人の領域を検出する。そして人が検出された領域を関心領域であるROI(Region of Interest)21とする。
以降のフレームF2、F3・・・Fnでは、アレイセンサ2から、ROI21とされた領域内の画素のみを読み出すようにする。その画像は図7BのようにROI21の部分の情報のみを含む画像となる。
そしてこのような部分的な画素情報を含む画像信号に基づいて演算部8における解析が行われたり、プロセッサ11へ転送されて画像解析が行われるようにする。
後続のフレームF2を取得する際には、図8Bのように対象エリアとされたROI21の画素のみAD変換が行われた画像信号が取得されるようにする。なお図において格子で区切られた各方形は画素を示す。
このように例えばNフレームごと1フレームだけ全画面スキャンして対象物の検出を行い、図8Cのように以降のフレームF2,F3,F4・・・では前フレームの対象物の検出エリアのみ画像解析を行う。
このプロセスを行うことで、アプリケーションの対象となる物体検出の精度を落とすことなく、解析データ量の削減、通信データ量の低減が行われ、センサ装置1の低消費電力化とセンサ装置1を搭載したシステム全体の物体検出に関わる画像解析の高速化が行われる。
物体検出キーフレーム記録タイミングとは、物体検出の為にアレイセンサ2の全有効画素領域で情報取得を行うタイミングを意味する。
物体検出キーフレーム記録タイミングとしては、例えばプロセッサ11等のセンサ装置1の外部からの命令で判定するようにしてもよい。例えば60secの指示に応じて、60secの間隔で物体検出キーフレーム記録タイミングと判定することが想定される。
図10Aに示すように、例えばフレームF1を物体検出キーフレームとしたときに、このフレームF1の画像内で、物体の候補領域23を検出する。この場合、「人」や「木」の画像を含む領域が候補領域23とされている。
例えば図10Bのように、候補領域23の物体について「人」「木」などのクラス識別を行う。
例えば「人」がターゲットクラスとされていた場合、図10Bのように識別されたクラスとしてターゲットクラスが存在していることになる。そのような場合、演算部8は図9のステップS205からS206に処理を進める。
一方、ターゲットクラスが存在しなければ、演算部8はステップS201に戻って、次の物体検出キーフレーム記録タイミングを待機する。
例えば図10Cにターゲットクラスである人の画像についてのバウンディングボックス20の例を示している。即ちバウンディングボックス20はターゲットクラスに該当する物体のより正確な領域として計算される。
図10DにROI21とバウンディングボックス20を示している。ROI21はバウンディングボックス20の縦横サイズ(x×y)を拡大(ax×by)して計算される。拡大の縮尺a,bは縦横別に設定でき、拡大率は固定でもよいが、センサ装置1の外部(例えばプロセッサ11など)より指定されるようにすることも考えられる。
演算部8(物体領域認識部82)は、このように計算したROIをADC/ピクセルセレクタ3に伝える。
演算部8は図9のステップS208で、ROI21内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップS203、S204の処理を行う。
このようなAD変換により、図10FのようにROI21の部分のみの情報を有するフレームF2の画像が演算部8に取得される。
そして演算部8は、図9のステップS203、S204で、このフレームF2の画像に対して物体候補の位置の検出とクラス分類を行うが、例えばこの図10Fの場合、人が検出されるため、ステップS206、S207に進み、新たにバウンディングボックス20の算出や、バウンディングボックス20に基づく新たなROI21の算出が行われることになる。図10Fでは新たに求められたROIを「ROI21(NEW)」として示している。
例えば図10EのフレームF2の人の位置は、図10AのフレームF1の人の位置より右方向に変化している。しかしROI21が広めに設定されていることで、ROI21内の画素のみであっても、フレームF2において、対象の人の画像を取得でき可能性を高めている。
なお、このようにROI21は次のフレームでも対象の物体を検出できるようにバウンディングボックス20を広げるが、縦横サイズ(x×y)を拡大(ax×by)するときの拡大の縮尺a,bは、フレームレートに応じたものとすることも考えられる。
例えばフレームレートが低いと、フレーム間隔の時間が長くなり人などの物体の移動量も大きくなるため、フレームレートが高い場合よりもROI21を広くすることが考えられる。
人の移動により、図10Fの画像からはROI21内の右寄りの位置で人が検出される。そこで新たに人の領域を囲むバウンディングボックス20を計算してROI21を求めることで、ROI21(NEW)のように、人の動きに追従していくようにROIを更新していく。
演算部8はステップS207では、新たなROI21(NEW)をADC/ピクセルセレクタ3に伝える。これにより、次のフレームは、新たなROI21(NEW)内の画素のみがAD変換されることになる(図10G参照)。
そして同様に演算部8はステップS208で、ROI21(NEW)内の画素の情報のみの画像信号を取得し、ステップS203以降の処理を行う。
もし、検出されていた人がフレームアウトして検出できなくなると、ターゲットクラスが取得できなくなるため、演算部8はステップS205からS201に戻り、次の物体検出キーフレーム記録タイミングを待機する。
これは例えばある程度の時間間隔の物体検出キーフレームで発見された物体を追尾して解析したいような使用目的であれば問題ないが、例えば被写体として出現する全ての人を監視する監視システムなどに適用する場合では、物体検出キーフレーム以外のフレームで出現する物体についても検出対象としたい。
そこで、例えば、ターゲットクラスの物体の検出が継続されていても(つまりステップS205で「YES」の判定が続く場合であっても)、所定時間間隔で必ずステップS202に戻り、全有効画素の画像信号を取得するようにすることが考えられる。
全有効画素の画像信号を取得する時間間隔をプロセッサ11等から指定できるようにすることも好適である。
例えばセマンティックセグメンテーション、即ち画素レベルでの物体エリア検出を用いて、そのターゲットクラスの物体のエリアからROI21を計算してもよい。
図11はセマンティックセグメンテーションに基づくROI21を示している。これは物体(例えば人物)としての画素領域を広げて、非矩形のROI21を設定した例である。
例えば突起物のあるトラック、自転車に乗っている人など、矩形のROI21では一部が含まれなかったり、或いは大きすぎる状態になってしまうことがある。画素レベルの物体位置に応じて非矩形のROI21を生成すれば、データ量削減と必要な情報取得を両立できるROI21となる可能性を高くすることができる。
図1の構成のセンサ装置1により実行できる第3の実施の形態の処理としてアドバンスドROI(「AROI」とも表記する)を用いたエリアクリッピングを説明する。
アレイセンサ2(イメージセンサ)では光電変換で消費される電力が最も大きい。このため消費電力削減には、できるだけ光電変換する画素を少なくしたい。
またアレイセンサ2により得る画像信号は、画像解析のためであって人が見るわけでないので、人が見て認識できたり、きれいな画像であったりする必要は無い。換言すれば、精度よく物体検出できる画像であることが重要である。
例えば上記の第2の実施の形態では、検出した物体についてクラス識別を行うが、このようにクラス識別を行うのであれば、クラスに応じた、認識のための最低限のエリアがROIとして設定されるようにすればよいことになる。そこで図12,図13に示すようなAROI22を設定する。
例えば「人」というクラスに対応するテンプレートは、顔の部分を高密度に必要画素とし、身体部分は必要画素を低密度に配置して全体をカバーできるようなものとされる。
また図13は「自動車」というクラスに対応するテンプレートを用いて生成したAROI22を示している。この例では、自動車の背面画像に適応するもので、例えばナンバープレートが位置する部分を高密度に必要画素とし、それ以外は必要画素を低密度に配置して全体をカバーできるようなものとされる。
実際には、「人」のクラスも細分化して、「横向きの人」「正面向きの人」「座っている人」などとしてテンプレートを細分化したり、「自動車」のクラスについては「側面画像」「正面画像」「背面画像」などとしてテンプレートを細分化しることも考えられる。
なおステップS201からS206は図9と同様の処理であるため重複説明を避ける。
そして演算部8(パラメータ選択部84)はステップS210で、クラスを元に予め算出して記憶しているAROI用のテンプレートを選択する。
例えば「人」がターゲットクラスであり、画像内に人が存在した場合は、「人」用のテンプレートを選択する。
例えばバウンディングボックス20のサイズに応じてテンプレートのサイズを調整したものをAROI22とする。
そして演算部8(物体領域認識部82)は、そのAROI22(AROIのパターンと領域)をADC/ピクセルセレクタ3に伝える。
演算部8はステップS212で、AROI22内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップS203、S204の処理を行う。
以降の処理の流れは図9で説明したものと同様である。
なお第2の実施の形態で言及した物体検出キーフレーム記録タイミングが或る時間間隔で必ず発生するようにすることや、画像の周縁部を常にAD変換対象の領域としておくようにすることは、この第3の実施の形態でも適用できる。
また、以上の第3の実施の形態のAROI22を用いたエリアクリッピングと、第1の実施の形態の分類画像適応化処理を組み合わせて実行することで、データ量削減と検出精度向上という効果をより有効に得ることができる。
図1の構成のセンサ装置1により実行できる第4の実施の形態の処理としてインテリジェントコンプレッションの処理を説明する。
具体例を図15に示す。
図15Aは或る1フレームの画像からターゲットクラスである「自動車」のクラスを検出した場合に、各自動車の領域に対応してROI21を生成した状態を示している。
図15Bは、このROI21の領域を低圧縮率、その他を高圧縮率で圧縮した画像信号である。
このようにすることで、物体検出のアプリケーションの対象となる物体の検出精度を落とすことなく、解析データ量の削減や通信データ量の低減が行われるようにする。
またセンサ装置1の低消費電力化とセンサ装置1を搭載したシステム全体の物体検出に関わる画像解析の高速化も図る。
なおステップS201からS206は図9と同様の処理である。但し先に説明したエリアクリッピングの場合とは若干事情が違う点があるためこれらの処理にも言及する。
物体検出キーフレーム記録タイミングとなったら、演算部8はステップS202に進み、アレイセンサ2の全有効画素領域でAD変換された画像データを取得する。
但し、インテリジェントコンプレッションの場合、ADC/ピクセルセレクタ3は、毎フレーム、アレイセンサ2からの全画素の信号の読み出し(AD変換)を行っている。
ステップS205で演算部8はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
演算部8(物体領域認識部82)は、このように計算したROI21をロジック部5に伝える。
圧縮処理された画像信号は、その後DRAM6に書き込まれ、インターフェース部7によりプロセッサ11に転送される。
プロセッサ11では、ROI21で指定された必要な領域は低圧縮率とされており、情報が十分に存在することで、精度のよい物体検出が可能となる。
この第4の実施の形態では、アレイセンサ2からの読み出しは各フレームにおいて全有効画素とするものであり、従って、ステップS220、S211の後にステップS203に戻った場合にも、演算部8はステップS203で、全有効画素の範囲をスキャンして物体の候補の検出を行うことは可能である。全有効画素の範囲をスキャンして物体の候補の検出を行うことで、キーフレーム記録タイミングの間での新たなターゲットクラスの物体の出現にも常に対応できる。
しかしこの場合に、演算部8が物体の候補の検出をROI22内の領域のみで行うようにすると、演算部8の処理負担を削減できることになる。
従って、ロジック部5において低圧縮率で圧縮される領域も、各フレームの物体の位置に応じて更新されていくことになる。
また、以上の第4の実施の形態のインテリジェントコンプレッションの処理と、第1の実施の形態の分類画像適応化処理を組み合わせて実行することで、データ量削減と検出精度向上という効果をより有効に得ることができる。
図1の構成のセンサ装置1により実行できる第5の実施の形態の処理としてアクティブサンプリングを説明する。
アクティブサンプリングは、対象物の有無でフレームレートをダイナミックに変化させる処理を指している。対象物の有無に応じた時間軸方向のデータ量の圧縮であるといえる。またセンサ装置1の電力消費の削減も図ることができる。
今、ターゲットクラスを「人」として、撮像画像から人の検出を行うとする。例えばビルの中から玄関を通して外を監視カメラで撮像している場合を想定する。
図17Aは、撮像画像に人が含まれていない状態を示している。このような場合は、フレームレートを低いレート、例えば1fpsとする。
図17Bは、撮像画像内に人が検出される状態を示している。このような場合は、フレームレートを高いレート、例えば100fpsに変更する。
即ち、検出対象を限定してフレームレートをダイナミックに変化させることで、特に必要のないとされるとき(人が検出されないとき)はフレームレートを落とし、必要なとき(人が検出されているとき)は、フレームレートを上げて情報量を密とする。
ステップS301で演算部8(キーフレーム選択部81)は、例えば予め演算部8内に記憶されているアイドリングモードの設定に従って、ADC/ピクセルセレクタ3へ動画撮像の設定を行う。
例えば演算部8内でパラメータ選択部84には、アイドリングモードの設定とノーマルモードの設定が記憶されているようにする。
このアイドリングモードではノーマルモードよりも遅いフレームレートで動画撮像が行われる。
アイドリングモードはセンサ装置1の外部からの命令で開始することが考えられる。またアイドリングモードは、センサ装置1の外部からアイドリングモード用データ取得タイミング間隔の命令に応じるようにしてもよい。例えば60secの指示があった場合、60secの間隔で物体検出キーフレーム記録タイミングとなる。
通常アイドリングモードよりも早いフレームレートで動画撮影が行われるもので、例えば0.01secの指示があった場合、0.01secの間隔(100fps)で撮像を行うモードとなる。
なおアイドリングモードの設定とノーマルモードの設定は、必ずしも演算部8内に記憶されるのではなく、演算部8の外部メモリに記憶されてもよい。
もちろんアイドリングモード、ノーマルモードのフレームレートは一例である。
またアイドリングモード、ノーマルモードの設定値はプロセッサ11等の外部装置から書き換え可能とされていることが望ましい。
ステップS303で演算部8(クラス識別部83)は、候補として検出された物体のクラス分類を行う。
ステップS304で演算部8はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスが存在しなければ、演算部8はステップS301,S302,S303の処理を行う。即ちアイドリングモードとしての次のフレームの画像を取得し、同様に物体の候補となる位置の検出やクラス識別を行う。この場合は例えば1fpsで撮像が行われているとすると、1秒後の画像についてこれらの処理を行うこととなる。
演算部8(キーフレーム選択部81)は、記憶されているノーマルモードの設定に従って、ADC/ピクセルセレクタ3へ動画撮像の設定を行い、ノーマルモードの撮像を指示する。
従って仮にノーマルモードの設定が100fspであれば、動画撮像は例えば0.01sec間隔で行われるようになる。
このようにノーマルモードに切り換えた状態で演算部8はステップS302、S303の処理を行う。
なお、演算部8は、ADC/ピクセルセレクタ3にフレームレート変更を指示してフレームレートを可変させるとしたが、ロジック部5にフレームレート変換を指示してもよい。
例えばアレイセンサ2からの読み出しは常に100fpsで行い、アイドリングモードの場合は、ロジック部5にフレーム間引きを指示する。これによりプロセッサ11への伝送に関してのデータ量削減が可能である。
また、アクティブサンプリングの処理と第1の実施の形態の分類画像適応化処理を組み合わせることで、有効なデータ量削減に加えて検出精度を向上させることもできる。
第6実施の形態の処理として画像適応化の処理を説明する。ここで説明する例は、第1の実施の形態の分類画像適応化の処理に、さらに閾値設定に応じたパラメータ変更という考え方を加える例としている。
またパラメータとしては、ADC/ピクセルセレクタ3での信号読出やアレイセンサ2での露光動作等の撮像処理に用いるパラメータも想定される。ADC/ピクセルセレクタ3やアレイセンサ2の撮像処理動作の制御パラメータ等が、例えばセンサ装置1内で設定された閾値を満たすように設定(調整・変更)されるようにする。
或いは、必ずしもクラス識別に基づいて選択されたパラメータに限らず、ロジック部5やADC/ピクセルセレクタ3やアレイセンサ2で用いられるパラメータであれば、閾値に基づいて設定されるようにすることが考えられる。
例えば画像処理に関するパラメータは次のように例示される。
・画像の縦横比率
・解像度
・色階調数(色数、またはビット数)
・コントラスト調整値
・シャープネス調整値
・グレーレベル調整値
・ガンマ補正値
・サンプリングレート変換比
色階調数、コントラスト調整値、シャープネス調整値、グレーレベル調整値、ガンマ補正値、解像度は、画質に関するパラメータとなる。
サンプリングレート変換比は時間解像度のパラメータとなる。
・サンプリングレート
・解像度(例えばADC/ピクセルセレクタ3の読出時点で設定する解像度)
・アレイセンサ2のシャッタスピード(露光時間)
などがある。
即ち、解像度や色数などのパラメータを変更して撮像データ量を低減するが、それによっても物体検出の精度が、必要なレベルで維持されるようにする。
例えばセンサ装置1で人を撮像した場合に、その出力画像としては、アレイセンサ2の全ての画素(全ての有効画素)の情報を有し、例えばフレームレートとして60fps(frames per second)でフルカラーの画像データを出力したとする。
そして、そのような画像データについて例えばプロセッサ11で物体検出を行った場合に、コンフィデンスレートCR=0.98として、98%の割合で、正しく人検出ができたとする。コンフィデンスレートとは、正しく物体を判別して検出できる確証性の割合である。
また、解像度をより下げ、色の階調数もより下げ、フレームレートを15fpsにした画像データを出力した場合、コンフィデンスレートCR=0.81となったとする。
さらに、解像度を大幅に下げ、色の階調数も大幅に下げ、フレームレートを10fpsにした画像データを出力した場合、コンフィデンスレートCR=0.58となったとする。
以上はあくまでも説明上の例であるが、このように解析対象の画像データの解像度や色数、時間解像度などの撮像または画質に関わるパラメータの変更を行うことでコンフィデンスレートが変動する。つまり画像解析や物体検出の精度が変わる。
例えば図7Aのように公園を俯瞰撮像する画像からおおざっぱに人の数を検出したいといった場合を考えた場合、さほどの正確性は要求されない。例えば数人、10人前後、20人前後、などといった検出結果を求める場合は、コンフィデンスレートCR=0.6程度でも十分かもしれない。
一方、防犯カメラ等で人の侵入等を厳しく監視したいような場合、コンフィデンスレートCR=0.95程度が求められる場合もある。
また昼間はコンフィデンスレートCR=0.70でも良いが、夜間はコンフィデンスレートCR=0.90程度にしたいという要望もあり得る。
さらには、コンフィデンスレートは、プロセッサ11の解析能力、学習程度によっても変動するし、検出対象、クラスによっても変動する。
これらのことから、例えば求められる適切なコンフィデンスレートを基準に閾値を決め、それに応じてパラメータを変更することで、物体検出等の要求に合致した画像信号の出力を行うことができる。
その場合に、コンフィデンスレートCRとしての閾値0.80以上となるようなパラメータを計算し、ロジック部5等で用いられるパラメータを設定する。特には閾値より高いが、比較的データ量が少なくなるようなパラメータを設定する。
例えば図示するコンフィデンスレートCR=0.81となる解像度、色階調数、フレームレートなどのパラメータが設定されるようにする。
すると、例えばコンフィデンスレートCR=0.98となるようにパラメータを設定して画像信号を出力する場合に比べて、大幅にデータ量を削減し、しかも必要な物体検出精度を維持できる。
なお、「閾値」とは、コンフィデンスレートとしての要求される値と考えても良いが、パラメータ調整のために算出する閾値という意味では、要求される「閾値」としてのコンフィデンスレートを得るためのパラメータの値としても考えることもできる。
つまり技術的な意味では、「パラメータの閾値を設定し、閾値に基づいて設定したパラメータを用いた処理が行われるようにする」という処理は、次の[1][2]のような処理手法が想定される。
[1]使用態様や使用環境に適したコンフィデンスレート等の指標値の閾値を算出し、その指標値の閾値を越える指標値が得られるパラメータ値として実際に使用するパラメータを設定する。つまり物体検出の指標値の観点でパラメータの閾値を設定する。
[2]コンフィデンスレート等の指標値としての要求される値を得るためののパラメータの閾値を算出し、その閾値に基づいて実際に使用するパラメータを設定する。つまりパラメータ自体の値という観点でパラメータの閾値を設定する。
例えばセンサ装置1の用途、ターゲットクラスや撮像環境に合わせてDNN処理により適切な閾値やそれに応じたパラメータを算出し、パラメータ変更を行うことで、アプリケーション等に適応した高速化、低消費電力化、高精度化を行う。
特に、第6の実施の形態のとして説明する例では、パラメータ調整は物体検出のコンフィデンスレートによる閾値を設けて、その閾値になるべく近く、かつ閾値を下回らないようにするパラメータの設定値を算出するものとする。
図20Aはクラスとして「人の顔」に分類される画像を示し、図20Bはクラスとして「ロードサイン(標識)」に分類される画像を示している。
まず図21に、センサ装置1の構成例を示す。但し、図1と同じ構成要素については同一符号を付し、重複説明を避ける。
この図21の構成は、図1と比較して、例えばAIプロセッサとして構成される演算部8内の演算機能として、閾値設定部85が設けられている点が異なる。
具体的には閾値設定部85は、例えばロジック部5で画像処理に用いるパラメータを、閾値に基づいて変更し、変更したパラメータをロジック部5に設定する。
また或いは、閾値設定部85は、例えばアレイセンサ2での露光動作やADC/ピクセルセレクタ3の読出処理、AD変換処理などの撮像処理に用いるパラメータを、閾値に基づいて変更して、変更したパラメータをアレイセンサ2やADC/ピクセルセレクタ3に設定する。
この図22では、図5の処理に閾値設定部85による処理としてのステップS150,S151が追加されたものとしている。
a.所定の時間間隔毎:例えば撮像開始から1時間間隔毎
b.所定の設定時刻毎:例えば時刻0:00am毎
c.所定のターゲットクラスの出現回数毎:例えばターゲットクラスが1000回出現する毎
d.所定のターゲットクラス撮像時間毎:例えばターゲットクラスが撮像されている時間が5時間経過する毎
e.外部からの命令によるタイミング:例えばプロセッサ11など、センサ装置1が搭載されているデバイス/機器側からの指示
解像度を落としていくとデータサイズは減り、計算コストも下がるメリットがあるが、一般的に反対にコンフィデンスレートは下降していく。
図23Aには横軸に解像度、縦軸にコンフィデンスレートを示している。
図示のようにコンフィデンスレートの下降は、ある解像度(変曲点)以下の低解像度になると大きく下降する。そこで例えば解像度を変更しながらコンフィデンスレートと解像度の関係のカーブの変曲点を求める。その変曲点又は変曲点付近を閾値と考えて解像度を落とすようなパラメータ設定を行う。
物体検出のクラス分類はそのクラスによって、必ずしも色数が多いほうがコンフィデンスレートが高いわけではなく、対象となるクラスによって、コンフィデンスレートが最大となる最適な色数がある。
図23Bには横軸に色階調の数、縦軸にコンフィデンスレートを示している。
図示のようにコンフィデンスレートのピークが観測される場合、その最大値に基づいて閾値を計算する。例えば最大値(コンフィデンスレートと色階調数の関係のカーブのピーク)を閾値と考えたり、又は最大値に近い所定範囲(所定%のコンフィデンスレートを低下させた値など)を閾値として考える。そして閾値に応じて色階調数のパラメータを設定する。
バッテリー残量を元にN時間撮像が可能なパラメータ設定を求め、その中でコンフィデンスレートが最も高くなるように(或いは所定以上となるように)パラメータを設定する。
例えばなるべく撮像時間が長く得られるように、コンフィデンスレート等の閾値をバッテリー残量に応じて低下させ、そのコンフィデンスレートに応じたパラメータ設定が行われるようにすることが考えられる。
オブジェクトトラッキングとは、連続する画像信号のフレームにおいて特定の検出物体(オブジェクト)を、フレーム進行方向で追尾認識することである。
一般的に画像信号の時間解像度を下げるとオブジェクトトラッキングにかかる計算コストが高くなる。
このオブジェクトトラッキングの維持ができるパラメータということを閾値とし、オブジェクトトラッキングの低計算コスト化優先で時間解像度や他のパラメータを決める。
この図24の演算部8の処理は図21に示した物体領域認識部82、クラス識別部83、閾値設定部85としての各機能により実行される処理である。
即ち演算部8はフレーム画像において検出すべき物体の候補を探索し、1又は複数の候補の位置(画像内の位置座標)を求める。
ターゲットクラスは、上述のように例えばプロセッサ11から設定されたクラスである。即ちプロセッサ11での物体検出の対象とされているクラスが想定される。
ターゲットクラスが存在した場合、演算部8はステップS163からS164に処理を進める。
例えば演算部8内部の記録領域に記録させたり、メモリ6の所定領域に記録させたり、或いはプロセッサ11に転送して記録させる。
これによりターゲットクラスに応じた閾値やパラメータが設定される。
例えば人がターゲットクラスであったら、人に対応するパラメータセットの全部又は一部のパラメータが閾値に応じて変更される。
このロジック部5にセットされるパラメータセットは、ターゲットクラスに適応するパラメータセットであるが、上記ステップS151の処理で算出された閾値に基づいて変更されたパラメータセットとなる。
演算部8(閾値設定部85)は、このようにロジック部5で用いられるパラメータが変更されるように、必要な処理、例えばパラメータのロジック部5への転送或いは変更指示を行うことになる。
従ってインターフェース部7から出力される画像信号は、プロセッサ11で必要とされる物体検出の精度が維持できる画質等であって、しかもデータ量の少ないものとすることができる。
例えばステップS150,S151,S107,S108のみの処理例(図22においてステップS101からS107を無くした処理例)も考えられる。
そしてステップS107の時点では、閾値に応じて設定されたパラメータがロジック部5やアレイセンサ2やADC/ピクセルセレクタ3に設定されるようにする。
つまり演算部8(閾値設定部85)は、閾値に応じて設定したパラメータをロジック部5、アレイセンサ2、ADC/ピクセルセレクタ3の一部又は全部への転送し、或いは変更指示を行うようにする。
この場合、クラスに応じたパラメータセットを用いるという考え方によらずに、例えばロジック部5、アレイセンサ2、ADC/ピクセルセレクタ3において例えばデフォルトで設定されたパラメータを、逐次、閾値算出に基づいて変更していくような処理が実現されることになる。
図25は、端末装置100として、センサ装置1とは別体に演算部8が設けられている構成例である。なお端末装置100としては、情報処理端末、撮像装置端末等、各種が考えられる。
演算部8は、センサ装置1とは別チップとされて端末装置100内に設けられ、センサ装置1とインターフェース部7を介して通信可能とされる。
そして演算部8は閾値設定のためのDNNエンジンとなる閾値設定部85を備える。
これにより、図25の演算部8も上記図22の場合と同様の処理を行うことができる。
例えば端末装置100として、センサ装置1(演算部8を含む)、プロセッサ11、外部センサ12、及び閾値設定部85を有する構成である。
この場合も閾値設定部85は、センサ装置1とはインターフェース部7を介して通信可能とされ、演算部8と連携して上記図22と同様の処理を行うことができる。
第7の実施の形態として、上述の第2の実施の形態のROIを用い、更に効率的な処理を実現する例を説明する。
なお以下の第7の実施の形態の処理は、図1,図21,図25,図26のいずれの構成であっても適用できる。
ここでROI21とされる領域が、画像内の特定の領域に集中する場合があることに着目する。
例えばこの場合、過去の所定期間内では、バウンディングボックス20(及びROI20)の設定位置は、画像内で床に近い領域となっている。
換言すれば、画像内の天井近くの領域には人は現れないことから、天井近辺の画像領域については人の検出処理を行わなくてもよいといえる。
この場合も、車は路面付近に表れることになるため、図27BのようにアクティブエリアRAと非アクティブエリアDAを設定できることになる。
なお物体検出キーフレームとは、第2の実施の形態の処理で物体検出の為にアレイセンサ2の全有効画素領域で情報取得を行うとしたフレームである。このキーフレームにおいてアクティブエリアRAの画素領域のみで情報取得を行うことが第7の実施の形態の処理となる。
a.所定の時間間隔毎:例えば撮像開始から1時間毎
b.所定の設定時刻毎:例えば時刻0:00am毎
c.所定のターゲットクラスの出現回数毎:例えばターゲットクラスが1000回出現する毎
d.所定のターゲットクラス撮影時間毎:例えばターゲットクラスが撮像されている時間が5時間となる毎
e.外部からの命令によるタイミング:例えばプロセッサ11など、センサ装置1が搭載されているデバイス/機器側からの指示
演算部8(物体領域認識部82)はステップS271で、過去の所定期間内にターゲットクラスのバウンディングボックス20が出現したアレイセンサ2上の出現エリアのピクセルを算出する。
この場合、出現したそれぞれのバウンディングボックス20内の全ピクセルは、出現エリアのピクセルになるが、出現した全てのバウンディングボックス20を包絡的に囲うようにした範囲を設定し、その範囲の全ピクセルを出現エリアのピクセルとするとよい。
さらに出現した全てのバウンディングボックス20を包絡的に囲うようにした範囲を周囲方向に広げ、その範囲の全ピクセルを出現エリアのピクセルとしてもよい。
このように算出されたバウンディングボックス20の出現エリアの全てを含むピクセル範囲がアクティブエリアRAとなる。
これによりターゲットクラスに応じたアクティブエリアRAが設定される。
第2の実施の形態(図9)と同様、物体検出キーフレーム記録タイミングとは、物体検出の為にアレイセンサ2から情報取得を行うタイミングである。
物体検出キーフレーム記録タイミングとしては、例えばプロセッサ11等のセンサ装置1の外部からの命令で判定するようにしてもよい。例えば60secの指示に応じて、60secの間隔で物体検出キーフレーム記録タイミングと判定することが想定される。
従って、物体検出キーフレームの読み出し画素数の削減、検出範囲の縮小により、処理の効率化、消費電力削減等を実現できる。
なお以上の例では、バウンディングボックス20の履歴に基づいてアクティブエリアRAを設定することとしたが、ROI21の履歴に基づいてアクティブエリアRAを設定してもよい。その場合、フレーム毎に移動するROI(図10で説明したROI21(NEW))の画素位置の履歴を含めることも考えられる。
第8の実施の形態として、第3の実施の形態として示したAROI22を用いたエリアクリッピングを更に効率化する処理例を説明する。なおこの第8の実施の形態の処理は、図21,図25,図26のいずれかの構成において実施できる。
図31に例を模式的に示している。人をターゲットクラスとした場合と、顔をターゲットクラスとした場合について考える。
顔検出としてのコンフィデンスレートCRは、第1解像度で0.95、第2解像度で0.86、第3解像度で0.66であったとする。
人(身体)検出としてのコンフィデンスレートCRは、第1解像度で0.98、第2解像度で0.81、第3解像度で0.65であったとする。
また人検出としての閾値thPを0.80とした場合、画像データ量がなるべく少なくなるように適応化したパラメータとして第2解像度を選択し、テンプレート内の画素についての画像処理を行う。
この場合はいずれも第2解像度が好適になるが、場合によっては顔検出の場合は閾値thFが0.94として第1解像度が設定されたり、人検出については閾値thPが0.60と設定されて第3解像度が設定されるというようなことも想定される。
図32のステップS250,S251は図29のステップS250,S251と同様であり、演算部8はキーフレームのアクティブエリアRAの検出タイミングで、アクティブエリアRAの算出(図30の処理)を行う。
そしてステップS166で、閾値、ターゲットクラス、AROIパターンと必要なパラメータ、及び閾値算出方針の情報が対応づけられて記録される。例えば演算部8内部の記録領域に記録させたり、メモリ6の所定領域に記録させたり、或いはプロセッサ11に転送して記録させる。
ステップS211で演算部8(物体領域認識部82)は、バウンディングボックス20に基づいて実際のAROI22を算出する。つまり選択したAROIパターンに対応する実際の画素領域を求める。例えばバウンディングボックス20のサイズに応じてテンプレートのサイズを調整したものをAROI22とする。
そして演算部8(物体領域認識部82)は、そのAROI22(AROIのパターンと領域)をADC/ピクセルセレクタ3に伝える。
演算部8はステップS212で、AROI22内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップS203、S204の処理を行う。
第9の実施の形態として、第5の実施の形態で説明したアクティブサンプリングの手法において、時間解像度をDNNの算出する物体検出の正解率を元に決定する手法を加える例を説明する。
即ちターゲットクラスの単位時間あたりの平均移動量を元にフレームレートをダイナミックに変化させる処理を行うようにする。
なおこの第9の実施の形態の処理は、図21,図25,図26のいずれかの構成において実施できる。
第9の実施の形態では、この処理に加え、ノーマルモードにおけるフレームレートを、ターゲットクラスに応じて設定するものである。
図32Bは、撮像されている車の移動量を、連続するフレームにおけるバウンディングボックス20の画像上での位置(ピクセル位置)の変化として示している。このような移動量を多数の車において考えると、平均的な移動量が仮に1152ピクセル/秒であったとする。
この場合に、オブジェクトトラッキング(連続するフレーム画像上での対象物の追尾)を維持できるサンプリングレートを算出すると46fpsであったとする。
図32Bは、撮像されている人の移動量を、連続するフレームにおけるバウンディングボックス20の画像上での位置(ピクセル位置)の変化として示している。このような移動量を多数の人において考えると、平均的な移動量が仮に192ピクセル/秒であったとする。
この場合に、オブジェクトトラッキングを維持できるフレームレートを算出すると5fpsであったとする。
すると、ターゲットクラスに応じてDNNによりオブジェクトトラッキングが維持できるフレームレートを求め、その閾値(許容されるフレームレート下限)を求めれば、なるべく少ないデータ量としながら、対象物を追尾しつつ検出する物体検出の精度を維持できることになる。
なおフレームレートは、アレイセンサ2の読出タイミングの設定、やADC/ピクセルセレクタ3のサンプリングレートの設定により決定される。
ステップS350、S351は、図22のステップS150,S151と同様である。即ちステップS350で演算部8(閾値設定部85)は、閾値算出タイミングであるか否かを判定し、閾値算出タイミングであればステップS351で閾値算出(図24の処理)を行う。
その後、ステップS166で演算部8(閾値設定部85)は、ステップS165で算出した閾値とターゲットクラス、及び閾値算出に使用した閾値算出方針の情報が対応づけられて記録されるようにする。例えば演算部8内部の記録領域に記録させたり、メモリ6の所定領域に記録させたり、或いはプロセッサ11に転送して記録させる。
これにより例えばターゲットクラスに応じた閾値に基づくパラメータ、即ちオブジェクトトラッキングが維持できるフレームレートでなるべく低いフレームレートの値が設定される。
ステップS301で演算部8(キーフレーム選択部81)は、例えば予め演算部8内に記憶されているアイドリングモードの設定に従って、ADC/ピクセルセレクタ3へ動画撮像の設定を行う。
従って仮にアイドリングモードの設定が1fspであれば、動画撮像は例えば1sec間隔で行われる。
ステップS303で演算部8(クラス識別部83)は、候補として検出された物体のクラス分類を行う。
ステップS304で演算部8はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスが存在しなければ、演算部8はステップS350,S351を介してステップS301,S302,S303の処理を繰り返す。
この間、閾値算出タイミングとなればステップS351の処理が行われる。
演算部8(キーフレーム選択部81)は、ステップS351の処理で記憶したパラメータをノーマルモードの設定とし、ADC/ピクセルセレクタ3へ動画撮像の設定を行い、ノーマルモードの撮像を指示する。
このようにノーマルモードに切り換えた状態で演算部8はステップS302、S303の処理を行う。
またノーマルモードとされても、ターゲットクラスに応じて適応化されたフレームレートで処理が行われるため、クラスによってはかなり低いフレームレート(上記の5fpsなど)とされる。従ってノーマルモードにおいてもデータ量圧縮及び消費電力削減が行われる。
例えばアレイセンサ2からの読み出しは常に100fpsで行っているが、アイドリングモードやノーマルモードで設定されるパラメータに応じて、ロジック部5にフレーム間引きを指示する。これによりプロセッサ11への伝送に関してのデータ量削減が可能である。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
以上の実施の形態では、次のような効果が得られる。
第1、第6の実施の形態で説明したようにセンサ装置1は、可視光または非可視光の撮像素子が複数、1次元または2次元に配列されたアレイセンサ2と、アレイセンサ2での撮像により得られた画像信号に対し、指示されたパラメータを用いた画像処理を行うロジック部5(画像処理部)と、演算部8とを備える。演算部8はアレイセンサ2での撮像により得られた画像信号から検出される物体についてクラス識別を行い、識別されたクラスに基づいて画像処理に用いるパラメータを選択し、選択したパラメータでロジック部5の処理設定を行う。
即ちアレイセンサ2によって得られた画像信号についてロジック部5で画像処理を施すが、その画像処理のパラメータが画像信号における検出物体のクラス識別に基づいて設定されるようにしている。
画像からの物体検出を行う場合、人が見て高品位な画像が、必ずしも認識精度が高くなる画像とはならない。また認識する物体のクラスによって望ましい画質は異なる。つまり、視認上高画質となるようにする通常のパラメータ設定による画像処理を施した画像は、必ずしも物体検出のために適した画質ではない。また認識する物体のクラスに応じて、望ましい画像処理パラメータは異なる。
そこで、予めクラス毎にパラメータセットを保持しておくようにし、撮像画像において検出物体のクラス識別に応じて、使用するパラメータセットを選択する。これにより、目的とする物体の検出に適した画像処理が行われる。このような画像処理が行われた画像によれば、物体検出の精度の向上を実現できる。
また、物体検出に望ましい画質調整は、人が美しいと感じるようにする画質調整とは異なるため、例えば美しさを優先する為のぼかしフィルタなどは使用されない。このため設定されるパラメータは処理の低負荷化をもたらすものであることが多い。
またクラスに応じたパラメータ(例えば階調変更や圧縮に関するパラメータなど)によってはデータ量が低減される場合も多く、その場合、プロセッサ11側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。
センサ装置1は、内部のロジック部5により、物体のクラスに応じた画像処理を行い、これをプロセッサ11に送信出力することになるが(図5のステップS108)、これによりプロセッサ11において物体検出を向上させるための画質調整を行う必要をなくすものとなる。従ってプロセッサ11での処理負担を軽減しつつ、精度の高い物体検出が可能となる。
またクラス認識に基づいて選択されたにパラメータセットは、必ずしも人の視認上の最高画質を得るためのパラメータセットではない。場合によっては処理される画像のデータ量が低減されることもある。つまり、必ずしも人が見た場合の最高画質ではなく、プロセッサが認識しようとする物体に適した画質の画像を出力するものとなり、送信する画像信号のデータ量を低減できる場合もある。
これにより物体検出の精度を落とすことなく、通信コストを削減できる。クラウドで計算処理をする場合の転送の遅延も改善される。
これにより出力先のプロセッサ11やクラウドのAIプロセッサ等において、クラスを認識した上で物体検出を行うことができ、より精度の高い物体検出が可能となる。
即ち演算部8は、物体領域認識処理を行う物体領域認識部82、クラス識別処理を行うクラス識別部83、パラメータ選択処理を行うパラメータ選択部84を備え、これにより画像信号の1フレームから物体候補の検出、クラス識別、クラス識別に基づくパラメータ選択を実現できる。
ターゲットクラスの存在判定を行うことで、画像認識の目的とする物体のクラスに基づくパラメータ選択が効率良く実行できる。換言すれば、ターゲットとしていない物体の検出に基づいてのパラメータ選択が行われないことで、無用なパラメータ選択が行われず、処理が効率化され、かつ不適切なパラメータ設定が行われないことで目的とする物体の画像認識精度を向上できる。
複数のターゲットクラスを設定可能とすることで、複数のクラスにわたる物体を対象とする画像認識に対応できる。
また1フレーム内に複数のターゲットクラスの物体が存在する場合は、例えば支配的もしくは優勢なターゲットクラスを選択するなどして、一のターゲットクラスに基づいてパラメータ選択が行われるようにすることで、適切なパラメータセットが可能となる。
また第1、第6の実施の形態(図5と図22のステップS105,S106)では、ターゲットクラスに該当する物体領域に対しては、物体を囲うバウンディングボックス20を算出し、複数のターゲットクラスが存在する場合は、バウンディングボックス20の面積を用いて一のターゲットクラスを選択する例を挙げた。
複数のターゲットクラスの物体が存在する場合は、バウンディングボックス20により各物体の領域を規定し、各ターゲットクラスの物体の1フレーム内での支配面積を求めることで、優先すべきターゲットクラスを判定できる。これにより適切なパラメータ選択が可能となる。
これによりロジック部5の各種画像処理に応じたパラメータとして、対象のクラス(ターゲットクラス)に適した複数のパラメータを設定できることになる。
例えば人の画像を学習データとして用いたディープラーニングにより、人認識の画像認識率が高いものとされる画像処理用のパラメータを求め、そのパラメータのセットを「人」というクラスに対応するパラメータセットとする(図4参照)。
これにより、各クラスに適したパラメータセットを用意することができ、その選択により、目的の画像認識に適したパラメータ選択が可能となる。
全てのフレームではなくキーフレームを対象とすることで、演算部8の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切なパラメータ選択が行われる状態を維持できる。
これにより定期的にパラメータ選択が行われる。例えば30秒に1フレームをキーフレームとするなどにより、演算部8の処理は過大にならず、かつ適切なパラメータ設定が維持できる。
なお、キーフレームの間隔は、画像認識の目的とする物体、センサ装置1の使用環境、使用目的、センサ装置1を搭載した機器の種別等、各種の事情に応じて設定されることが望ましい。
またキーフレームは、外部機器からの命令に基づくタイミングのフレームとされる例も挙げた。
例えば画像出力先のプロセッサ11等からの指示によりキーフレームが設定されるようにする。これにより画像信号やクラス識別に関する情報の出力先の機器の認識処理の目的等に応じたキーフレーム選択及びパラメータ選択が行われるようにすることができる。例えばセンサ装置1を搭載した機器の種別、目的等に応じてキーフレームが設定される。
この場合、例えば車載機器を想定すると、自動車が走行を開始したタイミングでキーフレームを密な間隔とするようなことも可能となる。
これらにより画質調整やデータ量変換を行うが、これらの処理のためのパラメータ設定が行われることで、認識すべき物体のクラスに適した画質調整やデータサイズ調整(解像度やフレームレート等)が実行される。結果としてターゲットクラスの物体検出に適した画像及びデータサイズとされ、不要な高画質化やデータ量の増大が抑えられることにもなり、通信コストの低下、処理速度の向上、物体検出精度の向上等に寄与する。
即ちインターフェース部7は、プロセッサ11やクラウドのプロセッサ等からの要求に応じて、ロジック部5で処理された画像信号、演算部8で識別されたクラスの情報、オブジェクト数、ターゲットクラスの有無の情報のうちで、プロセッサ11で必要とされる情報を出力する。これにより不要な情報の転送は避けられ、通信量を削減でき、消費電力の低減も実現される。
またプロセッサ11等における処理に応じた情報提供ができることになる。
なお各実施の形態では画像信号を対象としたが、アレイセンサ2が音波検出素子アレイや触覚センサ素子アレイとされることも想定される。その場合は、インターフェース部7はそれらの検出信号(ロジック部5の処理後の検出信号)を外部機器の要求に応じて出力することになる。
即ちアレイセンサ2によって得られた検出信号について、信号処理部30で信号処理を施してインターフェース部7から出力するが、信号処理部30におけるアレイセンサ2からの検出信号の取得又は信号処理に関する領域情報が、物体検出に基づいて設定されるようにする。
実施の形態のように画像からの物体検出を行う場合に、常に各フレームの全画素の情報が必要となるわけではない。例えば人を検出する場合には、フレーム内で人が写されている領域の検出情報があればよい。そこで演算部8で物体検出に基づいてROI21やAROI22生成し、信号処理部30の処理、即ちADC/ピクセルセレクタ3によるアレイセンサ2からの検出信号の取得や、ロジック部5における圧縮処理が、ROI21やAROI22を用いて行われるようにしている。
これにより、処理対象のデータ量の削減、処理速度の向上を実現できるとともに、検出精度を低下させないような画像信号を得ることができる。
なお、画像信号に限らず、音波検出信号、触覚検出信号などとしてアレイセンサから得られる検出信号に対しても、物体検出を行い、物体の検出に基づいて生成した領域情報を、信号処理部に対し、アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報を指示するようにすることもできる。
これにより、音波センサアレイ、接触センサアレイを用いる場合においても、処理対象のデータ量の削減、処理速度の向上を実現できるとともに、検出精度を低下させないような検出信号を得るという効果が得られる。
ROI21やAROI22を用いて一部の画素のみをAD変換した画像信号や、ROI21を用いて領域毎に圧縮率を変えた画像信号をプロセッサ11等に出力するため、伝送するデータ量は著しく削減される。これにより通信コストの低下や伝送時間の短縮が実現される。その上で、物体検出に必要な情報は含まれているので、プロセッサ11等における物体検出の精度が低下しない。またデータ量が削減されることでプロセッサ11での処理負担も軽減される。
またプロセッサ11側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。
そして第2,第3,第7,第8の実施の形態では、ADC/ピクセルセレクタ3は、検出信号の1フレームとして、演算部8からのROI21やAROI22に基づいて選択される検出素子の検出信号を取得するものとした(図9、図14、図29、図32参照)。
ADC/ピクセルセレクタ3が、物体検出された次のフレームからは、ROI21やAROI22によって指定される範囲のみ光電変換信号をAD変換して取得することで、1フレームのデータ量を大きく削減できる。その上でROI21やAROI22が物体検出に基づいて設定されることで、物体検出に必要な画素の情報は適切に得られるものとすることができる。
1フレームの全有効画素を含む画像信号から物体検出を行うことで、撮像された画像内で検出すべき物体を的確に検出できる。その上で、検出された物体に基づくROI21やAROI22を生成し、ADC/ピクセルセレクタ3に供することで、次のフレームからは、物体検出に必要な画素のみの情報を取得できる。このためデータ量を削減しつつ適切な検出情報(必要な画素の情報)を取得できるようになる。
一部の画素の情報のみとされた画像信号のフレームからも物体検出を行うことで、物体の位置の変化に応じてROI21やAROI22を修正していくことができる。これにより、後続フレームにおいて、画像内での物体(例えば人)の動きに追従して、ADC/ピクセルセレクタ3で取得される領域が変化される。つまり対象の物体がフレーム毎に画像内での位置が変化するものであっても、フレーム毎にその変化に追従した位置で、画素を選択して読み出すことができる。このためデータ量を削減しつつ適切な検出情報(画素情報)を行う状態を、フレームが進行しても継続できる。
即ち演算部8は、アレイセンサ2から一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を通常の状態に戻すようにする。
これにより、1フレームの全有効画素を含む画像信号から物体検出を行う状態に戻り、再び撮像された画像の全体で目的の物体検出を行うことができる。つまり画像全体を監視できる状態となる。
物体検出によりバウンディングボックス20を生成し、このバウンディングボックス20からROI21やAROI22を生成することで、画像内での目的の物体の位置に応じたROI21やAROI22を生成できる。これにより次フレームでの読出画素も適切に選択できる。
バウンディングボックス20は現フレームでの物体の領域を囲うものであるが、後続のフレームでは物体の位置が変化している可能性がある。そこでバウンディングボックス20を拡大してROI21を生成する。
これにより、次フレームにおいて取得される情報(AD変換される画素の信号)として、物体が含まれるようにする可能性を高めることができる。つまり必要な情報を含む画素読出をなるべく継続させるようにすることができる。
即ち、セマンティックセグメンテーションに基づいてROI21を生成する。これにより非矩形のROI21も生成される。
物体によっては矩形でクリッピングすると情報が欠ける場合がある。例えば突起物のあるトラック等や、自転車に乗っている人などは、矩形だと、はみ出る部分が生じたり、それをカバーするとROI21が不必要に大きくなり、データ削減効果が低下される。そこで画素レベルで必要な領域が選択できるようにする。これにより必要な情報を、最小限のデータ量で取得することができるようになる。
このようなセマンティックセグメンテーションに基づくROI21は第4の実施の形態において低圧縮率とする領域を設定する場合にも有用である。
全てのフレームではなくキーフレームを対象とすることで、演算部8の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切な物体検出が可能な状態を維持できる。
この場合もキーフレームは、所定の時間間隔毎のフレームとされたり、外部機器からの命令に基づくタイミングのフレームとされる。
例えばセンサ装置1を搭載した機器の種別、目的等に応じてキーフレームが設定されるようにすれば、機器やアプリケーションが必要とするタイミングで、フレームの画素全体を対象として物体検出を行い、それ以降のフレームではデータ量を削減するといったことが可能となる。
ターゲットクラスの存在判定を行い、ターゲットクラスの物体領域に用いてROI21やAROI22を生成することで、検出目的とする物体の情報を取得するための領域情報を的確に生成できる。
クラスに対応するテンプレートを用いることで、クラス毎に異なる重要な領域に適応するようなAROI22を生成できることになる。
特にアレイセンサ2が撮像素子によるものである場合、光電変換での消費電力は最も大きい。この場合、できるだけ光電変換する画素を少なくしたいこととなる。テンプレートに従って光電変換する画素を絞ることで、検出精度に影響を与えずに有効なデータ量削減が可能となる。特に画像は、人が見るわけではなく、人がきれいと感じる画像よりもプロセッサ11が的確に物体を認識できる画像であることが重要である。テンプレートを用いて光電変換及びデジタルデータ化する画素を指定した画像は、少ないデータ量で有効な物体検出に適したものとなる。
またテンプレートは、クラス毎に、検出信号の取得領域を示したものであるとした。
例えばテンプレートは、「人」「自動車」などの各クラスに応じてアレイセンサの検出素子のうちで、検出情報を取得すべき検出素子を示すものとする(図12,図13参照)。
クラスに対応して読み出すべき画素を指定するテンプレートを用いることで、クラス毎にアレイセンサ2からの適切な情報の読出が可能となる。特に、図12,図13の例のように一部(顔の部分やナンバープレートの部分)が高密度化されていることで、クラス毎に、特に必要な部分の情報を集中的に取得するようなことも可能となる。
これにより信号処理部30(ロジック部5)は、フレーム内で重要な領域と、さほど重要でない領域とで圧縮率を異ならせることで、重要な情報を削減しないようなデータ圧縮が可能となる。
またロジック部5は、領域情報で指定される領域では、低圧縮率で圧縮処理を行い、他の領域は高圧縮率で圧縮処理を行うとした(図16参照)。
信号処理部30(ロジック部5)は、物体検出された次のフレームからは、ROI21によって指定される領域では低圧縮率で圧縮処理を行い、他の領域は高圧縮率でデータ量を削減する。ROI21は物体検出に応じて生成されるため、ROI21で示される領域はプロセッサ11での物体検出にも重要な領域であり、この領域は低圧縮率とすることで、情報を削減しない。これにより検出精度を低下させない。一方で、ROI21で示される領域以外は、物体検出にあまり影響のない領域となるため、高圧縮率で圧縮して効率的にデータ量を削減する。
実施の形態のように画像からの物体検出を行う場合に、常に高いフレームレートの画像信号が必要となるわけではない。例えば人を検出する場合には、人が写されていないフレームでは、フレームレートは低くても問題ない。逆に人が登場する期間ではフレームレートが高くなることで、情報量が豊富となり、物体(人)検出や、それに付随して認識できる情報も増加させることができる。
つまり物体の検出に応じてフレームレートを変化させることで、適応的に必要時にデータ量を多くし、不要時にデータ量を削減でき、物体検出性能を低下させずに処理データ量や転送データ量を削減できる。
フレームとは、アレイセンサが撮像素子アレイの場合は、画像のフレームとなるが、音波検出素子や触覚センサ素子の場合も同じ意味であり、アレイセンサの種別にかかわらず、アレイセンサの複数の検出素子からの1回の読み出し期間に読み出されるデータ単位である。フレームレートはこのようなフレームの単位時間内の密度となる。
このため、伝送するデータ量は著しく削減される。これにより通信コストの低下や伝送時間の短縮が実現される。その上で、目的とする物体検出に必要な情報は含まれているので、プロセッサ11等における物体検出の精度が低下しない。またデータ量が削減されることでプロセッサ11での処理負担も軽減される。
またプロセッサ11側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。
これにより物体検出の結果、即ちターゲットクラスの物体の有無により、設定値を選択するという簡易な処理でアクティブサンプリングとしての制御が実現できる。
設定値をプロセッサ11等から書き換えることができるようにすれば、プロセッサ11やそのアプリケーションの目的に応じたフレームレート設定も可能となる。
例えば演算部8(キーフレーム選択部81)がアイドリングモード/ノーマルモードの切替をアレイセンサ2及びADC/ピクセルセレクタ3に指示し、アレイセンサ2及びADC/ピクセルセレクタ3による画像信号の読み出し間隔を変更することでフレームレート切替を行う。
この場合、フレームレートが低下されるアイドリングモードでは、アレイセンサ2からの光電変換及び読み出し自体の間隔が広げられることになる。アレイセンサ2においては光電変換による消費電力が大きいため、アレイセンサ2においての読み出し間隔を広げることは消費電力の低減効果が大きいものとなる。
即ち信号処理過程でのフレームレート変換によりフレームレートの切替を実行させる。
ロジック部5でフレームレート変換を行うこともできる。例えばフレーム間引き処理を行うことでフレームレートを低下させることができる。この場合、アレイセンサ2が常に高いフレームレートで読み出しを行っていることで、アレイセンサ2における消費電力削減効果は生じないが、プロセッサ11へ転送するデータ量の削減効果はこの場合も得られる。
ターゲットクラスの存在判定を行い、ターゲットクラスの物体の存在によりノーマルモードとしてフレームレートを高くする。ターゲットクラスの物体が検出されない場合はアイドリングモードとしてフレームレートを低くしている。これにより検出目的とする物体の存在に応じて的確に検出することができる。
例えば人を監視する用途などでは、ターゲットクラスとしての人を検出することでフレームレートを高くすることで、精細な監視が可能となるとともに、それ以外はアイドリングモードとして消費電力の削減やデータ量の削減が可能となる。
従って撮像画像を用いた物体検出において、物体検出精度を維持できる適切なデータ量の削減と、これに付随する処理負担の軽減、転送コストの低下等を実現できる。
これに対して、演算部8としてのAIチップやDRAMチップをアレイセンサ2の外部とする構成とし、その外部の演算部によって、各実施の形態で説明した読み出しや信号処理の制御が行われるようにする例も考えられる。
またアレイセンサ2と演算部8としてのAIチップを一体化し、外部のDRAMチップを用いる例も考えられる。
閾値を用いてパラメータを設定(変更)することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等(例えば必要最小限の解像度など)として出力することができる。従って、出力する画像信号のデータ量を削減しつつ、後段の処理(物体検出等)の処理の性能、精度等を低下させないといったことも可能となる。
またこれにより低消費電力化、処理の高速化も実現できる。
物体検出などのために画像に要求される解像度と検出精度の関係は、クラスによって異なる。そこで、クラスに応じて閾値を設定し、ロジック部5から出力される画像信号の解像度等が変更されるようにすることで、クラスに応じて、必要最小限の解像度などによる出力が可能となる。つまりクラスに応じて解像度等のパラメータを最適化し、物体検出精度等を求められるレベルに維持しつつ、データ削減、低消費電力化、処理の高速化等を実現できる。
またこのようなローカルラーニングをセンサ装置1内、或いはセンサ装置1を含む端末装置100内で行うことで、当該センサ装置1において求められる画像精度等に適した閾値を算出できることにもなる。
またクラス毎のローカルラーニングにより閾値を設定することで、さらにクラスに適応したパラメータ設定により、出力する画像信号の解像度等の最適化が実現される。
画像からの物体検出の精度として求められるコンフィデンスレートは、その検出について目的、対象、機器/アプリケーションプログラムの別、時期、地域などによって異なる。
例えば確証性が80%で良いのであれば、80%以上の確証性が得られるように閾値が設定され、それに応じたパラメータが設定されれば良い。また、95%以上の確証性が求められるのであれば、閾値を高くしてパラメータを設定すればよい。
従って閾値の設定(ひいてはパラメータの設定)は、物体検出について求められるコンフィデンスレートに基づいて設定されるようにすることで、その処理の実施に応じた適応化として、望ましい画像信号の品質と、それに応じたデータ削減、低消費電力化、処理の高速化等を実現できる。
そしてアクティブエリアRAの検出信号から物体検出を行い、物体の検出に基づいて生成したROI21やAROI22を信号処理部30に対し、アレイセンサ2からの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する。
これによりROI21やAROI22を設定するための物体検出の処理負担が著しく低減される。具体的にはステップS203の処理が軽減される。従って処理負担削減、高速化、消費電力の削減という効果を得ることができる。
処理を継続することでバウンディングボックス20が全く設定されない領域が画像上に存在する場合がある。そのような領域は、目的の物体は検出されない非アクティブエリアDAとすることができ、逆にそれ以外をアクティブエリアRA、つまり物体検出がなされる可能性のある領域とすることができる。
過去の複数のバウンディングボックス20に基づくことでアクティブエリアRAを容易かつ適切に設定できる。また撮像環境、撮像方向などにも適したアクティブエリアRAの設定ができることにもなる。
即ち演算部8は、アレイセンサ2から一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を通常の状態に戻すようにする。
これにより、1フレームのアクティブエリアの画像信号から物体検出を行う状態に戻り、再び撮像された画像のうちで、必要な範囲で目的の物体検出を行うことができる。事実上、画像全体を監視できる状態となる。
全てのフレームではなくキーフレームを対象とすることで、演算部8の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切な物体検出が可能な状態を維持できる。
この場合もキーフレームは、所定の時間間隔毎のフレームとされたり、プロセッサ11等の外部からの命令に基づくタイミングのフレームとされることが考えられる。
閾値を用いてAROI22で示される取得領域のパラメータを設定(変更)することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等(例えば必要最小限の解像度など)として出力することができる。
またテンプレートを用いて光電変換及びデジタルデータ化する画素を指定した画像は、少ないデータ量で有効な物体検出に適したものとなる。
従って、テンプレートを用いること、及び閾値により例えば解像度等のパラメータを設定することで、出力する画像信号のデータ量を削減しつつ、後段の処理(物体検出等)の処理の性能、精度等を低下させないといったことも可能となる。またこれにより低消費電力化、処理の高速化も実現できる。
またテンプレートは、「人」「自動車」などのクラス毎に、検出信号の取得領域を示したものであることで、クラス毎に、特に必要な部分の情報を集中的に取得することも可能となる。
閾値を用いてフレームレートを設定(変更)することで、検出対象のクラスに適したフレームレートを適用できる。具体的には検出対象のクラスの物体検出の性能を低下させないようにしつつ、フレームレートを落とすことで画像信号のデータ量の削減、低消費電力化、処理の高速化を実現できる。
これにより画像からのオブジェクトトラッキングを行いながら行う物体検出精度を維持しつつ、クラスに応じたデータ削減、低消費電力化、処理の高速化等を実現できる。
組み合わせにより、各実施の形態の効果を増大させることが可能である。即ち画像からの物体検出等の処理の精度を維持しつつ、画像信号のデータ量の削減、低消費電力化、処理の高速化等の効果をより大きくすることができる。
(1)
可視光または非可視光の撮像素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサでの撮像により得られた画像信号に対して画像処理を行う画像処理部と、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて設定したパラメータを用いた処理が行われるようにする閾値設定部と、を備えた
センサ装置。
(2)
前記閾値設定部は、画像信号から検出される物体のクラスに応じた前記閾値を設定する
上記(1)に記載のセンサ装置。
(3)
前記閾値設定部は、画像信号に対する学習処理に基づいて前記閾値を設定する
上記(1)又は(2)に記載のセンサ装置。
(4)
前記閾値設定部は、物体検出の確証性の割合として所定の割合が得られるように前記閾値を設定する
上記(1)から(3)のいずれかに記載のセンサ装置。
(5)
前記閾値設定部は、前記画像処理部と同一筐体の装置内に設けられる
上記(1)から(4)のいずれかに記載のセンサ装置。
(6)
検出素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、
を備え、
前記演算部は、
過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アクティブエリアの検出信号を用いて物体検出を行う
センサ装置。
(7)
前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定する
上記(6)に記載のセンサ装置。
(8)
前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の1フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、
前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示する
上記(6)又は(7)に記載のセンサ装置。
(9)
前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
上記(6)から(8)のいずれかに記載のセンサ装置。
(10)
前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、
前記画像処理部の画像処理又は前記アレイセンサによる撮像に関する撮像処理に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、前記テンプレートで示される取得領域に対する処理のパラメータを前記閾値に基づいて設定する閾値設定部を備える
上記(6)から(9)のいずれかに記載のセンサ装置。
(11)
検出素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて前記フレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする閾値設定部と、を備えた
センサ装置。
(12)
前記閾値設定部は、画像からのオブジェクトトラッキングが維持できるフレームレートとして前記閾値を設定する
上記(11)に記載のセンサ装置。
(13)
物体検出の結果に応じて第1モードと第2モードのいずれかのフレームレートの設定値による制御を行うとともに、前記第1モードと前記第2モードの一方のフレームレートの設定値として、前記閾値設定部が設定したフレームレートの設定値が用いられるようにする
上記(11)又は(12)に記載のセンサ装置。
(14)
前記画像処理部で画像処理された画像信号を外部装置に出力する出力部を備えた
上記(1)から(13)のいずれかに記載のセンサ装置。
(15)
前記出力部は、出力する画像信号についてのクラス識別に関する情報の送信も行う
上記(14)に記載のセンサ装置。
(16)
前記画像処理部は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理の少なくとも1つを行う
上記(1)から(15)のいずれかに記載のセンサ装置。
(17)
可視光または非可視光の撮像素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサでの撮像により得られた画像信号に対し画像処理を行う画像処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて変更されたパラメータを用いた処理が行われるようにする
信号処理方法。
(18)
検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、
過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、
を行い、
前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う
信号処理方法。
(19)
検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて前記フレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする
信号処理方法。
Claims (19)
- 可視光または非可視光の撮像素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサでの撮像により得られた画像信号に対して画像処理を行う画像処理部と、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて設定したパラメータを用いた処理が行われるようにする閾値設定部と、を備えた
センサ装置。 - 前記閾値設定部は、画像信号から検出される物体のクラスに応じた前記閾値を設定する
請求項1に記載のセンサ装置。 - 前記閾値設定部は、画像信号に対する学習処理に基づいて前記閾値を設定する
請求項1に記載のセンサ装置。 - 前記閾値設定部は、物体検出の確証性の割合として所定の割合が得られるように前記閾値を設定する
請求項1に記載のセンサ装置。 - 前記閾値設定部は、前記画像処理部と同一筐体の装置内に設けられる
請求項1に記載のセンサ装置。 - 検出素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、
を備え、
前記演算部は、
過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アクティブエリアの検出信号を用いて物体検出を行う
センサ装置。 - 前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定する
請求項6に記載のセンサ装置。 - 前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の1フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、
前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示する
請求項6に記載のセンサ装置。 - 前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
請求項6に記載のセンサ装置。 - 前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、
前記画像処理部の画像処理又は前記アレイセンサによる撮像に関する撮像処理に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、前記テンプレートで示される取得領域に対する処理のパラメータを前記閾値に基づいて設定する閾値設定部を備える
請求項6に記載のセンサ装置。 - 検出素子が複数、1次元または2次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて前記フレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする閾値設定部と、を備えた
センサ装置。 - 前記閾値設定部は、画像からのオブジェクトトラッキングが維持できるフレームレートとして前記閾値を設定する
請求項11に記載のセンサ装置。 - 物体検出の結果に応じて第1モードと第2モードのいずれかのフレームレートの設定値による制御を行うとともに、前記第1モードと前記第2モードの一方のフレームレートの設定値として、前記閾値設定部が設定したフレームレートの設定値が用いられるようにする
請求項11に記載のセンサ装置。 - 前記画像処理部で画像処理された画像信号を外部装置に出力する出力部を備えた
請求項1に記載のセンサ装置。 - 前記出力部は、出力する画像信号についてのクラス識別に関する情報の送信も行う
請求項14に記載のセンサ装置。 - 前記画像処理部は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理の少なくとも1つを行う
請求項1に記載のセンサ装置。 - 可視光または非可視光の撮像素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサでの撮像により得られた画像信号に対し画像処理を行う画像処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて変更されたパラメータを用いた処理が行われるようにする
信号処理方法。 - 検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、
過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、
を行い、
前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う
信号処理方法。 - 検出素子が複数、1次元または2次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて前記フレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする
信号処理方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111094A JP7279533B2 (ja) | 2019-06-14 | 2019-06-14 | センサ装置、信号処理方法 |
EP20821590.5A EP3985958A4 (en) | 2019-06-14 | 2020-04-25 | Sensor device and signal processing method |
PCT/JP2020/017872 WO2020250584A1 (ja) | 2019-06-14 | 2020-04-25 | センサ装置、信号処理方法 |
US17/606,837 US20220210317A1 (en) | 2019-06-14 | 2020-04-25 | Sensor device and signal processing method |
KR1020217039607A KR20220020264A (ko) | 2019-06-14 | 2020-04-25 | 센서 장치 및 신호 처리 방법 |
CN202080043127.5A CN113994654A (zh) | 2019-06-14 | 2020-04-25 | 传感器装置和信号处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111094A JP7279533B2 (ja) | 2019-06-14 | 2019-06-14 | センサ装置、信号処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020205482A true JP2020205482A (ja) | 2020-12-24 |
JP2020205482A5 JP2020205482A5 (ja) | 2021-11-25 |
JP7279533B2 JP7279533B2 (ja) | 2023-05-23 |
Family
ID=73781756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019111094A Active JP7279533B2 (ja) | 2019-06-14 | 2019-06-14 | センサ装置、信号処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220210317A1 (ja) |
EP (1) | EP3985958A4 (ja) |
JP (1) | JP7279533B2 (ja) |
KR (1) | KR20220020264A (ja) |
CN (1) | CN113994654A (ja) |
WO (1) | WO2020250584A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023140446A1 (ko) * | 2022-01-19 | 2023-07-27 | 한화비전 주식회사 | 영상처리장치 및 그의 영상처리방법 |
WO2024024283A1 (ja) * | 2022-07-29 | 2024-02-01 | 株式会社Jvcケンウッド | 画像認識支援装置、方法及びプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113411567B (zh) * | 2021-06-02 | 2022-09-23 | 西北核技术研究所 | 一种阵列式图像传感器激光损伤阈值估算方法 |
CN113473017A (zh) * | 2021-07-01 | 2021-10-01 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074634A (ja) * | 2008-09-19 | 2010-04-02 | Fujifilm Corp | 撮像装置及び撮像方法 |
JP2010086429A (ja) * | 2008-10-01 | 2010-04-15 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2017078877A (ja) * | 2015-10-19 | 2017-04-27 | セイコーエプソン株式会社 | 画像処理装置、ロボット、及びロボットシステム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
JP3621065B2 (ja) * | 2000-12-25 | 2005-02-16 | 松下電器産業株式会社 | 画像検出装置、プログラムおよび記録媒体 |
US8558892B2 (en) * | 2004-01-20 | 2013-10-15 | Honeywell International Inc. | Object blocking zones to reduce false alarms in video surveillance systems |
JP2007318262A (ja) | 2006-05-23 | 2007-12-06 | Sanyo Electric Co Ltd | 撮像装置 |
EP2070774B1 (en) * | 2007-12-14 | 2012-11-07 | SMR Patents S.à.r.l. | Security system and a method to derive a security signal |
JP5532561B2 (ja) * | 2008-08-25 | 2014-06-25 | 株式会社ニコン | 撮像装置、画像再生装置、画像変換装置、画像再生プログラム |
MX2012009579A (es) * | 2010-02-19 | 2012-10-01 | Toshiba Kk | Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento. |
JP5672862B2 (ja) * | 2010-08-27 | 2015-02-18 | ソニー株式会社 | 撮像装置、撮像システム及び撮像方法 |
US8773577B2 (en) * | 2010-10-27 | 2014-07-08 | Qualcomm Incorporated | Region of interest extraction |
JP6150583B2 (ja) * | 2013-03-27 | 2017-06-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
US20140313381A1 (en) * | 2013-04-19 | 2014-10-23 | Canon Kabushiki Kaisha | Image pickup apparatus |
US10346465B2 (en) * | 2013-12-20 | 2019-07-09 | Qualcomm Incorporated | Systems, methods, and apparatus for digital composition and/or retrieval |
US9544497B2 (en) * | 2014-05-21 | 2017-01-10 | Qualcomm Incorporated | System and method for determining image resolution |
CN105187835B (zh) * | 2014-05-30 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 基于内容的自适应视频转码方法及装置 |
US9602728B2 (en) * | 2014-06-09 | 2017-03-21 | Qualcomm Incorporated | Image capturing parameter adjustment in preview mode |
US9465444B1 (en) * | 2014-06-30 | 2016-10-11 | Amazon Technologies, Inc. | Object recognition for gesture tracking |
US9621741B2 (en) * | 2014-12-10 | 2017-04-11 | Intel Corporation | Techniques for context and performance adaptive processing in ultra low-power computer vision systems |
US9898668B2 (en) * | 2015-08-27 | 2018-02-20 | Qualcomm Incorporated | System and method of object detection |
WO2017042710A1 (en) * | 2015-09-09 | 2017-03-16 | Lightmetrics Technologies Pvt. Ltd. | System and method for detecting objects in an automotive environment |
WO2018003502A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 撮像装置、撮像方法、プログラム |
JP6832155B2 (ja) * | 2016-12-28 | 2021-02-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
JP2018164199A (ja) * | 2017-03-27 | 2018-10-18 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法 |
CN107896303A (zh) * | 2017-10-23 | 2018-04-10 | 努比亚技术有限公司 | 一种图像采集方法、系统和设备及计算机可读存储介质 |
CA3026684A1 (en) * | 2017-12-06 | 2019-06-06 | Mehdi MERAI | System and method for automatically improving gathering of data using a data gathering device |
JP6705534B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、信号処理方法 |
JP6683280B1 (ja) * | 2018-10-19 | 2020-04-15 | ソニー株式会社 | センサ装置、信号処理方法 |
JP6705533B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、パラメータ設定方法 |
US20220296081A1 (en) * | 2019-06-21 | 2022-09-22 | Augere Medical As | Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium |
KR102374776B1 (ko) * | 2020-01-22 | 2022-03-17 | 한국과학기술연구원 | Cctv의 위치 정보 및 객체의 움직임 정보에 기초한 타겟 객체 재식별 시스템 및 방법 |
WO2021199734A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | センサ装置、センサ搭載デバイス、センサ装置の処理方法 |
JP7347464B2 (ja) * | 2021-03-16 | 2023-09-20 | トヨタ自動車株式会社 | 画像処理装置 |
-
2019
- 2019-06-14 JP JP2019111094A patent/JP7279533B2/ja active Active
-
2020
- 2020-04-25 WO PCT/JP2020/017872 patent/WO2020250584A1/ja active Application Filing
- 2020-04-25 US US17/606,837 patent/US20220210317A1/en active Pending
- 2020-04-25 KR KR1020217039607A patent/KR20220020264A/ko unknown
- 2020-04-25 EP EP20821590.5A patent/EP3985958A4/en active Pending
- 2020-04-25 CN CN202080043127.5A patent/CN113994654A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074634A (ja) * | 2008-09-19 | 2010-04-02 | Fujifilm Corp | 撮像装置及び撮像方法 |
JP2010086429A (ja) * | 2008-10-01 | 2010-04-15 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2017078877A (ja) * | 2015-10-19 | 2017-04-27 | セイコーエプソン株式会社 | 画像処理装置、ロボット、及びロボットシステム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023140446A1 (ko) * | 2022-01-19 | 2023-07-27 | 한화비전 주식회사 | 영상처리장치 및 그의 영상처리방법 |
WO2024024283A1 (ja) * | 2022-07-29 | 2024-02-01 | 株式会社Jvcケンウッド | 画像認識支援装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020250584A1 (ja) | 2020-12-17 |
KR20220020264A (ko) | 2022-02-18 |
US20220210317A1 (en) | 2022-06-30 |
JP7279533B2 (ja) | 2023-05-23 |
EP3985958A4 (en) | 2022-06-29 |
CN113994654A (zh) | 2022-01-28 |
EP3985958A1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6683280B1 (ja) | センサ装置、信号処理方法 | |
JP6705533B2 (ja) | センサ装置、パラメータ設定方法 | |
JP6705534B2 (ja) | センサ装置、信号処理方法 | |
WO2020250584A1 (ja) | センサ装置、信号処理方法 | |
KR102556560B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템 | |
WO2020080139A1 (ja) | センサ装置、パラメータ設定方法 | |
WO2020080141A1 (ja) | センサ装置、信号処理方法 | |
TWI845547B (zh) | 感測器裝置、信號處理方法 | |
US12003845B2 (en) | Sensor apparatus having array sensor for sensor-equipped device, sensor equipped device provided with sensor apparatus having array sensor, and contol method for sensor apparatus having array sensor for sensor-equipped device | |
TW202428036A (zh) | 感測器裝置 | |
WO2022004413A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230106 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7279533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |