JP2020198470A - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
JP2020198470A
JP2020198470A JP2019101728A JP2019101728A JP2020198470A JP 2020198470 A JP2020198470 A JP 2020198470A JP 2019101728 A JP2019101728 A JP 2019101728A JP 2019101728 A JP2019101728 A JP 2019101728A JP 2020198470 A JP2020198470 A JP 2020198470A
Authority
JP
Japan
Prior art keywords
image
subject
recognition
pixel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019101728A
Other languages
English (en)
Inventor
和幸 奥池
Kazuyuki Okuchi
和幸 奥池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019101728A priority Critical patent/JP2020198470A/ja
Priority to CN202080038430.6A priority patent/CN113875217A/zh
Priority to US17/603,138 priority patent/US20220201183A1/en
Priority to KR1020217037346A priority patent/KR20220016056A/ko
Priority to DE112020002567.5T priority patent/DE112020002567T5/de
Priority to PCT/JP2020/019587 priority patent/WO2020241336A1/ja
Publication of JP2020198470A publication Critical patent/JP2020198470A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提供すること。【解決手段】本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。【選択図】図２Ｂ

Description

本開示は、画像認識装置および画像認識方法に関する。
１フレーム期間に感度が異なる複数の画像を撮像して合成することによりＨＤＲ（High Dynamic Range）画像を生成するＨＤＲ撮像モードを備え、ＨＤＲ画像から被写体を認識する撮像装置がある（例えば、特許文献１参照）。
また、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用して撮像した画像を合成することにより、ＨＤＲ画像を生成し、ＨＤＲ画像から被写体を認識する撮像装置もある。
特開２０１４−１０３６４３号公報
しかしながら、上記の従来技術では、被写体の認識精度が低下することがある。そこで、本開示では、被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提案する。
本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、前記画像データのそれぞれから被写体を認識する。
本開示に係る画素アレイを示す説明図である。 一般的なＤＮＮの使用例を示す説明図である。 本開示に係るＤＮＮの使用例を示す説明図である。 本開示に係る画像認識システムの構成例を示す図である。 本開示に係る信号処理部が実行する処理の説明図である。 本開示に係る認識部が実行する処理の説明図である。 本開示に係る認識部が実行する処理の説明図である。 本開示に係る信号処理部が実行する処理の変形例を示す説明図である。 本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。 本開示に係る画素アレイの第１変形例を示す説明図である。 本開示に係る画素アレイの第２変形例を示す説明図である。 本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。 本開示に係る画素アレイの第３変形例を示す説明図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．画像認識方法の概要］
まず、本開示に係る画像認識方法の概要について説明する。本開示に係る画像認識方法では、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。ここでの同一露光タイミングで撮像するとは、例えば、複数の画素の露光を別々のタイミングで開始させ、同一のタイミングで終了させて画像を撮像することを意味する。
複数の画像の撮像には、ＨＤＲ（High Dynamic Range）画像の撮像に使用される画素アレイを使用する。図１は、本開示に係る画素アレイを示す説明図である。例えば、図１に示すように、ＨＤＲ画像の撮像に使用される画素アレイＡ１は、赤色光を受光する撮像画素Ｒ、緑色光を受光する撮像画素Ｇｒ、Ｇｂ、青色光を受光する撮像画素Ｂがベイヤ配列されている。
なお、撮像画素Ｇｒは、撮像画素Ｒが配置される列に設けられて緑色光を受光する撮像画素である。撮像画素Ｇｂは、撮像画素Ｂが配置される列に設けられて緑色光を受光する撮像画素である。
撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂは、それぞれ、Ｌ字状に配置される受光面積が同一の３個の撮像素子を備える。撮像素子Ｌは、撮像素子Ｍ、Ｓに比べて露光時間が長い長時間露光素子である。撮像素子Ｓは、撮像素子Ｌ、Ｍに比べて露光時間が短い短時間露光素子である。
撮像素子Ｍは、撮像素子Ｓよりも露光時間が長く、撮像素子Ｌよりも露光時間が短い中時間露光素子である。また、画素アレイＡ１は、同色の光を受光するＬ字状に配置された撮像素子Ｌ、Ｍ、Ｓによって三方が囲まれる位置に、赤外光を受光する撮像画素となる撮像素子ＩＲを備える。
撮像素子Ｌは、露光時間が長いので、周囲が暗い場合であっても十分な受光量を得ることができる。これにより、撮像素子Ｌは、輝度が低すぎて通常の露光時間では黒つぶれするような被写体であっても、被写体の像がきれいに写った高感度画像（以下、長時間露光画像という場合がある）を撮像することができる。
撮像素子Ｓは、露光時間が短いので、周囲が明るい場合であっても飽和することがない。これにより、撮像素子Ｓは、輝度が高すぎて通常の露光時間では白飛びするような被写体であっても、被写体の像がきれいに写った低感度画像（以下、短時間露光画像という場合がある）を撮像することができる。なお、撮像素子Ｍは、一般的なデジタルカメラと同様の露光時間で中感度画像（以下、中時間露光画像という場合がある）を撮像することができる。
撮像素子ＩＲは、赤外光を受光するので、例えば、肉眼では見え難い暗闇での歩行者や車両、車両のヘッドライトやスポットライトで見え難い歩行者、煙や霧で見え難い物体等の像がきれいに写ったＩＲ（Infrared Ray）画像を撮像することができる。また、撮像素子ＩＲは、被写体の熱情報を検知することもできる。
ＨＤＲ画像は、上記した高感度画像、中間度画像、低感度画像、およびＩＲ画像をＨＤＲ合成することによって生成される。このため、ＨＤＲ画像は、暗い被写体、明るい被写体、および肉眼ではみえ難い被写体等の全ての被写体の像がきれいに写った画像となる。
なお、図１に示す画素アレイＡ１では、露光時間を異ならせることで、受光面積が同一の撮像素子Ｌ、Ｍ、Ｓによって高感度画像、中感度画像、または低感度画像を撮像するが、これは一例である。例えば、画素アレイＡ１は、各撮像画素に積層されるカラーフィルタの透光率を異ならせることで、露光時間を同一にしても、高感度画像、中感度画像、または低感度画像を撮像することができる。
この場合、画素アレイＡ１では、カラーフィルタの透光率が通常よりも高い撮像画素が高感度撮像画素となり、カラーフィルタの透光率が通常の撮像画素が中感度撮像画素となり、カラーフィルタの透光率が通常よりも低い撮像画素が低感度撮像画素となる。
なお、露光開始時間を異ならせる方法として、露光開始時間を同一にし露光終了時間を異ならせる方法、露光開始時間を異ならせ露光終了時間を同一にする方法、露光開始時間と終了時間のいずれも異なる時間にする方法を用いても、高感度画像、中感度画像、または低感度画像を撮像することができる。
かかる画素アレイＡ１によっても、同時に高感度画像および低感度画像を撮像することができるので、両画像をＨＤＲ合成することにより、ＨＤＲ画像を撮像することが可能である。また、撮像画素の受光面積を異ならせることで、カラーフィルタの透光性および露光時間が同一の撮像画素を高感度撮像画素または低感度撮像画素として機能させることもできる。
ここで、画像データから被写体を認識する方法の一例として、ＤＮＮ（Deep Neural Network）を用いる画像認識方法がある。ＤＮＮは、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。
図２Ａは、一般的なＤＮＮの使用例を示す説明図である。例えば、ＨＤＲ画像から被写体を認識する場合、図２Ａに示すように、ＨＤＲ合成後のＨＤＲ画像における赤Ｒ、緑Ｇ、青Ｂの各画素の信号Ｒ、Ｇ、Ｂ（ＨＤＲ画像の画像データ）をＤＮＮへ入力すると、ＤＮＮから被写体の認識結果が出力される。
しかしながら、ＨＤＲ画像には、ＨＤＲ合成が行われたことで、実際には存在しないアーチファクトが写り込むことがある。このため、ＨＤＲ画像における各画素の信号Ｒ、Ｇ、ＢをＤＮＮへ入力すると、アーチファクトの弊害によって、ＤＮＮによる被写体の認識精度が低下することがある。
そこで、本開示では、ＨＤＲ合成前の高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を排除し、被写体の認識精度を向上させる。図２Ｂは、本開示に係るＤＮＮの使用例を示す説明図である。
図２Ｂに示すように、本開示では、例えば、撮像素子Ｌから出力される長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（高感度画像の画像データ）と、撮像素子Ｍから出力される中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（中感度画像の画像データ）とをＤＮＮへ入力する。さらに、本開示では、撮像素子Ｓから出力される短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（低感度画像の画像データ）と、撮像素子ＩＲから出力される赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂ（ＩＲ画像の画像データ）をＤＮＮへ入力する。
これにより、ＤＮＮは、高感度画像、中感度画像、低感度画像とＩＲ画像から被写体を認識した認識結果とを出力する。
このとき、ＤＮＮは、アーチファクトを含まない高感度画像、中感度画像、低感度画像
およびＩＲ画像から被写体を認識するので、アーチファクトの影響を受けることなく高精度な被写体の認識結果を出力することができる。
このように、本開示に係る画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の露光時間で撮像し、これら全てを用いて被写体を認識するので被写体の認識精度を向上させることができる。
［２．画像認識システムの構成］
次に、図３を参照し、本開示に係る画像認識システムの構成について説明する。図３は、本開示に係る画像認識システムの構成例を示す図である。図３に示すように、本開示に係る画像認識システム１００は、画像認識装置の一例であるイメージセンサ１と、アプリケーションプロセッサ（以下、ＡＰ２と記載する）とを有する。
イメージセンサ１は、撮像部１０と、信号処理部１３と、認識部１４と、データ送信判断部１５と、セレクタ（以下、ＳＥＬ１６と記載する）と、送信部１７とを備える。撮像部１０は、画素アレイＡ１と、Ａ／Ｄ（Analog／Digital）変換部１２とを備える。
画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲによって、高感度画像、中感度画像、低感度画像、およびＩＲ画像を撮像する。そして、画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲからＡ／Ｄ変換部１２へ受光量に応じたアナログの画素信号を出力する。
Ａ／Ｄ変換部１２は、画素アレイＡ１から入力されるアナログの画素信号をデジタルの画素信号にＡ／Ｄ変換して高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを生成し、信号処理部１３へ出力する。
信号処理部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路を含む。
信号処理部１３は、Ａ／Ｄ変換部１２から入力される高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとに対して、それぞれ所定の信号処理を実行する。そして、信号処理部１３は、信号処理後の高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを認識部１４と、ＳＥＬ１６へ出力する。
ここで、図４を参照し、信号処理部１３が実行する処理の流れについて説明する。図４は、本開示に係る信号処理部が実行する処理の説明図である。図４に示すように、信号処理部１３は、入力される画像データに対して、まず、シェーディング補正を行い、続いて、混色補正を行う。
その後、信号処理部１３は、画像データに対してデジタルゲイン調整を行い、続いて、ホワイトバランスゲイン調整を行う。その後、信号処理部１３は、画像データに対してデモザイクを行った後、最後にガンマ補正を行い、ガンマ補正後の画像データを出力する。
なお、デモザイクでは、高感度画像、中感度画像、低感度画像、およびＩＲ画像の各画素の色を周囲の画素の色によって補完する処理を行う。このため、デモザイク前の高感度画像、中感度画像、低感度画像の画像データは、それぞれ４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなるが、デモザイク後の画像データは、３種類の画素信号Ｒ、Ｇ、Ｂとなる。また、デモザイク前のＩＲ画像の画像データは、４種類の画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなるが、デモザイク後の画像データは、１種類の画像信号ＩＲとなる。
図３へ戻り、認識部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。認識部１４は、ＣＰＵがＲＯＭに記憶された物体認識プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する物体認識部３１と、ＲＡＭまたはＲＯＭに設けられる物体認識用データ記憶部３２とを備える。物体認識用データ記憶部３２には、認識対象となる物体の種類毎にＤＮＮが記憶されている。
物体認識部３１は、設定される認識対象の種類に応じたＤＮＮを物体認識用データ記憶部３２から読出し、画像データをＤＮＮへ入力してＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
ここで、図５Ａよび図５Ｂを参照し、認識部１４が行う処理の流れについて説明する。図５Ａおよび図５Ｂは、本開示に係る認識部が実行する処理の説明図である。図５Ａに示すように、認識部１４は、まず、入力される画像データのサイズおよび入力値をＤＮＮ用のサイズおよび入力値に合わせて正規化し、正規化後の画像データをＤＮＮへ入力して物体認識を行う。そして、認識部１４は、ＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
このとき、図５Ｂに示すように、認識部１４は、長時間露光信号Ｒ、Ｇ、Ｂと、中時間露光信号Ｒ、Ｇ、Ｂと、短時間露光信号Ｒ、Ｇ、Ｂと、赤外光信号ＩＲとをＤＮＮへ入力する。これにより、認識部１４は、アーチファクトのない高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、被写体の認識精度を向上させることができる。
図３へ戻り、データ送信判断部１５は、認識部１４から入力される認識結果に応じてＳＥＬ１６から出力させるデータを切替える制御信号をＳＥＬ１６へ出力する。データ送信判断部１５は、認識部１４によって被写体が認識された場合には、画像データと、認識結果を示すメタデータとを送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。
また、データ送信判断部１５は、認識部１４によって被写体が認識されなかった場合、その旨を示す情報（ノーデータ）を送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。ＳＥＬ１６は、データ送信判断部１５から入力される制御信号に応じて、画像データおよびメタデータのセット、または、ノーデータのいずれかを送信部１７へ出力する。
送信部１７は、ＡＰ２との間でデータ通信を行う通信Ｉ／Ｆ（インターフェース）であり、ＳＥＬ１６から入力される画像データおよびメタデータのセット、または、ノーデータのいずれかをＡＰ２へ送信する。
このように、イメージセンサ１は、被写体を認識した場合に限って画像データをＡＰ２へ送信し、被写体を認識しない場合には、画像データをＡＰ２へ送信することがないため、画像データの送信に要する消費電力を低減することができる。
ＡＰ２は、画像認識システム１００の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。ＡＰ２は、受信部２１と、認証部２２と、認証用データ記憶部２３とを備える。
認証用データ記憶部２３には、イメージセンサ１によって認識された被写体を認証するための認証用プログラムおよび認証用画像データ等が記憶されている。受信部２１は、イメージセンサ１との間でデータ通信を行う通信Ｉ／Ｆである。受信部２１は、イメージセンサ１から画像データおよびメタデータのセット、または、ノーデータのいずれかを受信して認証部２２へ出力する。
認証部２２は、受信部２１からノーデータが入力される場合には起動せず、画像データおよびメタデータのセットが入力された場合に起動する。認証部２２は、起動すると認証用データ記憶部２３から認証用プログラムを読み出して実行し、イメージセンサ１によって認識された被写体を認証する。
例えば、認証部２２は、被写体が人であることを示すメタデータと画像データのセットが入力される場合、画像データと人の認証用画像データとを照合し、認識された人が誰かを特定する処理等を行う。
このとき、認証部２２は、イメージセンサ１によって被写体が人であると高精度に認識されたアーチファクトの影響がない高感度画像、中感度画像、低感度画像、およびＩＲ画像の画像データに基づいて人を特定する。これにより、認証部２２は、認識された人が誰かを的確に特定することができる。なお、上記した実施形態は、一例であり、種々の変形が可能である。次に本開示に係る実施形態に係る変形例について説明する。
［３．信号処理部が実行する処理の変形例］
図６は、本開示に係る信号処理部が実行する処理の変形例を示す説明図である。図７は、本開示に係るＤＮＮの使用例の変形例を示す説明図である。
図６に示すように、変形例に係る信号処理部は、入力される画像データに対して、シェーディング補正、混色補正、デジタルゲイン調整、ホワイトバランスゲイン調整、およびガンマ補正を行い、信号処理後の画像データを認識部１４と、ＳＥＬ１６とに出力する。
このように、信号処理部は、図４に示した信号処理からデモザイクを省略することができる。この場合、認識部１４は、デモザイクが実行されない画像データから被写体を認識する。前述したように、デモザイクが実行されない高感度画像、中感度画像、および低感度画像の画像データは、４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなる。また、デモザイクが実行されないＩＲ画像の画像データは、画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなる。
このため、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する（図２Ｂ参照）。かかる場合、認識部１４は、ＤＮＮの入力チャンネル数が増えるので処理量が増すが、ＤＮＮには、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データが個別に入力されるので、アーチファクトの影響を受けることなく被写体を高精度に認識することができる。
なお、他の変形例では、信号処理部自体を省略することもできる。かかる場合にも同様に、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する。このため、認識部１４は、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減される。
なお、上記した実施形態では、データ送信判断部１５は、被写体を認識した場合に、毎回、認識結果のメタデータと画像データとをＳＥＬ１６に出力させたが、バッテリ残量に応じてＳＥＬ１６から出力させるデータを選択してもよい。
例えば、データ送信判断部１５は、認識部１４によって被写体が認識された場合、バッテリの残量が所定残量以上ある状態の通常モードでは、メタデータと画像データとをＳＥＬ１６から出力させる。また、データ送信判断部１５は、バッテリの残量が所定残量未満の状態の低消費電力モードでは、メタデータのみをＳＥＬ１６から出力させる。これにより、データ送信判断部１５は、バッテリの残量が不足している場合に、イメージセンサ１の消費電力を低く抑えることができる。
［４．認識部による被写体認識の変形例］
図７は、本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。図２Ｂおよび図５Ｂに示した例では、認識部１４は、１つのＤＮＮを使用して被写体の認識を行ったが、図７に示すように、２つのＤＮＮを使用することもできる。
具体的には、長時間露光画像、中時間露光画像、および短時間露光画像には、色彩があるが、ＩＲ画像には、色彩がない。このため、長時間露光画像、中時間露光画像、および短時間露光画像と、ＩＲ画像とでは、画像中の被写体の特徴が異なる。
そこで、変形例に係る認識部は、第１ＤＮＮと、第２ＤＮＮとを使用して被写体を認識する。第１ＤＮＮは、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識することに特化して機械学習された学習モデルである。第２ＤＮＮは、ＩＲ画像から被写体を認識することに特化して機械学習された学習モデル。
変形例に係る認識部は、第１ＤＮＮへ長時間露光信号Ｒ、Ｇ、Ｂ、中時間露光信号Ｒ、Ｇ、Ｂ、短時間露光信号Ｒ、Ｇ、Ｂを入力して、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識する。また、認識部は、第２ＤＮＮへ赤外光信号を入力して、ＩＲ画像から被写体を認識する。これにより、認識部は、被写体の認識精度をさらに向上させることができる。
［５．画素アレイの変形例］
図８は、本開示に係る画素アレイの第１変形例を示す説明図である。図９は、本開示に係る画素アレイの第２変形例を示す説明図である。図１０は、本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。図１１は、本開示に係る画素アレイの第３変形例を示す説明図である。
図８に示すように、第１変形例に係る画素アレイＡ２は、図１に示した撮像素子ＩＲの代わりにＴｏＦ（Time of Flight）センサを備える。画素アレイＡ２を採用する場合、イメージセンサ１は、被写体へ向けて赤外光を照射する発光部を備える。
ＴｏＦセンサは、赤外光が照射されてから、被写体に反射した赤外光を受光するまでの時間に基づいて、被写体までの距離を測定するセンサである。イメージセンサ１は、かかる画素アレイＡ２を採用することによって、被写体の認識に加えて、被写体までの距離を測定することができる。
また、図９に示すように、第２変形例に係る画素アレイＡ３は、赤色光を受光する撮像画素Ｒと、緑色光を受光する撮像画素Ｇと、青色光を受光する撮像画素Ｂと、赤外光を受光するＩＲとを備える。
撮像画素Ｒは、長時間露光する撮像素子ＲＬと短時間露光する撮像素子ＲＳとを備える。撮像画素Ｇは、長時間露光する撮像素子ＧＬと短時間露光する撮像素子ＧＳとを備える。撮像画素Ｂは、長時間露光する撮像素子ＢＬと短時間露光する撮像素子ＢＳとを備える。
このように、画素アレイＡ３は、各撮像画素Ｒ、Ｇ、Ｂが、それぞれ２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳを備える。かかる画素アレイＡ３は、一般的には、各撮像画素Ｒ、Ｇ、Ｂが備える全ての撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を同一にし、左右の撮像素子で受光される光の位相差に基づいて焦点を自動調整するオートフォーカスに使用される。
本開示では、かかる画素アレイＡ３の撮像画素Ｒ、Ｇ、Ｂが備える撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を個別に制御することで、撮像素子ＲＬ、ＧＬ、ＢＬを長時間露光画素、撮像素子ＲＳ，ＧＳ，ＢＳを短時間露光画素として機能させる。
これにより、画素アレイＡ３は、長時間露光画像および短時間露光画像を撮像することができる。また、画素アレイＡ３は、撮像素子ＩＲを備えるので、長時間露光画像および短時間露光画像と同時にＩＲ画像を撮像することもできる。
認識部１４は、画素アレイＡ３が採用される場合、図１０に示すように、撮像画素ＲＬ、ＧＬ、ＢＬから出力される長時間露光信号、撮像画素ＲＳ、ＧＳ、ＢＳ出力される短時間露光信号、および撮像素子ＩＲから出力される赤外光信号をＤＮＮへ入力する。これにより、認識部１４は、長時間露光画像、短時間露光画像、およびＩＲ画像のそれぞれから高精度に被写体を認識することができる。
また、図１１に示すように、第４変形例に係る画素アレイＡ４は、図９に示した画素アレイＡ３と同様に、赤色光を受光する一対の撮像素子Ｒ、Ｒ、緑色光を受光する一対の撮像素子Ｇ、Ｇ、および青色光を受光する撮像素子Ｂ、Ｂを備える。また、画素アレイＡ４は、赤外光を受光する一対の撮像素子ＩＲ、ＩＲを備える。各撮像素子Ｒ、Ｇ、Ｂ、ＩＲは、それぞれ、２個の光電変換素子ＰＤを備える。
かかる画素アレイＡ４では、例えば、一対の撮像素子Ｒ、Ｒが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。また、画素アレイＡ４では、一対の撮像素子Ｇ、Ｇが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。
また、画素アレイＡ４では、例えば、一対の撮像素子Ｂ、Ｂが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。これにより、画素アレイＡ４は、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
また、画素アレイＡ４は、撮像素子ＩＲ、ＩＲを露光させることで、ＩＲ画像を撮像することができる。かかる画素アレイＡ４が採用される場合、認識部１４は、長時間露光画像、中時間露光画像、短時間露光画像、およびＩＲ画像の画像データをＤＮＮへ入力することにより、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
［６．効果］
画像認識装置の一例であるイメージセンサ１は、撮像部１０と、認識部１４とを有する。撮像部１０は、可視光を受光する撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。これにより、イメージセンサ１は、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
また、撮像部１０は、受光面積が同一であり露光時間が異なる複数の撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとが２次元に配列された画素アレイＡ１を有する。これにより、イメージセンサ１は、露光時間の異なる画像データおよびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
また、画素アレイＡ１は、可視光を受光する長時間露光撮像画素の一例である撮像素子Ｌ、中時間露光撮像画素の一例である撮像素子Ｍ、および短時間露光撮像画素の一例である撮像素子Ｓを有する。これにより、イメージセンサ１は、長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
また、画素アレイＡ３は、各画素が露光時間の異なる２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳによって構成される。これにより、イメージセンサ１は、オートフォーカス用の位相差画素を使用して、長時間露光画像および短時間露光画像を撮像することができる。
また、画素アレイＡ４は、各画素が２個の撮像素子Ｒ、Ｒ、Ｇ、Ｇ、Ｂ、Ｂによって構成される。各撮像素子Ｒ、Ｇ、Ｂは、露光時間の異なる２個の光電変換素子ＰＤを備える。これにより、イメージセンサ１は、各光電変換素子ＰＤの露光時間を制御することによって、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
また、認識部１４は、被写体を認識した場合に、被写体の認識結果および画像データを後段の装置の一例であるＡＰ２へ出力し、被写体を認識しない場合に、その旨を示す情報をＡＰ２へ出力する。これにより、イメージセンサ１は、被写体を認識しない場合に、画像データの出力を行わないので、消費電力を低減することができる。
また、認識部１４は、バッテリの残量が所定残量以上である場合に、被写体の認識結果および画像データをＡＰ２へ出力し、所定残量未満の場合に、ＡＰ２へ画像データを出力することなく被写体の認識結果を出力する。これにより、イメージセンサ１は、バッテリ残量が所定残量未満である場合に、被写体を認識しても画像データの出力を行わないので、消費電力を低減することができる。
また、認識部１４は、デモザイク処理が実行された画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、ＤＮＮの入力チャンネル数を低減することによって、処理負荷を低減することができる。
また、認識部１４は、デモザイク処理が実行されない画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データから高精度に被写体を認識することができる。
また、認識部１４は、撮像部１０から入力される画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減することができる。
また、赤外光を受光する撮像画素は、ＴｏＦ（Time of Flight）センサである。これにより、イメージセンサ１は、被写体の認識に加えて、被写体までの距離を測定することができる。
また、画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。かかる画像認識方法によれば、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識する認識部と
を有する画像認識装置。
（２）
前記撮像部は、
受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（３）
前記画素アレイは、
前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
を有する前記（２）に記載の画像認識装置。
（４）
前記画素アレイは、
各画素が露光時間の異なる２個の光電変換素子によって構成される
前記（２）に記載の画像認識装置。
（５）
前記画素アレイは、
各画素が２個の撮像素子によって構成され、
各前記撮像素子は、
露光時間の異なる２個の光電変換素子を備える。
前記（２）に記載の画像認識装置。
（６）
前記認識部は、
前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
前記（１）〜（５）のいずれか一つに記載の画像認識装置。
（７）
前記認識部は、
バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
前記（６）に記載の画像認識装置。
（８）
前記認識部は、
デモザイク処理が実行された前記画像データから前記被写体を認識する
前記（１）〜（７）のいずれか一つに記載の画像認識装置。
（９）
前記認識部は、
デモザイク処理が実行されない前記画像データから前記被写体を認識する
前記（１）〜（８）のいずれか一つに記載の画像認識装置。
（１０）
前記認識部は、
前記撮像部から入力される前記画像データから前記被写体を認識する
前記（１）〜（８）のいずれか一つに記載の画像認識装置。
（１１）
前記赤外光を受光する撮像画素は、
ＴｏＦ（Time of Flight）センサである
前記（１）〜（１０）のいずれか一つに記載の画像認識装置。
（１２）
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識する
画像認識方法。
１００ 画像認識システム
１ イメージセンサ
１０ 撮像部
Ａ１、Ａ２、Ａ３、Ａ４ 画素アレイ
１２ Ａ／Ｄ変換部
１３ 信号処理部
１４ 認識部
１５ データ送信判断部
１６ ＳＥＬ
１７ 送信部
２ ＡＰ
２１ 受信部
２２ 認証部
２３ 認証用データ記憶部
３１ 物体認識部
３２ 物体認識用データ記憶部

Claims (12)

  1. 可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
    前記画像データのそれぞれから被写体を認識する認識部と
    を有する画像認識装置。
  2. 前記撮像部は、
    受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
    を有する請求項１に記載の画像認識装置。
  3. 前記画素アレイは、
    前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
    を有する請求項２に記載の画像認識装置。
  4. 前記画素アレイは、
    各画素が露光時間の異なる２個の撮像素子によって構成される
    請求項２に記載の画像認識装置。
  5. 前記画素アレイは、
    各画素が２個の撮像素子によって構成され、
    各前記撮像素子は、
    露光時間の異なる２個の光電変換素子を備える
    請求項２に記載の画像認識装置。
  6. 前記認識部は、
    前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
    請求項１に記載の画像認識装置。
  7. 前記認識部は、
    バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
    請求項６に記載の画像認識装置。
  8. 前記認識部は、
    デモザイク処理が実行された前記画像データから前記被写体を認識する
    請求項１に記載の画像認識装置。
  9. 前記認識部は、
    デモザイク処理が実行されない前記画像データから前記被写体を認識する
    請求項１に記載の画像認識装置。
  10. 前記認識部は、
    前記撮像部から入力される前記画像データから前記被写体を認識する
    請求項１に記載の画像認識装置。
  11. 前記赤外光を受光する撮像画素は、
    ＴｏＦ（Time of Flight）センサである
    請求項１に記載の画像認識装置。
  12. 可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
    前記画像データのそれぞれから被写体を認識する
    画像認識方法。
JP2019101728A 2019-05-30 2019-05-30 画像認識装置および画像認識方法 Pending JP2020198470A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019101728A JP2020198470A (ja) 2019-05-30 2019-05-30 画像認識装置および画像認識方法
CN202080038430.6A CN113875217A (zh) 2019-05-30 2020-05-18 图像识别装置和图像识别方法
US17/603,138 US20220201183A1 (en) 2019-05-30 2020-05-18 Image recognition device and image recognition method
KR1020217037346A KR20220016056A (ko) 2019-05-30 2020-05-18 화상 인식 장치 및 화상 인식 방법
DE112020002567.5T DE112020002567T5 (de) 2019-05-30 2020-05-18 Bilderkennungsvorrichtung und bilderkennungsverfahren
PCT/JP2020/019587 WO2020241336A1 (ja) 2019-05-30 2020-05-18 画像認識装置および画像認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019101728A JP2020198470A (ja) 2019-05-30 2019-05-30 画像認識装置および画像認識方法

Publications (1)

Publication Number Publication Date
JP2020198470A true JP2020198470A (ja) 2020-12-10

Family

ID=73552920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019101728A Pending JP2020198470A (ja) 2019-05-30 2019-05-30 画像認識装置および画像認識方法

Country Status (6)

Country Link
US (1) US20220201183A1 (ja)
JP (1) JP2020198470A (ja)
KR (1) KR20220016056A (ja)
CN (1) CN113875217A (ja)
DE (1) DE112020002567T5 (ja)
WO (1) WO2020241336A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114196A1 (en) 2020-11-30 2022-06-02 Nihon Kohden Corporation Porous body for capturing cancer cells
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351889B2 (ja) * 2021-12-02 2023-09-27 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム
WO2023166859A1 (ja) * 2022-03-01 2023-09-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム及びファクトリーオートメーションシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285198A (ja) * 1999-03-31 2000-10-13 Omron Corp 画像認識システムおよび情報採取システム
US7065645B2 (en) * 2003-01-20 2006-06-20 Mordechai Teicher System, method, and apparatus for visual authentication
JP5436281B2 (ja) * 2010-03-16 2014-03-05 富士フイルム株式会社 放射線撮影システム、コンソール、放射線撮影用カセッテ、及びプログラム
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6418785B2 (ja) * 2014-05-21 2018-11-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2016033694A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 物体認識装置及び物体認識プログラム
US10033947B2 (en) * 2015-11-04 2018-07-24 Semiconductor Components Industries, Llc Multi-port image pixels
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US20180164156A1 (en) * 2016-12-12 2018-06-14 Microsoft Technology Licensing, Llc Hybrid Sensor with Enhanced Infrared Detection Capabilities
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114196A1 (en) 2020-11-30 2022-06-02 Nihon Kohden Corporation Porous body for capturing cancer cells
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
CN113875217A (zh) 2021-12-31
DE112020002567T5 (de) 2022-04-21
KR20220016056A (ko) 2022-02-08
WO2020241336A1 (ja) 2020-12-03
US20220201183A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP2020198470A (ja) 画像認識装置および画像認識方法
CN105611124B (zh) 图像传感器、成像方法、成像装置及终端
TWI612371B (zh) 影像感測器及影像擷取程序
JP2014206564A5 (ja)
JP2020188310A (ja) 画像認識装置および画像認識方法
JP2007082026A (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
US20120154596A1 (en) Reducing noise in a color image
JP2020187409A (ja) 画像認識装置、固体撮像装置、および画像認識方法
US20100277629A1 (en) Photo detecting device and image pickup device and method thereon
US20180278824A1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
CN110493506A (zh) 一种图像处理方法和系统
JP4385284B2 (ja) 撮像装置及び撮像方法
CN107534761A (zh) 成像装置、成像方法、程序和图像处理装置
US9489750B2 (en) Exposure metering based on background pixels
WO2017104411A1 (ja) 撮像素子、画像処理装置および方法、並びにプログラム
WO2017086155A1 (ja) 撮像装置、撮像方法、およびプログラム
CN105453133A (zh) 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法
US9894255B2 (en) Method and system for depth selective segmentation of object
US9282256B1 (en) System and method for HDR imaging
JP6348254B2 (ja) 撮像装置
CN108886571A (zh) 具有改善的自动对焦性能的成像设备
JP5199736B2 (ja) 画像撮像装置
CN105850112A (zh) 摄像控制装置
JP5228717B2 (ja) 画像入力装置
JP2010041510A5 (ja)