JP2021033334A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP2021033334A
JP2021033334A JP2019148676A JP2019148676A JP2021033334A JP 2021033334 A JP2021033334 A JP 2021033334A JP 2019148676 A JP2019148676 A JP 2019148676A JP 2019148676 A JP2019148676 A JP 2019148676A JP 2021033334 A JP2021033334 A JP 2021033334A
Authority
JP
Japan
Prior art keywords
image
unit
information processing
image data
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019148676A
Other languages
English (en)
Inventor
恭二 横山
Kyoji Yokoyama
恭二 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019148676A priority Critical patent/JP2021033334A/ja
Priority to DE112020003840.8T priority patent/DE112020003840T5/de
Priority to US17/631,555 priority patent/US20220351505A1/en
Priority to PCT/JP2020/026784 priority patent/WO2021029167A1/ja
Priority to CN202080055198.7A priority patent/CN114175110A/zh
Publication of JP2021033334A publication Critical patent/JP2021033334A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3243—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of type information, e.g. handwritten or text document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

【課題】入力画像から被写体を認識するアプリケーションプロセッサの情報処理量を低減することができる情報処理装置、情報処理方法、および情報処理プログラムを提供する。【解決手段】本開示に係る情報処理装置は、取得部と、生成部と、出力部とを有する。取得部は、画像を撮像して画像データを生成する撮像部から画像データを取得する。生成部は、取得部によって取得される画像データから、画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する。出力部は、生成部によって生成されるメタデータを前記アプリケーションプロセッサへ出力する。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
機械学習によって構築されたニューラルネットワークを用いて入力画像から被写体の認識を行う画像認識装置がある（例えば、特許文献１参照）。かかる被写体の認識は、画像認識用のアプリケーションプロセッサによって行われることが一般的である。
特開２０１８−１９０３３２号公報
しかしながら、アプリケーションプロセッサは、入力画像からニューラルネットワークを使用して被写体を認識するために、膨大な情報処理を行う必要がある。
そこで、本開示では、入力画像から被写体を認識するアプリケーションプロセッサの情報処理量を低減することができる情報処理装置、情報処理方法、および情報処理プログラムを提案する。
本開示によれば、情報処理装置が提供される。情報処理装置は、取得部と、生成部と、出力部とを有する。取得部は、画像を撮像して画像データを生成する撮像部から前記画像データを取得する。生成部は、前記取得部によって取得される前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する。出力部は、前記生成部によって生成される前記メタデータを前記アプリケーションプロセッサへ出力する。
本開示に係る情報処理装置が設けられる撮像装置の構成例を示す図である。 本開示に係るメタデータの一例を示す説明図である。 本開示に係るメタデータの一例を示す説明図である。 本開示に係る情報処理装置からＡＰへ出力される情報の説明図である。 本開示に係る情報処理装置からＡＰへ出力される情報の説明図である。 本開示に係る情報処理装置からＡＰへ出力される情報の説明図である。 本開示に係るウォーターマークの一例を示す説明図である。 本開示に係る情報処理装置が実行する処理の一例を示すフローチャートである。 本開示に係る情報処理装置が実行する処理の一例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．撮像装置の構成］
図１は、本開示に係る情報処理装置１が設けられる撮像装置１００の構成例を示す図である。図１に示すように、撮像装置１００は、情報処理装置１と、撮像部２と、メモリ３とを備える。
撮像部２は、２次元に配列される複数の撮像画素を備え、各撮像画素を露光することによって画像を撮像する。撮像部２は、各撮像画素によって受光する被写体からの光を受光量に応じた信号電荷に光電変換し、信号電荷に応じたアナログの画素信号をデジタルの画素信号にアナログ／デジタル変換することによって画像データを生成する。撮像部２は、撮像した画像の画像データを情報処理装置１へ出力する。メモリ３は、情報処理装置１を介して撮像部２から入力される画像データを一時的に記憶する。
情報処理装置１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータや各種の回路を含む。
情報処理装置１は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する取得部４と、画像処理部５と、出力部６と、生成部７と、マーク付与部８と、受付部９とを備える。
なお、情報処理装置１が備える取得部４、画像処理部５、出力部６、生成部７、マーク付与部８、および受付部９は、一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。
情報処理装置１が備える取得部４、画像処理部５、出力部６、生成部７、マーク付与部８、および受付部９は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置１の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部４は、撮像部２から画像データを取得して、画像処理部５へ出力する。画像処理部５は、画像データに対して一般的な画像処理を行う。例えば、画像処理部５は、欠陥画素補正等の画像処理を行う。
画像処理部５は、画像処理後の画像データをメモリ３へ出力して記憶させる。また、画像処理部５は、画像処理後の画像データを出力部６へ出力する。出力部６は、例えば、セレクタであり、画像処理部５から入力される画像データＩＭＧおよび後述する生成部７から入力されるメタデータＭｅｔａのいずれか一方または双方をアプリケーションプロセッサ（以下、「ＡＰ１０１」と記載する）へ出力する。
ＡＰ１０１は、アプリケーションプログラムを実行することにより、撮像部２によって撮像される画像に関する処理を実行する処理部である。ＡＰ１０１は、例えば、撮像装置１００から入力される画像データＩＭＧを液晶ディスプレイ等の表示部に表示させる処理を実行する。
また、ＡＰ１０１は、例えば、撮像装置１００から入力される画像データＩＭＧから被写体を認識する処理や被写体を認証する処理等を実行する。ＡＰ１０１は、画像データＩＭＧから被写体の認識や認証を行う場合、例えば、ＤＮＮ（Deep Neural Network）等の機械学習によって構築された機械学習モデルを使用する。
ＡＰ１０１は、ＤＮＮを使用して画像認識を行う場合、撮像装置１００から入力される画像データＩＭＧをＲ（赤）Ｇ（緑）Ｂ（青）の色信号や、Ｙ（輝度信号）Ｕ（青色成分の差分信号）Ｖ（赤色成分の差分信号）等のデータフォーマットに変換して処理する。
この場合、撮像装置１００およびＡＰ１０１間のインターフェースやＡＰ１０１側のメモリ帯域等に性能が制約される可能性がある。また、ＡＰ１０１は、画像データＩＭＧから認識する被写体の認識精度を向上させるためには、非常に重い処理が必要であり情報処理量が膨大となる。
そこで、情報処理装置１が備える生成部７は、ＡＰ１０１を補助するメタデータＭｅｔａを生成して出力部６へ出力する。出力部６は、ＡＰ１０１が出力する情報に応じて、画像データＩＭＧおよびメタデータＭｅｔａのいずれか一方または双方をＡＰ１０１へ出力する。これにより、ＡＰ１０１は、情報処理量を低減することができる。なお、生成部７が生成するメタデータＭｅｔａの一例については、図２および図３を参照して後述する。
マーク付与部８は、撮像部２によって撮像される画像の出所を示す肉眼では認識不可能なウォーターマークを生成し、画像処理部５へ出力することによって、画像データＩＭＧにウォーターマークを付与する。マーク付与部８は、例えば、撮像装置１００の製造番号と、画像が撮像された日付および場所とが対応付けられたウォーターマークを画像に付与する。
これにより、撮像装置１００のユーザは、例えば、撮像した画像が自身の目的以外の目的に不正に使用された場合、その画像に付与されたウォーターマークを所定の画像解析装置によって解析することにより、自身が撮像した画像か否かを確認することができる。
また、マーク付与部８は、撮像装置１００が複数のユーザによって共用される場合、撮像した人を特定可能なウォーターマークを画像に付与する。例えば、マーク付与部８は、第１のユーザが撮像する場合には、画像が撮像された日付および場所に対して、撮像装置１００の製造番号を対応付け、第２のユーザが撮像する場合には、撮像部２固有のチップナンバーを対応付ける。
また、マーク付与部８は、第３のユーザが撮像する場合には、メモリ３固有のチップナンバーを対応付け、第４のユーザが撮像する場合には、情報処理装置１固有のチップナンバーを対応つける。
これにより、撮像装置１００の複数のユーザは、画像に付与されたウォーターマークを所定の画像解析装置によって解析することにより、自身が撮像した画像か否かを確認することができる。なお、マーク付与部８が画像に付与するウォーターマークの一例については、図５を参照して後述する。
受付部９は、ＡＰ１０１からの要求を受け付け、要求に応じた情報を生成部７または撮像部２へ出力する。生成部７は、受付部９によって受け付けられたＡＰ１０１からの要求に応じたメタデータＭｅｔａを生成する。
例えば、受付部９は、例えば、ＡＰ１０１から、被写体の位置や被写体までの距離、被写体の属性等の情報提供要求がある場合には、ＡＰ１０１から要求される情報を含むメタデータＭｅｔａを生成部７によって生成させる。
また、受付部９は、ＡＰ１０１からＡＰ１０１の用途（ＡＰ１０１が出力する情報の種類）に関する情報を受け付ける。そして、受付部９は、ＡＰ１０１から受け付けるＡＰ１０１の用途に応じて、画像データＩＭＧおよびメタデータＭｅｔａのいずれか一方または双方を出力部６からＡＰ１０１へ出力させる。なお、情報処理装置１からＡＰ１０１へ出力される情報については、図４Ａ〜図４Ｃを参照して後述する。
また、受付部９は、ＡＰ１０１から撮像制御に関する要求を受け付ける場合、撮像制御に関する要求に応じた制御信号を撮像部２へ出力して、ＡＰ１０１から要求される撮像制御を行うように撮像部２を設定する。
例えば、ＡＰ１０１は、情報処理に高解像度の画像データＩＭＧが不要な場合、撮像画像の解像度を低下させる要求を受付部９へ出力する。かかる場合、受付部９は、撮像画像の解像度を低下させるように撮像部２を設定する。
これにより、ＡＰ１０１は、出力部６から画素数が少ない低解像度の画像データＩＭＧが入力されるので、画素数が多い高解像度の画像データＩＭＧを処理する場合に比べて、処理負荷を低減することができる。
また、例えば、ＡＰ１０１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の色信号のうち、情報処理にＲ（赤）Ｂ（青）の色信号が不要な場合、Ｇ（緑）の色信号のみの出力要求を受付部９へ出力する。かかる場合、受付部９は、Ｇ（緑）の色信号のみを出力させるように撮像部２を設定する。なお、ＡＰ１０１は、Ｙ（輝度信号）等、Ｇ（緑）の色信号以外の信号の出力要求を出力する場合もある。かかる場合、受付部９は、ＡＰ１０１から出力要求される信号を出力させるように撮像部２を設定する。
これにより、ＡＰ１０１は、出力部６から受付部９は、Ｇ（緑）の色信号のみ入力されるので、Ｒ（赤）Ｇ（緑）Ｂ（青）の色信号の全てについて情報処理を行う場合に比べて、処理負荷を低減することができる。また、ＡＰ１０１は、撮像装置１００からＹ（輝度信号）のみが入力される場合にも、同様に処理負荷を低減することができる。
また、例えば、ＡＰ１０１は、情報処理に高フレームレートの画像データＩＭＧが不要な場合、フレームレートを低下させる要求を受付部９へ出力する。かかる場合、受付部９は、フレームレートを低下させるように撮像部２を設定する。
これにより、ＡＰ１０１は、所定時間内に入力される画像データＩＭＧの数が減少するので、所定時間内に高フレームレートの画像が大量に入力される場合に比べて、処理負荷を低減することができる。
［２．メタデータの一例］
次に、図２および図３を参照し、生成部７が生成するメタデータＭｅｔａの一例について説明する。図２および図３は、本開示に係るメタデータの一例を示す説明図である。
図２に示すように、生成部７は、例えば、人２０１が撮像された画像データＩＭＧ１が入力される場合、画像データＩＭＧ１をＤＮＮへ入力して、画像データＩＭＧ１の特徴を示す特徴量データを抽出し、特徴量データからメタデータＭｅｔａ１を生成する。これにより、生成部７は、ＡＰ１０１を補助する正確なメタデータＭｅｔａ１を生成することができる。
具体的には、生成部７は、特徴量データから画像における被写体（ここでは、人２０１）の位置を特定し、被写体の位置を示すメタデータＭｅｔａ１を生成する。例えば、生成部７は、画像データＩＭＧ１のなかで、人２０１の顔の領域を囲む矩形枠Ａの４隅の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）をメタデータＭｅｔａ１として生成して出力部６へ出力する。
出力部６は、例えば、ＡＰ１０１が画像データＩＭＧ１に含まれる人２０１の顔を認識する情報処理を行う場合、画像データＩＭＧ１およびメタデータＭｅｔａ１をＡＰ１０１へ出力する。これにより、ＡＰ１０１は、メタデータＭｅｔａ１を使用することによって、画像データＩＭＧ１に含まれる人２０１の顔を認識する処理負荷を低減することができる。
具体的には、ＡＰ１０１は、メタデータＭｅｔａ１を使用せずに、画像データＩＭＧ１から人２０１の顔を認識する場合、画像データＩＭＧ１に含まれる全画素をＡＰ１０１内部のメモリに展開し、全画素の情報をＤＮＮへ入力して情報処理を行う必要がある。
これに対して、ＡＰ１０１は、メタデータＭｅｔａ１を使用する場合、画像データＩＭＧ１における人２０１の顔の領域を囲む矩形枠Ａ内の画素に限ってＡＰ１０１内部のメモリに展開し、矩形枠Ａ内の画素の情報をＤＮＮへ入力して人２０１の顔を認識する。これにより、ＡＰ１０１は、メタデータＭｅｔａ１を使用しない場合に比べて、情報処理量が少なくなるので、処理負荷を低減することができる。
また、図３に示すように、生成部７は、例えば、近くに男の人２０２と自転車２０３とが写り、遠くに女の人２０４と建物２０５とが写る画像データＩＭＧ２が入力される場合、メタデータＭｅｔａ２を生成する。
例えば、生成部７は、画像データＩＭＧ２に含まれる被写体の情報として、近くの男性、近くの自転車、遠くの女性、および遠くの建物という情報を含むメタデータＭｅｔａ２を生成して出力部６へ出力する。なお、生成部７は、人２０２，２０４、自転車２０３、および建物２０５までの各距離と各方位とを示す情報を含むメタデータＭｅｔａ２を生成して出力部６へ出力することもできる。
このように、生成部７は、被写体の位置を示す情報、被写体の属性を示す情報、および被写体までの距離を示す情報を含むメタデータＭｅｔａ２を生成して出力部６へ出力する。これにより、ＡＰ１０１は、例えば、車両に搭載されて障害物を検知する情報処理を行う場合に、メタデータＭｅｔａ２を使用することにより、遠くの人２０４および遠くの建物２０５を検知対象から除外することで、処理負荷を低減することができる。
また、ＡＰ１０１は、例えば、画像データＩＭＧ２から読み取れる情報を出力する場合、メタデータＭｅｔａ２を使用することにより、被写体の属性を判別する処理を行うことなく、画像に写る男性および女性の人数等を出力することができる。
［３．情報処理装置からＡＰへ出力される情報］
次に、図４Ａ〜図４Ｃを参照し、撮像装置１００からＡＰ１０１へ出力される情報について説明する。図４Ａ〜図４Ｃ本開示に係る情報処理装置からＡＰへ出力される情報の説明図である。
情報処理装置１は、ＡＰ１０１の用途（ＡＰ１０１が出力する情報の種類）に応じて、画像データＩＭＧおよびメタデータＭｅｔａのいずれか一方または双方をＡＰ１０１へ出力する。例えば、図４Ａに示すように、情報処理装置１は、ＡＰ１０１が鑑賞に使われる美しい画像の出力を要求される場合、ＡＰ１０１へメタデータＭｅｔａを出力せずに、画像データＩＭＧを出力する。
また、図４Ｂに示すように、情報処理装置１は、ＡＰ１０１が画像および画像中の情報の出力を要求される場合、ＡＰ１０１へ画像データＩＭＧおよびメタデータＭｅｔａを出力する。
例えば、ＡＰ１０１は、文字が書かれたホワイトボードの画像と、ホワイトボードに書かれた文字情報の出力を要求される場合がある。かかる場合、情報処理装置１はホワイトボードが撮像された画像データＩＭＧと、画像データＩＭＧ中のホワイトボードにおける文字情報が書かれた位置を示すメタ情報とをＡＰ１０１へ出力する。
これにより、ＡＰ１０１は、ホワイトボードが撮像された画像と、画像データＩＭＧ中のホワイトボードにおける文字情報が書かれた位置を選択的に画像認識して取得した文字情報とを出力することができる。
また、図４Ｃに示すように、情報処理装置１は、ＡＰ１０１がＡＰ１０１の判定結果の出力を要求される場合、つまり、画像の出力が不要な場合には、ＡＰ１０１へ画像データＩＭＧを出力せずに、メタデータＭｅｔａを出力する。
例えば、情報処理装置１は、例えば、ＡＰ１０１が画像に写る人数の判定結果の出力を要求される場合、画像中の被写体の属性および位置を示すメタデータＭｅｔａをＡＰ１０１へ出力する。これにより、ＡＰ１０１は、情報処理装置１から画像データＩＭＧが入力されなくても、メタデータＭｅｔａから画像に写る人数を判定し、判定結果を出力することができる。
［４．ウォーターマークの一例］
次に、図５を参照し、マーク付与部８が画像データＩＭＧへ付与するウォーターマークの一例について説明する。図５は、本開示に係るウォーターマークの一例を示す説明図である。
図５に示すように、マーク付与部８は、例えば、人の顔が撮像された画像の画像データＩＭＧ３をメモリ３から読み出した場合、画像データＩＭＧ３から画像のエッジを検出する。その後、マーク付与部８は、エッジを構成する色の濃淡が不規則な複数の画素を検出する。
図５に示す例では、マーク付与部８は、エッジを構成する色の濃淡が不規則な複数の画素として、人の毛の髪の部分と、人の頬のラインの部分とを検出する。そして、マーク付与部８は、検出した色の濃淡が不規則な複数の画素を、色の濃淡が肉眼では識別不可能な規則的関係となる複数の画素Ｐ１，Ｐ２に置き換えることによって、画像データＩＭＧ３にウォーターマークＷＭを付与する。
図５に白丸で示す画素Ｐａは、輝度値を示す値の下一桁の数値が偶数となっている。また、図５に白四角で示す画素Ｐｂは、輝度値を示す値の下一桁の数値が奇数となっている。このように、マーク付与部８が付与するウォーターマークＷＭは、輝度値を示す値の下一桁の数値が規則的に交互に偶数と奇数とが繰り返す画素列になっている。
かかるウォーターマークＷＭは、厳密には元の画像データＩＭＧ３とは局所的に色の濃淡が異なるが、輝度値を示す値の下一桁の数値を変更した程度では、肉眼によって認識されることはない。これにより、マーク付与部８は、肉眼では認識不可能なウォーターマークＷＭを画像データＩＭＧ３に付与することができる。
また、マーク付与部８は、例えば、人等の主たる被写体の部分にウォーターマークＷＭを付与する。これにより、撮像装置１００のユーザは、例えば、撮像した画像における主たる被写体の部分が不正に切り取られて別の画像に合成された場合であっても、ウォーターマークＷＭを解析することによって、画像の出所を確認することができる。
また、マーク付与部８は、画像全体にウォーターマークＷＭを付与することもできる。これにより、撮像装置１００のユーザは、撮像した画像の一部でも自身の意思に反して加工された場合に、ウォーターマークＷＭを解析することによって、画像の出所を確認することができる。
また、マーク付与部８は、例えば、画像における被写体の原型が肉眼で認識不可能となるまで加工が施される場合に消滅するウォーターマークＷＭを生成して画像データに付与することもできる。これにより、マーク付与部８は、原型が肉眼で認識不可能となるまで加工が施された画像の出所がウォーターマークＷＭの解析によって特定されることを防止することができる。
［５．情報処理装置が実行する処理］
次に、図６および図７を参照し、実施形態に係る情報処理装置が実行する処理について説明する。図６および図７は、本開示に係る情報処理装置が実行する処理の一例を示すフローチャートである。
情報処理装置１は、撮像部２によって画像が撮像される場合に、図６および図７に示す処理を実行する。具体液には、図６に示すように、取得部４は、撮像部２によって画像が撮像されると、まず、撮像部２から画像データを取得する（ステップＳ１０１）。
続いて、受付部９は、ＡＰ１０１からメタデータに関する要求があるか否かを判定する（ステップＳ１０２）。受付部９は、ＡＰ１０１からメタデータに関する要求があると判定した場合（ステップＳ１０２，Ｙｅｓ）、生成部７によってＡＰ１０１から要求されるメタデータを生成させ（ステップＳ１０３）、処理をステップＳ１０７へ移す。
また、受付部９は、ＡＰ１０１からメタデータに関する要求がないと判定した場合（ステップＳ１０２，Ｎｏ）、ＡＰ１０１から撮像制御に関する要求があるか否かを判定する（ステップＳ１０４）。
受付部９は、ＡＰ１０１から撮像制御に関する要求があると判定した場合（ステップＳ１０４，Ｙｅｓ）、ＡＰ１０１から要求される撮像制御を撮像部２に設定して（ステップＳ１０５）、処理をステップＳ１０７へ移す。
また、受付部９は、ＡＰ１０１から撮像制御に関する要求がないと判定した場合（ステップＳ１０４，Ｎｏ）、画像データから所定のメタデータを生成し（ステップＳ１０６）、処理をステップＳ１０７へ移す。
ステップＳ１０７において、マーク付与部８は、ウォーターマーク付与処理を行い、処理をステップＳ１０８へ移す。ウォーターマーク付与処理の一例については、図７を参照して後述する。
ステップＳ１０８において、受付部９は、ＡＰ１０１の出力が画像および画像中の情報か否かを判定し、画像および画像中の情報であると判定した場合（ステップＳ１０８，Ｙｅｓ）、出力部６によって、画像データとメタデータとをＡＰ１０１へ出力させ、処理を終了する。
また、受付部９は、ＡＰ１０１の出力が画像および画像中の情報でないと判定した場合（ステップＳ１０８，Ｎｏ）、ＡＰ１０１の出力がＡＰ１０１による判定結果か否かを判定する（ステップＳ１１０）。
受付部９は、ＡＰ１０１の出力がＡＰ１０１による判定結果であると判定した場合（ステップＳ１１０，Ｙｅｓ）、出力部６によってメタデータをＡＰ１０１へ出力させ、処理を終了する。
また、受付部９は、ＡＰ１０１の出力がＡＰ１０１による判定結果でないと判定した場合（ステップＳ１１０，Ｎｏ）、出力部６によって画像データをＡＰ１０１へ出力させ、処理を終了する。
次に、図７を参照し、マーク付与部８がステップＳ１０７で行うウォーターマーク付与処理の一例について説明する。図７に示すように、マーク付与部８は、まず、画像における被写体のエッジを検出する（ステップＳ２０１）。
続いて、マーク付与部８は、エッジにおける色の濃淡の不規則性を判定する（ステップＳ２０２）。その後、マーク付与部８は、色の濃淡が規則的となるウォーターマークを生成する（ステップＳ２０３）。
そして、マーク付与部８は、色の濃淡が不規則な画素をウォーターマークに置換えることによって、画像データにウォーターマークを付与し（ステップＳ２０４）、ウォーターマーク付与処理を終了する。
［６．移動体への応用例］
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図９は、撮像部１２０３１の設置位置の例を示す図である。
図９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。等。撮像部１２０３１に本開示に係る技術を適用することにより、車外情報検出ユニット１２０３０による車外情報の検出処理に要する処理負荷を低減することができる。
［７．効果］
情報処理装置１は、取得部４と、生成部７と、出力部６とを有する。取得部４は、画像を撮像して画像データを生成する撮像部２から画像データを取得する。生成部７は、取得部４によって取得される画像データから、画像に関する処理を実行するＡＰ１０１を補助するメタデータＭｅｔａを生成する。出力部６は、生成部７によって生成されるメタデータＭｅｔａをＡＰ１０１へ出力する。これにより、情報処理装置１は、入力画像から被写体を認識するＡＰ１０１の情報処理量を低減することができる。
また、生成部７は、機械学習モデルを使用して画像データから画像の特徴を示す特徴データを抽出し、特徴データからメタデータＭｅｔａを生成する。これにより、生成部７は、ＡＰ１０１を補助する正確なメタデータＭｅｔａ１を生成することができる。
また、生成部７は、画像における被写体の位置を示すメタデータＭｅｔａ１を生成する。これにより、ＡＰ１０１は、被写体の認識処理を行う場合に、メタデータＭｅｔａ１を使用することにより、画像における被写体が写る領域について選択的に認識処理を行うことで処理負荷を低減しつつ被写体を認識することができる。
また、生成部７は、画像の被写体の属性を示すメタデータＭｅｔａ２を生成する。これにより、ＡＰ１０１は、例えば、被写体の認識処理を行う場合に、メタデータＭｅｔａ２を使用することにより、被写体の属性を判定する処理を省略することができるので、処理負荷を低減することができる。
また、生成部７は、画像の被写体までの距離を示すメタデータＭｅｔａ２を生成する。これにより、ＡＰ１０１は、例えば、車両に搭載されて障害物を検知する情報処理を行う場合に、メタデータＭｅｔａ２を使用することにより、遠くの被写体を検知対象から除外することで、処理負荷を低減することができる。
また、情報処理装置１は、ＡＰ１０１からの要求を受け付ける受付部９をさらに備える。生成部７は、受付部９によって受け付けられる要求に応じたメタデータＭｅｔａを生成する。これにより、情報処理装置１は、ＡＰ１０１が行う情報処理において、より有用なメタデータＭｅｔａをＡＰ１０１へ出力することがきる。
また、受付部９は、画像を撮像して画像データを生成する撮像部２へ、ＡＰ１０１から受け付ける撮像制御に関する要求に応じた制御信号を出力する。これにより、情報処理装置１は、例えば、ＡＰ１０１が行う情報処理において、必要最小限の情報量の画像データＩＭＧをＡＰ１０１へ出力することができる。
また、情報処理装置１は、画像の出所を示す肉眼では認識不可能なウォーターマークＷＭ１，ＷＭ２を生成して、画像データに付与するマーク付与部８をさらに備える。これにより、情報処理装置１は、画像の見栄えを損なうことなく、画像データＩＭＧ３にウォーターマークＷＭを付与することができる。
また、マーク付与部８は、画像における被写体のエッジを検出し、エッジを構成する色の濃淡が不規則な複数の画素を、色の濃淡が肉眼では識別不可能な規則的関係となる複数の画素に置き換えることによって、画像データにウォーターマークＷＭを付与する。これにより、これにより、肉眼では認識不可能なウォーターマークＷＭを画像データＩＭＧ３に付与することができる。
また、マーク付与部８は、画像全体にウォーターマークＷＭを付与する。これにより、撮像装置１００のユーザは、撮像した画像の一部でも自身の意思に反して加工された場合に、ウォーターマークＷＭを解析することによって、画像の出所を確認することができる。
また、マーク付与部８は、画像における主たる被写体の部分にウォーターマークＷＭを付与する。これにより、撮像装置１００のユーザは、例えば、撮像した画像における主たる被写体の部分が不正に切り取られて別の画像に合成された場合であっても、ウォーターマークＷＭを解析することによって、画像の出所を確認することができる。
また、マーク付与部８は、画像における被写体の原型が肉眼で認識不可能となるまで加工が施される場合に消滅するウォーターマークＷＭを生成する。これにより、情報処理装置１は、原型が肉眼で認識不可能となるまで加工が施された画像の出所がウォーターマークの解析によって特定されることを防止することができる。
また、情報処理方法は、コンピュータが、画像を撮像して画像データを生成する撮像部２から画像データを取得することと、画像データから、画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータＭｅｔａを生成することと、メタデータＭｅｔａをＡＰ１０１へ出力することと、を含む。これにより、本開示に係る情報処理方法によれば、入力画像から被写体を認識するＡＰ１０１の情報処理量を低減することができる。
また、情報処理プログラムは、コンピュータを、取得部４と、生成部７と、出力部６として機能させる。取得部４は、画像を撮像して画像データを生成する撮像部２から画像データを取得する。生成部７は、取得部４によって取得される画像データから、画像に関する処理を実行するＡＰ１０１を補助するメタデータＭｅｔａを生成する。出力部６は、生成部７によって生成されるメタデータＭｅｔａをＡＰ１０１へ出力する。これにより、本開示に係る情報処理プログラムによれば、入力画像から被写体を認識するＡＰ１０１の情報処理量を低減することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
画像を撮像して画像データを生成する撮像部から前記画像データを取得する取得部と、
前記取得部によって取得される前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する生成部と、
前記生成部によって生成される前記メタデータを前記アプリケーションプロセッサへ出力する出力部と、
を有する情報処理装置。
（２）
前記生成部は、
機械学習モデルを使用して前記画像データから前記画像の特徴を示す特徴データを抽出し、前記特徴データから前記メタデータを生成する
前記（１）に記載の情報処理装置。
（３）
前記生成部は、
前記画像における被写体の位置を示す前記メタデータを生成する
前記（１）または（２）に記載の情報処理装置。
（４）
前記生成部は、
前記画像の被写体の属性を示す前記メタデータを生成する
前記（１）〜（３）のいずれか一つに記載の情報処理装置。
（５）
前記生成部は、
前記画像の被写体までの距離を示す前記メタデータを生成する
前記（１）〜（４）のいずれか一つに記載の情報処理装置。
（６）
前記アプリケーションプロセッサからの要求を受け付ける受付部
をさらに備え、
前記生成部は、
前記受付部によって受け付けられる要求に応じたメタデータを生成する
前記（１）〜（５）のいずれか一つに記載の情報処理装置。
（７）
前記受付部は、
前記画像を撮像して前記画像データを生成する撮像部へ、前記アプリケーションプロセッサから受け付ける撮像制御に関する要求に応じた制御信号を出力する
前記（６）に記載の情報処理装置。
（８）
前記画像の出所を示す肉眼では認識不可能なウォーターマークを生成して、前記画像データに付与するマーク付与部
をさらに備える前記（１）〜（７）のいずれか一つに記載の情報処理装置。
（９）
前記マーク付与部は、
前記画像における被写体のエッジを検出し、前記エッジを構成する色の濃淡が不規則な複数の画素を、色の濃淡が肉眼では識別不可能な規則的関係となる複数の画素に置き換えることによって、前記画像データに前記ウォーターマークを付与する
前記（８）に記載の情報処理装置。
（１０）
前記マーク付与部は、
前記画像全体に前記ウォーターマークを付与する
前記（８）または（９）に記載の情報処理装置。
（１１）
前記マーク付与部は、
前記画像における主たる被写体の部分に前記ウォーターマークを付与する
前記（８）〜（１０）のいずれか一つに記載の情報処理装置。
（１２）
前記マーク付与部は、
前記画像における被写体の原型が肉眼で認識不可能となるまで加工が施される場合に消滅する前記ウォーターマークを生成する
前記（８）〜（１１）のいずれか一つに記載の情報処理装置。
（１３）
コンピュータが、
画像を撮像して画像データを生成する撮像部から前記画像データを取得することと、
前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成することと、
前記メタデータを前記アプリケーションプロセッサへ出力することと、
を含む情報処理方法。
（１４）
コンピュータを、
画像を撮像して画像データを生成する撮像部から前記画像データを取得する取得部と、
前記取得部によって取得される前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する生成部と、
前記生成部によって生成される前記メタデータを前記アプリケーションプロセッサへ出力する出力部と
として機能させるための情報処理プログラム。
１ 情報処理装置
２ 撮像部
３ メモリ
４ 取得部
５ 画像処理部
６ 出力部
７ 生成部
８ マーク付与部
９ 受付部
１００ 撮像装置
１０１ ＡＰ

Claims (14)

  1. 画像を撮像して画像データを生成する撮像部から前記画像データを取得する取得部と、
    前記取得部によって取得される前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する生成部と、
    前記生成部によって生成される前記メタデータを前記アプリケーションプロセッサへ出力する出力部と、
    を有する情報処理装置。
  2. 前記生成部は、
    機械学習モデルを使用して前記画像データから前記画像の特徴を示す特徴データを抽出し、前記特徴データから前記メタデータを生成する
    請求項１に記載の情報処理装置。
  3. 前記生成部は、
    前記画像における被写体の位置を示す前記メタデータを生成する
    請求項１に記載の情報処理装置。
  4. 前記生成部は、
    前記画像の被写体の属性を示す前記メタデータを生成する
    請求項１に記載の情報処理装置。
  5. 前記生成部は、
    前記画像の被写体までの距離を示す前記メタデータを生成する
    請求項１に記載の情報処理装置。
  6. 前記アプリケーションプロセッサからの要求を受け付ける受付部
    をさらに備え、
    前記生成部は、
    前記受付部によって受け付けられる要求に応じた前記メタデータを生成する
    請求項１に記載の情報処理装置。
  7. 前記受付部は、
    前記画像を撮像して前記画像データを生成する撮像部へ、前記アプリケーションプロセッサから受け付ける撮像制御に関する要求に応じた制御信号を出力する
    請求項６に記載の情報処理装置。
  8. 前記画像の出所を示す肉眼では認識不可能なウォーターマークを生成して、前記画像データに付与するマーク付与部
    をさらに備える請求項１に記載の情報処理装置。
  9. 前記マーク付与部は、
    前記画像における被写体のエッジを検出し、前記エッジを構成する色の濃淡が不規則な複数の画素を、色の濃淡が肉眼では識別不可能な規則的関係となる複数の画素に置き換えることによって、前記画像データに前記ウォーターマークを付与する
    請求項８に記載の情報処理装置。
  10. 前記マーク付与部は、
    前記画像全体に前記ウォーターマークを付与する
    請求項８に記載の情報処理装置。
  11. 前記マーク付与部は、
    前記画像における主たる被写体の部分に前記ウォーターマークを付与する
    請求項８に記載の情報処理装置。
  12. 前記マーク付与部は、
    前記画像における被写体の原型が肉眼で認識不可能となるまで加工が施される場合に消滅する前記ウォーターマークを生成する
    請求項８に記載の情報処理装置。
  13. コンピュータが、
    画像を撮像して画像データを生成する撮像部から前記画像データを取得することと、
    前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成することと、
    前記メタデータを前記アプリケーションプロセッサへ出力することと、
    を含む情報処理方法。
  14. コンピュータを、
    画像を撮像して画像データを生成する撮像部から前記画像データを取得する取得部と、
    前記取得部によって取得される前記画像データから、前記画像に関する処理を実行するアプリケーションプロセッサを補助するメタデータを生成する生成部と、
    前記生成部によって生成される前記メタデータを前記アプリケーションプロセッサへ出力する出力部と
    として機能させるための情報処理プログラム。
JP2019148676A 2019-08-13 2019-08-13 情報処理装置、情報処理方法、および情報処理プログラム Pending JP2021033334A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019148676A JP2021033334A (ja) 2019-08-13 2019-08-13 情報処理装置、情報処理方法、および情報処理プログラム
DE112020003840.8T DE112020003840T5 (de) 2019-08-13 2020-07-09 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und informationsverarbeitungsprogramm
US17/631,555 US20220351505A1 (en) 2019-08-13 2020-07-09 Information processing device, information processing method, and information processing program
PCT/JP2020/026784 WO2021029167A1 (ja) 2019-08-13 2020-07-09 情報処理装置、情報処理方法、および情報処理プログラム
CN202080055198.7A CN114175110A (zh) 2019-08-13 2020-07-09 信息处理设备、信息处理方法及信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019148676A JP2021033334A (ja) 2019-08-13 2019-08-13 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2021033334A true JP2021033334A (ja) 2021-03-01

Family

ID=74571086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019148676A Pending JP2021033334A (ja) 2019-08-13 2019-08-13 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (5)

Country Link
US (1) US20220351505A1 (ja)
JP (1) JP2021033334A (ja)
CN (1) CN114175110A (ja)
DE (1) DE112020003840T5 (ja)
WO (1) WO2021029167A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269470B2 (ja) * 1998-11-20 2002-03-25 村田機械株式会社 画像撮像装置
JP2002359805A (ja) * 2001-05-31 2002-12-13 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
JP2004112650A (ja) * 2002-09-20 2004-04-08 Fuji Photo Film Co Ltd 画像処理方法及び画像表示装置、画像編集装置
JP4933292B2 (ja) * 2006-02-28 2012-05-16 キヤノン株式会社 情報処理装置、無線通信方法、記憶媒体、プログラム
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP6039942B2 (ja) * 2012-07-09 2016-12-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP2015002423A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 画像処理装置、サーバ及び記憶媒体
CN109219801A (zh) * 2016-03-24 2019-01-15 苏蓓拉·阿兰德 为个体提供实时或即时的在线帮助以帮助他们实现个性化健康目标
JP7023613B2 (ja) 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
US11019407B2 (en) * 2019-08-27 2021-05-25 Synamedia Limited Systems and methods for providing watermarked content

Also Published As

Publication number Publication date
CN114175110A (zh) 2022-03-11
US20220351505A1 (en) 2022-11-03
DE112020003840T5 (de) 2022-05-05
WO2021029167A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US11606516B2 (en) Image processing device, image processing method, and image processing system
JP2022111151A (ja) 撮像装置及び撮像装置の制御方法
EP3968273A1 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2017195459A1 (ja) 撮像装置、および撮像方法
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021029167A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20220224830A1 (en) Imaging device and imaging method
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20230093035A1 (en) Information processing device and information processing method
WO2020039837A1 (ja) 画像処理装置
CN109076168B (zh) 控制装置、控制方法和计算机可读介质
WO2021192682A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2021192714A1 (ja) レンダリングシステム及び自動運転検証システム
WO2020137503A1 (ja) 画像処理装置