JP2022076407A - 信号処理装置、信号処理方法、および撮像装置 - Google Patents

信号処理装置、信号処理方法、および撮像装置 Download PDF

Info

Publication number
JP2022076407A
JP2022076407A JP2020186819A JP2020186819A JP2022076407A JP 2022076407 A JP2022076407 A JP 2022076407A JP 2020186819 A JP2020186819 A JP 2020186819A JP 2020186819 A JP2020186819 A JP 2020186819A JP 2022076407 A JP2022076407 A JP 2022076407A
Authority
JP
Japan
Prior art keywords
signal processing
data
processing
units
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020186819A
Other languages
English (en)
Inventor
剛史 渡部
Takashi Watabe
和幸 奥池
Kazuyuki Okuchi
啓 片山
Hiroshi Katayama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020186819A priority Critical patent/JP2022076407A/ja
Priority to PCT/JP2021/037795 priority patent/WO2022097434A1/ja
Priority to US18/033,745 priority patent/US20230393897A1/en
Publication of JP2022076407A publication Critical patent/JP2022076407A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/82—Architectures of general purpose stored program computers data or demand driven
    • G06F15/825—Dataflow computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】回路規模および消費電力を抑制しつつ、複数のデータに対する信号処理を行うことを可能にする。【解決手段】本開示の信号処理装置は、複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、それぞれが、付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部とを備える。【選択図】図２

Description

本開示は、複数のデータのそれぞれに対して信号処理を行う信号処理装置、信号処理方法、および撮像装置に関する。
近年、スマートフォンなどのカメラ搭載機器では、例えばＲＧＢセンサ、白黒センサ、測距センサ、および偏向センサなど、複数の種類のセンサを搭載することが進められている。このようなカメラ搭載機器では、複数のセンサの種類ごとに異なる信号処理が必要になる場合と、複数のセンサで共通の信号処理を行うことが可能である場合とがあるが、一般に、信号処理を行うハードウェアは、各センサごとに専用のブロックとして用意されている。そのため、センサの数が増加すると、ハードウェア規模が増大する。一方、ＣＰＵ（Central Processing Unit）やデータフロー専用のＤＦＰ（Data Flow Processor）を用いて、信号処理系のブロックを複数のセンサで共有する方法がある（特許文献１参照）。
特開平５－２６５８８０号公報
ＣＰＵやＤＦＰを用いて信号処理系のブロックを複数のセンサで共有する場合、ＣＰＵやＤＦＰの性能による律速が生じてしまう。また、ＤＦＰを用いることは回路規模および消費電力の増大を招く。
回路規模および消費電力を抑制しつつ、複数のデータに対する信号処理を行うことが可能な信号処理装置、信号処理方法、および撮像装置を提供することが望ましい。
本開示の一実施の形態に係る信号処理装置は、複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、それぞれが、付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部とを備える。
本開示の一実施の形態に係る信号処理方法は、複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力することと、複数段の処理部のそれぞれにおいて、付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うこととを含む。
本開示の一実施の形態に係る撮像装置は、複数のセンサと、複数のセンサのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、それぞれが、付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部とを備える。
本開示の一実施の形態に係る信号処理装置、信号処理方法、または撮像装置では、複数段の処理部のそれぞれにおいて、複数のデータのそれぞれに付加された付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理が行われる。
比較例に係る信号処理装置の一構成例を示すブロック図である。 本開示の第１の実施の形態に係る信号処理装置の一構成例を示すブロック図である。 第１の実施の形態に係る信号処理装置における入力部の一構成例を示すブロック図である。 第１の実施の形態に係る信号処理装置における処理部の第１の構成例を示すブロック図である。 第１の実施の形態に係る信号処理装置における処理部の第２の構成例を示すブロック図である。 第１の実施の形態に係る信号処理装置の構成の第１の具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置の構成の第２の具体例を示すブロック図である。 比較例に係る信号処理装置による信号処理の動作タイミングを模式的に示す説明図である。 第２の具体例に係る信号処理装置による信号処理の動作タイミングを模式的に示す説明図である。 第１の実施の形態に係る信号処理装置の構成の第３の具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置の構成の第４の具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置におけるキュー処理部で行われるキュー処理の一具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置の構成の第５の具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置におけるキュー処理部で行われるキュー処理の一具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置の構成の第６の具体例を示すブロック図である。 第１の実施の形態に係る信号処理装置によって付加される付加情報の一例を示す説明図である。 第１の実施の形態に係る信号処理装置の構成の第７の具体例を示すブロック図である。 第７の具体例に係る信号処理装置によって付加される付加情報の一例を示す説明図である。 比較例に係る信号処理装置における処理部の電力消費量の一例を示す説明図である。 第１の実施の形態に係る信号処理装置における処理部の電力消費量の一例を示す説明図である。 第１の実施の形態に係る信号処理装置における複数の入力部のそれぞれに関連する動作の一例を示すフローチャートである。 第１の実施の形態に係る信号処理装置における複数の処理部のそれぞれに関連する動作の一例を示すフローチャートである。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例（図１）
１．第１の実施の形態（図２～図２２）
１．１ 概要
１．２ 具体例
１．３ 動作
１．４ 効果
２．その他の実施の形態
＜０．比較例＞
（比較例に係る信号処理装置の概要）
図１は、比較例に係る信号処理装置１００の一構成例を示している。
図１では、複数の外部デバイスとしての複数のセンサ１０Ａ，１０Ｂ，１０Ｃから出力されたデータを処理する場合の構成例を示す。複数のセンサ１０Ａ，１０Ｂ，１０Ｃはそれぞれ、例えば画像データを出力する。複数の外部デバイスと信号処理装置１００は、全体として撮像装置を構成してもよい。
比較例に係る信号処理装置１００は、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれに対応して設けられた複数の画像入力部２１Ａ，２１Ｂ，２１Ｃを備えている。複数の画像入力部２１Ａ，２１Ｂ，２１Ｃのそれぞれには、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのデータが入力される。
信号処理装置１００は、さらに、ＣＰＵ２と、ＤＦＰ３と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部（ソフトウェア）４０Ａ，４０Ｂ，４０Ｃとを備えている。
複数のＳＷ処理部４０Ａ，４０Ｂ，４０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれに対応して設けられている。複数のＳＷ処理部４０Ａ，４０Ｂ，４０Ｃにはそれぞれ、複数段の信号処理系のハードウェアによる信号処理後のデータが入力される。
図１では、複数段の信号処理系のハードウェアとして、画像処理を行う複数段のＩＳＰ（Image Signal Processor）３１Ａ，３１Ｂ，３１Ｃが存在する場合の構成例を示す。複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃに対して共有化され、複数のデータのそれぞれに対して共通化された信号処理（処理Ａ，処理Ｂ，処理Ｃ）を行うことが可能となっている。
ＤＦＰ３は、ＣＰＵ２によって制御される。ＤＦＰ３は、複数の画像入力部２１Ａ，２１Ｂ，２１Ｃと、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃとのそれぞれの設定値や動作タイミング（データフロー）を制御する。複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃは、複数のセンサ１０Ａ，１０Ｂ，１０Ｃを介して入力された複数のセンサ１０Ａ，１０Ｂ，１０Ｃからのそれぞれのデータに対して、ＤＦＰ３の制御に従って、時分割で信号処理を行う。
（課題）
比較例に係る信号処理装置１００において、複数段の信号処理系のハードウェアをＣＰＵ２によってデータフロー制御すると、ＣＰＵ２の性能で律速してしまう。そこで、データフロー専用のＤＦＰ３を用いてデータフロー制御することで、ＣＰＵ２の性能に律速せずに信号処理が可能となる。ここで、ＤＦＰ３はデータフロー専用なので、高い処理能力を持っているが、それでもこのＤＦＰ３の性能で処理できる信号処理が律速してしまう。
そこで、ＣＰＵ２やＤＦＰ３の性能に律速しない信号処理を行うことが可能となる技術の開発が望まれている。また、回路規模および消費電力を抑制しつつ、複数のデータに対する信号処理を行うことが可能となる技術の開発が望まれている。
＜１．第１の実施の形態＞
［１．１ 概要］
図２は、本開示の第１の実施の形態に係る信号処理装置１の一構成例を概略的に示している。なお、図２において、図１の比較例に係る信号処理装置１００と同様の構成および動作を有する部分については、適宜、説明を省略する。
図２では、比較例に係る信号処理装置１００と同様に、複数の外部デバイスとしての複数のセンサ１０Ａ，１０Ｂ，１０Ｃから出力されたデータを処理する場合の構成例を示す。複数のセンサ１０Ａ，１０Ｂ，１０Ｃはそれぞれ、例えば画像データを出力する。複数の外部デバイスと信号処理装置１は、全体として撮像装置を構成してもよい。
第１の実施の形態に係る信号処理装置１は、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれに対応して設けられた複数の入力部２０Ａ，２０Ｂ，２０Ｃを備えている。複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれには、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのデータが入力される。
信号処理装置１は、さらに、ＣＰＵ２と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部４０Ａ，４０Ｂ，４０Ｃとを備えている。
なお、複数の外部デバイスは、２つまたは４つ以上の構成であってもよい。また、複数の外部デバイスの数に応じて、複数の入力部２０Ａ，２０Ｂ，２０Ｃの数も２つまたは４つ以上の構成であってもよい。同様に、複数の外部デバイスの数に応じて、複数のＳＷ処理部４０Ａ，４０Ｂ，４０Ｃの数も２つまたは４つ以上の構成であってもよい。
図２では、複数段の信号処理系のハードウェアとして、複数段の処理部３０Ａ，３０Ｂ，３０Ｃが存在する場合の構成例を示す。複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃに対して共有化され、複数のデータのそれぞれに対して共通化された信号処理（処理Ａ，処理Ｂ，処理Ｃ）を行うことが可能となっている。なお、複数段の信号処理系のハードウェアの数は、２つまたは４つ以上の構成であってもよい。
複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、複数の画像入力部２１Ａ，２１Ｂ，２１Ｃを有する。複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃを有する。
図３は、信号処理装置１における入力部２０ｘの一構成例を示している。ここで、入力部２０ｘは、複数の入力部２０Ａ，２０Ｂ，２０Ｃの任意の１つを示す。画像入力部２１ｘは、複数の画像入力部２１Ａ，２１Ｂ，２１Ｃの任意の１つを示す。
複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加したデータを生成して出力する。
複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、複数の画像入力部２１Ａ，２１Ｂ，２１Ｃの出力段に、第１のパケット生成部としてのパケット生成部２２を有する。パケット生成部２２は、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれから入力された複数のデータのそれぞれのパケットを生成し、付加情報をヘッダとしてパケットに付加して出力する。
ここで、付加情報は、複数段の処理部３０Ａ，３０Ｂ，３０Ｃのうち、複数のデータのそれぞれに対して、いずれの処理部を用いた信号処理を行うかのルーティングの指示を示す指示情報を含んでもよい。また、付加情報は、複数段の処理部３０Ａ，３０Ｂ，３０Ｃのそれぞれにおける信号処理に用いられる設定値を示す設定情報を含んでもよい。
ＣＰＵ２は、複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれに対して、複数段の処理部３０Ａ，３０Ｂ，３０Ｃのうち、いずれの処理部を用いた信号処理を行うかの指示を行うコントローラとしての役割を有している。
図４は、信号処理装置１における処理部３０ｘの第１の構成例を示している。ここで、処理部３０ｘは、複数段の処理部３０Ａ，３０Ｂ，３０Ｃの任意の１つを示す。ＩＳＰ３１ｘは、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃの任意の１つを示す。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃは、それぞれが、付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成されている。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、パケット解析部３２と、第２のパケット生成部としてのパケット生成部３３とを有している。
パケット解析部３２は、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃのそれぞれの入力段に設けられている。パケット生成部３３は、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃのそれぞれの出力段に設けられている。
パケット解析部３２は、パケットに付加されたヘッダを解析してＩＳＰ３１ｘにおける信号処理に用いる設定値を決定する。
パケット生成部３３は、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃのうち、次段の処理部の信号処理に用いられる情報を付加情報としてヘッダに付加したパケットを生成する。
図５は、信号処理装置１における処理部３０ｘの第２の構成例を示している。
複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれによって付加される付加情報には、複数段の処理部３０Ａ，３０Ｂ，３０Ｃのそれぞれにおける、複数のデータのそれぞれの信号処理の優先度を示す情報を含んでもよい。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、パケット解析部３２の入力段に、キュー処理部３４を有していてもよい。
キュー処理部３４は、優先度を示す情報に基づいて、後述するように、複数のデータのそれぞれに対するキュー処理を行う。キュー処理部３４は、後述するように、キュー溢れが発生した場合、複数のデータのうち、優先度が相対的に低いデータを廃棄するようにしてもよい。
ＣＰＵ２は、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれの設定値を調整することが可能なコントローラであってもよい。キュー処理部３４は、後述するように、キュー溢れが発生した場合、ＣＰＵ２にキュー溢れが発生したことを通知してもよい。ＣＰＵ２は、キュー処理部３４からの通知に基づいて、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれの設定値を調整するようにしてもよい。
以上の構成の信号処理装置１では、例えば、装置の起動前に、ＣＰＵ２から複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれに対して、複数段の処理部３０Ａ，３０Ｂ，３０Ｃのうち、いずれの処理部を用いた信号処理を行うかのルーティングの指示等を含む付加情報を与えておくことで、各処理部はＣＰＵ２からの制御を行うことなく、自動でデータをルーティングして処理することが可能となる。信号処理装置１では、信号処理系のハードウェアにおいてデータフロー処理を実施できるようにすることで、データフローをＣＰＵ２やＤＳＰ３（図１）で制御する必要がなくなる。これにより、外部デバイスの数を例えば１０，２０と拡張していく場合であっても、ＣＰＵ２やＤＳＰ３による律速を考慮しない処理が可能となる。
［１．２ 具体例］
次に、第１の実施の形態に係る信号処理装置１のより具体的な構成例を説明する。なお、図２と同様の構成および動作を有する部分については、適宜、説明を省略する。
（第１の具体例）
図６は、第１の実施の形態に係る信号処理装置１の構成の第１の具体例を示している。
図６に示した第１の具体例に係る信号処理装置１Ａは、複数の外部デバイスとして、ＲＧＢセンサ１１０Ａと白黒センサ１１０Ｂとから出力されたデータを処理する場合の構成例を示す。複数の外部デバイスと信号処理装置１Ａは、全体として撮像装置を構成してもよい。
信号処理装置１Ａは、ＲＧＢセンサ１１０Ａと白黒センサ１１０Ｂとに対応して設けられた複数の入力部２０Ａ，２０Ｂを備えている。入力部２０Ａには、ＲＧＢセンサ１１０Ａからのデータが入力される。入力部２０Ｂには、白黒センサ１１０Ｂからのデータが入力される。
信号処理装置１Ａは、さらに、ＣＰＵ２と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部４０Ａ，４０Ｂとを備えている。
図６には、複数段の信号処理系のハードウェアとして、ＲＧＢセンサ１１０Ａに対応して設けられた、複数段の処理部３０Ａ，３０Ｂ，３０Ｃが存在する場合の構成例を示す。また、図６には、信号処理系のハードウェアとして、白黒センサ１１０Ｂに対応して設けられた、１つの処理部３０Ａが存在する場合の構成例を示す。
入力部２０Ａは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ１１０ＡからのデータＤａのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、ＲＧＢセンサ１１０Ａに対応して設けられた処理部３０Ａに出力する。
入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、白黒センサ１１０ＢからのデータＤｂのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、白黒センサ１１０Ｂに対応して設けられた処理部３０Ａに出力する。
処理部３０Ｂには、ＲＧＢセンサ１１０Ａに対応して設けられた処理部３０ＡからのデータＤａと、白黒センサ１１０Ｂに対応して設けられた処理部３０ＡからのデータＤｂとが共通に入力される。処理部３０Ｂは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの処理を時分割で行う。
処理部３０Ｂは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの信号処理を時分割で行う。処理部３０Ｂは、信号処理後のデータＤｂについては、ＳＷ処理部４０Ｂに出力する。一方、信号処理後のデータＤａについては、処理部３０Ｂは、次段の処理部３０Ｃに出力する。処理部３０Ｃは、信号処理後のデータＤａをＳＷ処理部４０Ａに出力する。
なお、信号処理の内容によっては、複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ複数回の信号処理を繰り返してもよい。例えば信号処理としてノイズ低減処理などを複数回、実行してもよい。図６では、処理部３０Ｃが複数回の信号処理を繰り返す例を示す。
（第２の具体例）
図７は、第１の実施の形態に係る信号処理装置１の構成の第２の具体例を示している。
図７に示した第２の具体例に係る信号処理装置１Ｂは、複数の外部デバイスとして、互いに画素サイズの異なるＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとから出力されたデータを処理する場合の構成例を示す。複数の外部デバイスと信号処理装置１Ｂは、全体として撮像装置を構成してもよい。なお、図７ではＣＰＵ２の図示を省略している。
ＲＧＢセンサ２１０Ａは、ＲＧＢセンサ２１０Ｂに対して高解像度の画像センサとなっている。図７では、ＲＧＢセンサ２１０Ａの画素サイズは例えば１２Ｍｐｉｘ、ＲＧＢセンサ２１０Ｂの画素サイズは例えば４Ｍｐｉｘの例を示す。
信号処理装置１Ｂは、ＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとに対応して設けられた複数の入力部２０Ａ，２０Ｂを備えている。入力部２０Ａには、ＲＧＢセンサ１１０Ａからのデータが入力される。入力部２０Ｂには、ＲＧＢセンサ２１０Ｂからのデータが入力される。
信号処理装置１Ｂは、さらに、図示しないＣＰＵ２と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部４０Ａ，４０Ｂとを備えている。
図７には、複数段の信号処理系のハードウェアとして、ＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとのそれぞれに共通に設けられた、複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄが存在する場合の構成例を示す。
処理部３０Ａは、前処理部５１Ａを有している。処理部３０Ｂは、デモザイク処理部５１Ｂを有している。処理部３０Ｃは、Ｙ（輝度）Ｃ（クロマ）処理部を有している。処理部３０Ｄは、色調整部５１Ｄを有している。
入力部２０Ａは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ２１０ＡからのデータＤａのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、処理部３０Ａに出力する。
入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ２１０ＢからのデータＤｂのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、処理部３０Ａに出力する。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄはそれぞれ、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの処理を時分割で行う。処理部３０Ｄは、信号処理後のデータＤａをＳＷ処理部４０Ａに出力し、信号処理後のデータＤｂをＳＷ処理部４０Ａに出力する。
図８は、比較例に係る信号処理装置による信号処理の動作タイミングを模式的に示している。図８では、比較例に係る信号処理装置として、複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０ＤがＤＦＰ３によって制御される場合を例に示す。図９は、第２の具体例に係る信号処理装置１Ｂによる信号処理の動作タイミングを模式的に示している。
図８および図９において、上段にはＲＧＢセンサ２１０Ａ，２１０Ｂのそれぞれからのデータ出力のタイミング例を示す。比較例に係る信号処理装置と第２の具体例に係る信号処理装置１Ｂとのそれぞれにおいて、ＲＧＢセンサ２１０Ａ，２１０Ｂのそれぞれから、データが連続的に出力される。
図８において、下段にはＤＦＰ３と処理部３０Ａ内の前処理部５１Ａによる信号処理のタイミング例を示す。図９において、下段にはＣＰＵ２と処理部３０Ａ内の前処理部５１Ａによる信号処理のタイミング例を示す。
比較例に係る信号処理装置では、前処理部５１Ａにおいて、ＲＧＢセンサ２１０Ａ，２１０Ｂのそれぞれからのデータを時分割で処理するたびに、ＤＦＰ３からの制御（ｋｉｃｋ）が必要となる。このため、処理がＤＦＰ３の性能に律速する。これに対し、第２の具体例に係る信号処理装置１Ｂでは、前処理部５１ＡはヘッダＨｄに示される付加情報に基づいて自律動作し、信号処理を行う。このため、ＲＧＢセンサ２１０Ａ，２１０Ｂのそれぞれからのデータを時分割で処理する際に、ＣＰＵ２からの制御は不要であり、ＣＰＵ２の性能に律速しない。
（第３の具体例）
図１０は、第１の実施の形態に係る信号処理装置１の構成の第３の具体例を示している。
図１０に示した第３の具体例に係る信号処理装置１Ｃは、複数の外部デバイスとして、ＲＧＢセンサ３１０Ａと白黒センサ３１０Ｂとから出力されたデータを処理する場合の構成例を示す。複数の外部デバイスと信号処理装置１Ｃは、全体として撮像装置を構成してもよい。なお、図１０ではＣＰＵ２の図示を省略している。
図１０には、ＲＧＢセンサ３１０Ａと白黒センサ３１０Ｂとの画素サイズが同一、例えば１２Ｍｐｉｘの例を示す。
信号処理装置１Ｃは、ＲＧＢセンサ３１０Ａと白黒センサ３１０Ｂとに対応して設けられた複数の入力部２０Ａ，２０Ｂを備えている。入力部２０Ａには、ＲＧＢセンサ３１０Ａからのデータが入力される。入力部２０Ｂには、白黒センサ３１０Ｂからのデータが入力される。
信号処理装置１Ｃは、さらに、図示しないＣＰＵ２と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部４０Ａ，４０Ｂとを備えている。
図１０には、複数段の信号処理系のハードウェアとして、ＲＧＢセンサ３１０Ａに対応して設けられた、複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄが存在する場合の構成例を示す。また、図１０には、信号処理系のハードウェアとして、白黒センサ３１０Ｂに対応して設けられた、複数段の処理部３０Ａ，３０Ｂが存在する場合の構成例を示す。
処理部３０Ａは、前処理部５１Ａを有している。処理部３０Ｂは、デモザイク処理部５１Ｂを有している。処理部３０Ｃは、Ｙ（輝度）Ｃ（クロマ）処理部を有している。処理部３０Ｄは、色調整部５１Ｄを有している。
入力部２０Ａは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ３１０ＡからのデータＤａのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、ＲＧＢセンサ３１０Ａに対応して設けられた処理部３０Ａに出力する。ＲＧＢセンサ３１０Ａに対応して設けられた処理部３０Ｂには、ＲＧＢセンサ１１０Ａに対応して設けられた処理部３０ＡからのデータＤａが入力される。
入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、白黒センサ３１０ＢからのデータＤｂのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、白黒センサ３１０Ｂに対応して設けられた処理部３０Ａに出力する。白黒センサ３１０Ｂに対応して設けられた処理部３０Ｂには、白黒センサ３１０Ｂに対応して設けられた処理部３０ＡからのデータＤｂが入力される。
処理部３０Ｃには、ＲＧＢセンサ３１０Ａに対応して設けられた処理部３０ＢからのデータＤａと、白黒センサ３１０Ｂに対応して設けられた処理部３０ＢからのデータＤｂとが共通に入力される。処理部３０Ｃは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの信号処理を時分割で行い、信号処理後のデータＤａとデータＤｂとを次段の処理部３０Ｄに出力する。
処理部３０Ｄは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの処理を時分割で行う。処理部３０Ｄは、信号処理後のデータＤａをＳＷ処理部４０Ａに出力し、信号処理後のデータＤｂをＳＷ処理部４０Ａに出力する。
このように、複数の外部デバイスがＲＧＢセンサ３１０Ａと白黒センサ３１０Ｂとの組み合わせであっても、複数段の信号処理系のハードウェアのうち、信号処理として共通化可能な個所は共有可能となる。この場合、共有化したハードウェアでは、データを時分割で処理する際に、ＣＰＵ２からの制御は不要であり、ＣＰＵ２の性能に律速しない。
（第４の具体例）
図１１は、第１の実施の形態に係る信号処理装置１の構成の第４の具体例を示している。
図１１に示した第４の具体例に係る信号処理装置１Ｄは、複数の外部デバイスとして、センサ４１０Ａとセンサ４１０Ｂとから出力されたデータを処理する場合の構成例を示す。複数の外部デバイスと信号処理装置１Ｄは、全体として撮像装置を構成してもよい。なお、図１１ではＣＰＵ２の図示を省略している。
以上の具体例では、複数の外部デバイスとして、ＲＧＢセンサとＲＧＢセンサとの組み合わせ、ＲＧＢセンサと白黒センサとの組み合わせを用い例を示したが、複数の外部デバイスとして用いるセンサは、これらの組み合わせには限らない。センサ４１０Ａとセンサ４１０Ｂは、例えば、ＲＧＢセンサ、白黒センサ、偏光センサ、マルチスペクトルセンサ、ＴｏＦ（Time of Flight）センサ、およびＤＶＳ（Dynamic Vision Sensor ）センサなどのうち、任意の同一種類または異なる種類の複数のセンサの組み合わせであってもよい。
信号処理装置１Ｄは、センサ４１０Ａとセンサ４１０Ｂとに対応して設けられた複数の入力部２０Ａ，２０Ｂを備えている。入力部２０Ａには、センサ４１０Ａからのデータが入力される。入力部２０Ｂには、センサ４１０Ｂからのデータが入力される。
信号処理装置１Ｄは、さらに、図示しないＣＰＵ２と、複数段の信号処理系のハードウェアと、複数のＳＷ処理部４０Ａ，４０Ｂとを備えている。
図１１には、複数段の信号処理系のハードウェアとして、センサ４１０Ａに対応して設けられた、複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄが存在する場合の構成例を示す。また、図１１には、信号処理系のハードウェアとして、センサ４１０Ｂに対応して設けられた、複数段の処理部３０Ａ，３０Ｂが存在する場合の構成例を示す。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄはそれぞれ、複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄを有する。複数段のＩＳＰ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄはそれぞれ、信号処理として処理Ａ，処理Ｂ，処理Ｃ，処理Ｄを行う。
入力部２０Ａは、ＣＰＵ２からの指示に基づいて、センサ４１０ＡからのデータＤａのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、センサ４１０Ａに対応して設けられた処理部３０Ａに出力する。センサ４１０Ａに対応して設けられた処理部３０Ｂには、センサ４１０Ａに対応して設けられた処理部３０ＡからのデータＤａが入力される。
入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、センサ４１０ＢからのデータＤｂのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、センサ４１０Ｂに対応して設けられた処理部３０Ａに出力する。センサ４１０Ｂに対応して設けられた処理部３０Ｂには、センサ４１０Ｂに対応して設けられた処理部３０ＡからのデータＤｂが入力される。
処理部３０Ｃには、センサ４１０Ａに対応して設けられた処理部３０ＢからのデータＤａと、センサ４１０Ｂに対応して設けられた処理部３０ＢからのデータＤｂとが共通に入力される。処理部３０Ｃは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの信号処理を時分割で行い、信号処理後のデータＤａとデータＤｂとを次段の処理部３０Ｄに出力する。
処理部３０Ｄは、ヘッダＨｄに示される付加情報に基づいて、データＤａとデータＤｂとの処理を時分割で行う。処理部３０Ｄは、信号処理後のデータＤａをＳＷ処理部４０Ａに出力し、信号処理後のデータＤｂをＳＷ処理部４０Ａに出力する。
このように、複数の外部デバイスがセンサ４１０Ａとセンサ４１０Ｂとの組み合わせであっても、複数段の信号処理系のハードウェアのうち、信号処理として共通化可能な個所は共有可能となる。この場合、共有化したハードウェアでは、データを時分割で処理する際に、ＣＰＵ２からの制御は不要であり、ＣＰＵ２の性能に律速しない。
（第５の具体例）
図１２は、第１の実施の形態に係る信号処理装置１におけるキュー処理部３４で行われるキュー処理の一具体例を示している。
信号処理装置１における任意の処理部３０ｘは、パケット解析部３２の入力段に、キュー処理部３４を有していてもよい。キュー処理部３４は、パケットのヘッダＨｄに付加された優先度を示す情報に基づいて、複数のデータのそれぞれに対するキュー処理を行う。
処理部３０ｘは、優先度順に信号処理を行う。この場合において、図１２に示したように、同一優先度のパケットが複数ある場合、処理部３０ｘは、例えばタイムスタンプ順に信号処理を行って、信号処理を行った順に、次段のキュー処理部３４にパケットを出力する。
図１３は、第１の実施の形態に係る信号処理装置１の構成の第５の具体例を示している。
第５の具体例に係る信号処理装置１Ｅの構成は、優先度に関する構成を除き、図７に示した第２の具体例に係る信号処理装置１Ｂと略同様であってもよい。
信号処理装置１Ｅは、複数の外部デバイスとして、互いに画素サイズの異なるＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとから出力されたデータを処理する場合の構成例を示す。複数の外部デバイスと信号処理装置１Ｅは、全体として撮像装置を構成してもよい。なお、図１３ではＣＰＵ２の図示を省略している。
ＲＧＢセンサ２１０Ａは、ＲＧＢセンサ２１０Ｂに対して高解像度の画像センサとなっている。図１３では、ＲＧＢセンサ２１０Ａの画素サイズは例えば１２Ｍｐｉｘ、ＲＧＢセンサ２１０Ｂの画素サイズは例えば４Ｍｐｉｘの例を示す。
入力部２０Ａは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ２１０ＡからのデータＤａのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、処理部３０Ａに出力する。また、入力部２０Ａは、ＣＰＵ２からの指示に基づいて、データＤａのヘッダＨｄに付加情報として優先度を示す情報を含める。
入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、ＲＧＢセンサ２１０ＢからのデータＤｂのヘッダＨｄにルーティングの指示等を含む付加情報を付加したパケットを生成して、処理部３０Ａに出力する。また、入力部２０Ｂは、ＣＰＵ２からの指示に基づいて、データＤｂのヘッダＨｄに付加情報として優先度を示す情報を含める。
信号処理装置１Ｅは、例えば、高解像度の画像センサであるＲＧＢセンサ２１０ＡからのデータＤａに対して優先度を高く設定し、低解像度の画像センサであるＲＧＢセンサ２１０ＢからのデータＤｂに対して優先度を低く設定し、高解像度のデータＤａを優先的に処理するようにしてもよい。
（第６の具体例）
図１４は、第１の実施の形態に係る信号処理装置１におけるキュー処理部３４で行われるキュー処理の一具体例を示している。
キュー処理部３４は、キュー溢れが発生した場合、複数のデータのうち、優先度が相対的に低いデータを廃棄するようにしてもよい。
図１５は、第１の実施の形態に係る信号処理装置１の構成の第６の具体例を示している。
第６の具体例に係る信号処理装置１Ｆの構成は、キュー溢れが発生した場合の処理に関する構成を除き、図１３に示した第５の具体例に係る信号処理装置１Ｅと略同様であってもよい。
キュー処理部３４は、キュー溢れが発生した場合、ＣＰＵ２にキュー溢れが発生したことを通知してもよい。ＣＰＵ２は、キュー処理部３４からの通知に基づいて、複数の外部デバイスであるＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとのそれぞれの設定値を調整するようにしてもよい。ＣＰＵ２は、ＲＧＢセンサ２１０ＡとＲＧＢセンサ２１０Ｂとに対して、例えば解像度やフレームレートの設定値を調整するようにしてもよい。
（第７の具体例）
図１６は、第１の実施の形態に係る信号処理装置１によってパケットに付加される付加情報（ヘッダ情報）の一例を示す説明図である。
信号処理装置１によって付加されるヘッダ情報の項目としては、図１６示したように、例えば、Ｌｅｎｓ情報、画サイズ、赤外線フィルタ、フォーマット、ビット数、ガンマ特性、ＮＲ特性、シャッタ時間、Ｇａｉｎ量、タイムスタンプ、ルート情報、および優先度の情報が含まれていてもよい。ルート情報には、次段の処理部の情報を示す「次のルート情報」が含まれていてもよい。
図１７は、第１の実施の形態に係る信号処理装置１の構成の第７の具体例を示している。
第７の具体例に係る信号処理装置１Ｇの構成は、信号処理のルートを除き、図１０に示した第３の具体例に係る信号処理装置１Ｃと略同様であってもよい。
信号処理装置１Ｇには、複数段の信号処理系のハードウェアとして、複数段の処理部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄが存在する。
処理部３０Ａは、前処理部５１Ａを有している。処理部３０Ｂは、デモザイク処理部５１Ｂを有している。処理部３０Ｃは、Ｙ（輝度）Ｃ（クロマ）処理部を有している。処理部３０Ｄは、色調整部５１Ｄを有している。
図１８は、第７の具体例に係る信号処理装置１Ｇによって付加される付加情報（ヘッダ情報）の一例を示している。図１８には、入力部２０Ａから出力されたパケットに付加されたヘッダ情報（Ｈｅａｄｅｒ １）と、処理部３０Ｂから出力されたパケットに付加されたヘッダ情報（Ｈｅａｄｅｒ ３）との例を示す。
例えば、各処理部を経ることで、次段の処理部の情報を示す「次のルート情報」が更新されていく。
なお、ヘッダ情報としては、フィルタパラメータのように大きなサイズのものは実際の値を入れないことが望ましい。また、ヘッダ情報としては、各パラメータの値自体は入れずに、別途、各パラメータの値をメモリに保持しておいてもよい。その場合、ヘッダ情報としては、パラメータの値がメモリ内のごとにあるかを示す情報を入れておいてもよい。
（電力消費量について）
図１９は、比較例に係る信号処理装置１００における処理部の電力消費量の一例を示している。図２０は、第１の実施の形態に係る信号処理装置１における処理部の電力消費量の一例を示している。
比較例に係る信号処理装置１００（図１）では、信号処理を行う各処理部は、図１９に示したように、外部デバイスからのデータの入力（ストリーミング）が開始してから停止するまでの間、常に動作している必要があり、電力消費が大きい。
これに対し、第１の実施の形態に係る信号処理装置１では、信号処理を行う各処理部は、図２０に示したように、少なくとも、信号処理を行うパケットを受信してから次段の処理部にパケットを送信する間のみ動作していればよく電力消費は少ない。
［１．３ 動作］
以下、図２１および図２２を参照しつつ、図２に示した信号処理装置１の動作を説明する。
図２１は、信号処理装置１における複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれに関連する動作の一例を示すフローチャートである。
まず、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのデータの入力（ストリーミング）が開始される前に、ＣＰＵ２から複数の入力部２０Ａ，２０Ｂ，２０Ｃのそれぞれに対し、信号処理に必要とされる付加情報の元となるデータフローの設定がなされる（ステップＳ１１）。次に、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのストリーミングが開始される（ステップＳ１２）。
複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからの入力待ちとなる（ステップＳ１３）。複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれのストリーミングが終了した場合には、処理を終了する。
複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのデータを受信した場合には、複数の入力部２０Ａ，２０Ｂ，２０Ｃにおいてデータの処理を開始する（ステップＳ１４）。複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、後段の処理部のためにパケット生成処理を行う（ステップＳ１５）。次に、複数の入力部２０Ａ，２０Ｂ，２０Ｃはそれぞれ、付加情報がヘッダ情報として付加され、パケット化されたデータを後段の処理部に送信する（ステップＳ１６）。
図２２は、信号処理装置における複数段の処理部３０Ａ，３０Ｂ，３０Ｃのそれぞれに関連する動作の一例を示すフローチャートである。
まず、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれからのストリーミングが開始される（ステップＳ２１）。複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、キュー処理部３４におけるデータ受信待ちとなる（ステップＳ２２）。複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、複数のセンサ１０Ａ，１０Ｂ，１０Ｃのそれぞれのストリーミングが終了した場合には、処理を終了する。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、キュー処理部３４においてデータを受信した場合には、ヘッダ情報に示された優先度を示す情報に基づいて処理するデータを決定する（ステップＳ２３）。次に、複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、ヘッダ情報に基づいて、処理の設定値を決定する（ステップＳ２４）。次に、複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、データの処理を開始する（ステップＳ２５）。
複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、後段の処理部のためにパケット生成処理を行う（ステップＳ２６）。次に、複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、パケット化されたデータを後段の処理部に送信する（ステップＳ２７）。次に、複数段の処理部３０Ａ，３０Ｂ，３０Ｃはそれぞれ、キュー処理部３４にデータがあるか否かを判断する（ステップＳ２８）。キュー処理部３４にデータがないと判断した場合（ステップＳ２８；Ｎ）には、ステップＳ２２の処理に戻る。キュー処理部３４にデータがあると判断した場合（ステップＳ２８；Ｙ）には、ステップＳ２３の処理に戻る。
［１．４ 効果］
以上説明したように、第１の実施の形態に係る信号処理装置１によれば、複数段の信号処理系のハードウェアのそれぞれにおいて、複数のデータのそれぞれに付加された付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うようにしたので、回路規模および消費電力を抑制しつつ、複数のデータに対する信号処理を行うことが可能となる。
第１の実施の形態に係る信号処理装置１によれば、複数の外部デバイスで複数段の信号処理系のハードウェアを共有することで、ハードウェアの規模を削減することが可能となる。第１の実施の形態に係る信号処理装置１によれば、ＣＰＵ２やＤＳＰ３を介在せずに信号処理系のハードウェアのデータフローが進むので、ＣＰＵ２において信号処理以外の処理に注力することが可能となる。第１の実施の形態に係る信号処理装置１では、パケット単位で複数段の信号処理系のハードウェアに対するルーティングがなされるため、信号処理の待機中は消費電力を抑制することが可能となる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、複数段の処理部のそれぞれにおいて、複数のデータのそれぞれに付加された付加情報に基づいて、複数のデータのそれぞれに対して共通化された信号処理を行うようにしたので、回路規模および消費電力を抑制しつつ、複数のデータに対する信号処理を行うことが可能となる。
（１）
複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、
それぞれが、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部と
を備える
信号処理装置。
（２）
前記付加情報は、
前記複数段の処理部のうち、前記複数のデータのそれぞれに対して、いずれの処理部を用いた信号処理を行うかの指示を示す指示情報と、
前記複数段の処理部のそれぞれにおける信号処理に用いられる設定値を示す設定情報と
を含む
上記（１）に記載の信号処理装置。
（３）
前記付加情報は、
前記複数段の処理部のそれぞれにおける、前記複数のデータのそれぞれの信号処理の優先度を示す情報を含む
上記（１）または（２）に記載の信号処理装置。
（４）
前記複数の入力部のそれぞれに対して、前記複数段の処理部のうち、いずれの処理部を用いた信号処理を行うかの指示を行うコントローラ、
をさらに備える
上記（１）ないし（３）のいずれか１つに記載の信号処理装置。
（５）
前記複数の入力部はそれぞれ、
前記複数のデータのそれぞれのパケットを生成し、前記付加情報をヘッダとして前記パケットに付加して出力する第１のパケット生成部、を有する
上記（１）ないし（４）のいずれか１つに記載の信号処理装置。
（６）
前記複数段の処理部はそれぞれ、
前記パケットに付加されたヘッダを解析して信号処理に用いる設定値を決定するパケット解析部と、
次段の処理部の信号処理に用いられる情報を前記付加情報としてヘッダに付加したパケットを生成する第２のパケット生成部と
を有する
上記（５）に記載の信号処理装置。
（７）
前記複数段の処理部はそれぞれ、
前記優先度を示す情報に基づいて、前記複数のデータのそれぞれに対するキュー処理を行うキュー処理部、
をさらに有する
上記（３）に記載の信号処理装置。
（８）
前記キュー処理部は、
キュー溢れが発生した場合、前記複数のデータのうち、前記優先度が相対的に低いデータを廃棄する
上記（７）に記載の信号処理装置。
（９）
前記複数の外部デバイスの設定値を調整することが可能なコントローラ、をさらに備え、
前記キュー処理部は、キュー溢れが発生した場合、前記コントローラにキュー溢れが発生したことを通知し、
前記コントローラは、前記キュー処理部からの通知に基づいて、前記複数の外部デバイスの設定値を調整する
上記（８）に記載の信号処理装置。
（１０）
複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力することと、
複数段の処理部のそれぞれにおいて、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことと
を含む
信号処理方法。
（１１）
複数のセンサと、
前記複数のセンサのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、
それぞれが、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部と
を備える
撮像装置。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ…信号処理装置、２…ＣＰＵ（Central Processing Unit）（コントローラ）、３…ＤＦＰ（Data Flow Processor）、１０Ａ，１０Ｂ，１０Ｃ…センサ（外部デバイス）、２０Ａ，２０Ｂ，２０Ｃ，２０ｘ…入力部、２１Ａ，２１Ｂ，２１Ｃ，２１ｘ…画像入力部、２２…パケット生成部（第１のパケット生成部）、３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０ｘ…処理部、３１Ａ…ＩＳＰ（Image Signal Processor）（処理Ａ）、３１Ｂ…ＩＳＰ（処理Ｂ）、３１Ｃ…ＩＳＰ（処理Ｃ）、３１ｘ…ＩＳＰ（処理ｘ）、３２…パケット解析部、３３…パケット生成部（第２のパケット生成部）、３４…キュー処理部、４０Ａ，４０Ｂ，４０Ｃ…ＳＷ（ソフトウェア）処理部、５１Ａ…前処理部、５１Ｂ…デモザイク処理部、５１Ｃ…ＹＣ処理部、５１Ｄ…色調整部、１００…信号処理装置、１１０Ａ…ＲＧＢセンサ、１１０Ｂ…白黒センサ、２１０Ａ…ＲＧＢセンサ（１２Ｍｐｉｘ）、２１０Ｂ…ＲＧＢセンサ（１２Ｍｐｉｘ）、３１０Ａ…ＲＧＢセンサ（１２Ｍｐｉｘ）、３１０Ｂ…白黒センサ（１２Ｍｐｉｘ）、４１０Ａ…センサ、４１０Ｂ…センサ、Ｄａ，Ｄｂ…データ、Ｈｄ…ヘッダ。

Claims (11)

  1. 複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、
    それぞれが、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部と
    を備える
    信号処理装置。
  2. 前記付加情報は、
    前記複数段の処理部のうち、前記複数のデータのそれぞれに対して、いずれの処理部を用いた信号処理を行うかの指示を示す指示情報と、
    前記複数段の処理部のそれぞれにおける信号処理に用いられる設定値を示す設定情報と
    を含む
    請求項１に記載の信号処理装置。
  3. 前記付加情報は、
    前記複数段の処理部のそれぞれにおける、前記複数のデータのそれぞれの信号処理の優先度を示す情報を含む
    請求項１に記載の信号処理装置。
  4. 前記複数の入力部のそれぞれに対して、前記複数段の処理部のうち、いずれの処理部を用いた信号処理を行うかの指示を行うコントローラ、
    をさらに備える
    請求項１に記載の信号処理装置。
  5. 前記複数の入力部はそれぞれ、
    前記複数のデータのそれぞれのパケットを生成し、前記付加情報をヘッダとして前記パケットに付加して出力する第１のパケット生成部、を有する
    請求項１に記載の信号処理装置。
  6. 前記複数段の処理部はそれぞれ、
    前記パケットに付加されたヘッダを解析して信号処理に用いる設定値を決定するパケット解析部と、
    次段の処理部の信号処理に用いられる情報を前記付加情報としてヘッダに付加したパケットを生成する第２のパケット生成部と
    を有する
    請求項５に記載の信号処理装置。
  7. 前記複数段の処理部はそれぞれ、
    前記優先度を示す情報に基づいて、前記複数のデータのそれぞれに対するキュー処理を行うキュー処理部、
    をさらに有する
    請求項３に記載の信号処理装置。
  8. 前記キュー処理部は、
    キュー溢れが発生した場合、前記複数のデータのうち、前記優先度が相対的に低いデータを廃棄する
    請求項７に記載の信号処理装置。
  9. 前記複数の外部デバイスの設定値を調整することが可能なコントローラ、をさらに備え、
    前記キュー処理部は、キュー溢れが発生した場合、前記コントローラにキュー溢れが発生したことを通知し、
    前記コントローラは、前記キュー処理部からの通知に基づいて、前記複数の外部デバイスの設定値を調整する
    請求項８に記載の信号処理装置。
  10. 複数の外部デバイスのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力することと、
    複数段の処理部のそれぞれにおいて、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことと
    を含む
    信号処理方法。
  11. 複数のセンサと、
    前記複数のセンサのそれぞれから入力された複数のデータのそれぞれに対して、信号処理に必要とされる付加情報を付加して出力する複数の入力部と、
    それぞれが、前記付加情報に基づいて、前記複数のデータのそれぞれに対して共通化された信号処理を行うことが可能に構成された複数段の処理部と
    を備える
    撮像装置。
JP2020186819A 2020-11-09 2020-11-09 信号処理装置、信号処理方法、および撮像装置 Pending JP2022076407A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020186819A JP2022076407A (ja) 2020-11-09 2020-11-09 信号処理装置、信号処理方法、および撮像装置
PCT/JP2021/037795 WO2022097434A1 (ja) 2020-11-09 2021-10-12 信号処理装置、信号処理方法、および撮像装置
US18/033,745 US20230393897A1 (en) 2020-11-09 2021-10-12 Signal processing device, signal processing method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020186819A JP2022076407A (ja) 2020-11-09 2020-11-09 信号処理装置、信号処理方法、および撮像装置

Publications (1)

Publication Number Publication Date
JP2022076407A true JP2022076407A (ja) 2022-05-19

Family

ID=81457142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020186819A Pending JP2022076407A (ja) 2020-11-09 2020-11-09 信号処理装置、信号処理方法、および撮像装置

Country Status (3)

Country Link
US (1) US20230393897A1 (ja)
JP (1) JP2022076407A (ja)
WO (1) WO2022097434A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247509A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd カメラ装置
JP4305055B2 (ja) * 2003-05-22 2009-07-29 株式会社日立製作所 画像記録装置
JP4415978B2 (ja) * 2006-08-02 2010-02-17 ソニー株式会社 画像信号処理装置、画像信号処理方法
JP5266076B2 (ja) * 2009-01-30 2013-08-21 パナソニック株式会社 インターホンシステム
US20120320751A1 (en) * 2011-06-17 2012-12-20 Jing Zhu Method and system for communicating data packets
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
WO2022097434A1 (ja) 2022-05-12
US20230393897A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
JP6238184B2 (ja) 撮像装置
US10348969B2 (en) Camera controller, image processing module, and semiconductor system
JP4982127B2 (ja) 画像表示システム
JP4715853B2 (ja) 固体撮像装置および撮像方法
JP6429500B2 (ja) 光学機器、交換レンズ及び像ぶれ補正方法
RU2394388C1 (ru) Устройство формирования изображения и способ его управления
JP2008124928A (ja) オートホワイトバランスシステム
WO2022097434A1 (ja) 信号処理装置、信号処理方法、および撮像装置
JP2002182260A (ja) 撮像装置
JP2010103888A (ja) 撮像装置、撮像動作処理方法
JP5956813B2 (ja) 画像処理装置およびその制御方法
JP6223295B2 (ja) 撮像素子、その制御方法およびコンピュータプログラム、並びに撮像装置
JP4314898B2 (ja) 撮像装置、及びその画像制御方法
US9723568B2 (en) Communication apparatus and display apparatus
US9521355B2 (en) Image processing apparatus, image processing method and program thereof
JP2019068252A (ja) 制御装置、制御方法、プログラム
US11895410B2 (en) Image processing apparatus and control method therefor, and image capturing apparatus
WO2023112590A1 (ja) 撮像装置、画像処理方法、プログラム
JP2004289375A (ja) 画像処理装置及びカメラ
JP2007159037A (ja) 撮像装置、その制御方法及びプログラム
JP2006261919A (ja) 映像信号処理装置及び映像信号処理方法
JP2008219830A (ja) 撮像装置
JP2014030146A (ja) 撮像装置及びその制御方法
JP2024093844A (ja) 画像処理装置、画像処理方法、記憶媒体
JP2006229448A (ja) 撮像装置