CN110366740B - 图像处理装置和摄像装置 - Google Patents

图像处理装置和摄像装置 Download PDF

Info

Publication number
CN110366740B
CN110366740B CN201780087647.4A CN201780087647A CN110366740B CN 110366740 B CN110366740 B CN 110366740B CN 201780087647 A CN201780087647 A CN 201780087647A CN 110366740 B CN110366740 B CN 110366740B
Authority
CN
China
Prior art keywords
image processing
image
unit
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087647.4A
Other languages
English (en)
Other versions
CN110366740A (zh
Inventor
中园启介
上野晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110366740A publication Critical patent/CN110366740A/zh
Application granted granted Critical
Publication of CN110366740B publication Critical patent/CN110366740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理装置，其具有多个处理部，该处理部与通用的数据总线连接，并对从与数据总线连接的数据存储部经由数据总线读取的数据进行预定的处理，至少1个处理部具有：多个处理模块，它们对输入的数据进行预定的处理；输入输出用模块，其作为不经由数据总线而与外部之间直接输入输出数据的处理模块而进行动作；以及连接切换部，其按照输入的设定切换处理模块彼此的连接，而变更流水线结构，该处理部是通过构成个流水线的各个处理模块进行流水线处理的图像处理部，该图像处理装置具有：动作检测部，其对各个处理部的动作进行检测；输入输出位置决定部，其根据动作检测部所检测的各个处理部的动作的信息，决定图像处理部的流水线结构；信息输出部，其将输入输出位置决定部所决定的流水线结构的信息向外部输出；以及信息输入部，其从外部接受流水线结构的信息，连接切换部根据输入输出位置决定部所决定的或者信息输入部所接受的流水线结构的信息，切换构成流水线的处理模块彼此的连接。

Description

图像处理装置和摄像装置
技术领域
本发明涉及图像处理装置和摄像装置。
背景技术
在静态图像用照相机、动态图像用照相机、医疗用内窥镜照相机或者产业用内窥镜照相机等摄像装置中，通过搭载的系统LSI等图像处理装置，进行各种图像处理。因此，优选为，在图像处理装置中具有图像处理功能，该图像处理功能用于实现搭载于摄像装置的功能。
另外，近年来，在摄像装置中，对拍摄的图像进行显示的显示装置的高精细化得以发展。例如，在显示装置中，能够显示应对HDTV(High Definition TeleVision：高清晰度电视)的具有全HD大小(1920×1080)的分辨率的图像以及应对UHDTV(Ultra HighDefinition TeleVision：超高清电视)的具有4K大小(3840×2160)的分辨率的图像。此外，在显示装置中，显示具有比4K大小更高精细化的8K大小(7680×4320)的分辨率的图像的技术也在计划之中。
因此，针对搭载于摄像装置的图像处理装置，要求应对更高精细的图像。即，在图像处理装置中需要具有应对像4K大小和8K大小那样的高分辨率的图像、高帧速率的图像的图像处理功能。
在搭载于摄像装置的图像处理装置中，大多采用如下结构：使为了实现图像处理功能而内置的多个处理块共用1个与图像处理装置连接的DRAM(Dynamic Random AccessMemory：动态随机存取存储器)。而且，在像这样的图像处理装置中，内置的多个处理块与图像处理装置的内部的数据总线连接，各个处理块通过经由数据总线的DMA(Direct MemoryAccess：直接存储器存取)进行对DRAM的访问。因此，在图像处理装置中，根据进行图像处理的对象的图像的分辨率和帧速率使在图像处理中处理的数据量(即，各个处理块访问DRAM所需要的总线频带)变化。即，如果图像处理装置具有应对高分辨率的图像、高帧速率的图像的图像处理功能，则在图像处理中处理的数据量增加，因此需要的DRAM的总线频带也增加。另外，在应对高分辨率的图像、高帧速率的图像的图像处理装置中，内置的多个处理块各自也需要高速地进行动作。
另外，在图像处理装置所具有的处理块之中，存在通过采用串联连接多个处理模块而成的结构来进行流水线处理的处理块。例如，在图像处理装置中，摄像装置的进行一系列图像处理的图像处理部是进行流水线处理的结构的处理块。在像这样的结构的图像处理装置中，通过由串联连接进行各个图像处理的多个图像处理模块而成的图像处理部中的流水线处理，能够实现摄像装置的一系列图像处理的高速化。另外，在像这样的结构的图像处理装置中，除了图像处理部所具有的数据输入侧和输出侧的处理模块之外，进行流水线处理的各个图像处理模块不对DRAM进行访问，因此避免进行图像处理时对DRAM的总线频带的压迫，从而能够减少图像处理装置的功耗。
另一方面，摄像装置根据搭载的功能和处理能力(速度)或者该摄像装置的价格而发展出各种机种。而且，在摄像装置中，按照发展的每个机种开发具有需要的图像处理功能的图像处理装置，这种方法在从图像处理装置的开发期间和成本的观点来看，不是有益的手段。因此，考虑如下方法：开发具有较多图像处理功能的高功能图像处理装置来作为1个图像处理装置，通用并搭载于发展的所有的摄像装置，所述较多图像处理功能包含对高分辨率的图像的应对。但是，高功能图像处理装置在搭载时需要较大的面积，在进行动作时功耗较大。另外，高功能图像处理装置非常昂贵。这样，从摄像装置的小型化、低功耗化、低价格化的观点出发，难以将高功能图像处理装置搭载于搭载有较少功能的摄像装置。
因此，以往，提出有使执行的图像处理功能具有扩展性的结构的各种图像处理装置的技术。例如，在专利文献1中，公开了通过多个ASIC实现功能不同的各种图像处理装置的技术。更具体而言，在专利文献1中公开了如下技术：仅使用具有图像处理所需要的最低限度的功能的基本功能ASIC，以最适当的成本实现低功能图像处理装置，使用基本功能ASIC和具有较多功能的高功能ASIC，而实现多功能的高性能图像处理装置。因此，认为通过将专利文献1所公开的技术应用于摄像装置，能够发展出各种机种的摄像装置。即，通过仅搭载低功能图像处理装置能够实现低成本的摄像装置，通过搭载低功能图像处理装置和高功能图像处理装置双方能够实现高功能摄像装置。
现有技术文献
专利文献
专利文献1：日本特开2008-301090号公报
发明内容
发明要解决的课题
但是，专利文献1所公开的技术是用于将高功能ASIC连接于基本功能ASIC从而扩展图像处理装置的功能的技术，而专利文献1没有公开关于确保DRAM的总线频带的技术，这被认为在高性能图像处理装置中是必要的技术。即，在专利文献1中没有公开关于在将高功能ASIC连接于基本功能ASIC时用于确保、减少DRAM的总线频带的技术，该总线频带被认为会因实现各个功能而增加。
因此，认为，在摄像装置中，通过应用专利文献1所公开的技术能够扩展图像处理功能，但不能在搭载于摄像装置的图像处理装置中确保所需要的DRAM的总线频带，不能实现达到较高处理能力(处理速度)的结构，该较高处理能力(处理速度)是应对高分辨率的图像、高帧速率的图像所要求的。
本发明是根据上述课题认识而完成的，其目的在于，提供能够确保图像处理装置所具有的各个处理块访问共用的DRAM所需要的总线频带的图像处理装置和摄像装置。
用于解决课题的手段
根据本发明的第1方式，图像处理装置具有多个处理部，该处理部与通用的数据总线连接，并对从与所述数据总线连接的数据存储部经由所述数据总线读取的数据进行预定的处理，其中，至少1个所述处理部具有：多个处理模块，它们对输入的数据进行预定的处理；输入输出用模块，其作为不经由所述数据总线而与外部之间直接输入输出数据的所述处理模块而进行动作；以及连接切换部，其按照输入的设定切换所述处理模块彼此的连接，而变更流水线的结构，所述处理部是通过构成所述流水线的各个所述处理模块进行流水线处理的图像处理部，该图像处理装置具有：动作检测部，其对各个所述处理部的动作进行检测；输入输出位置决定部，其根据所述动作检测部所检测的各个所述处理部的动作的信息，决定所述图像处理部中的所述流水线的结构；信息输出部，其将所述输入输出位置决定部所决定的所述流水线的结构的信息向外部输出；以及信息输入部，其从外部接受所述流水线的结构的信息，所述连接切换部根据所述输入输出位置决定部所决定的、或者所述信息输入部所接受的所述流水线的结构的信息，切换构成所述流水线的所述处理模块彼此的连接。
根据本发明的第2方式，在上述第1方式的图像处理装置中，也可以为，所述动作检测部将伴随各个所述处理部经由所述数据总线对所述数据存储部的访问的动作，作为各个所述处理部的动作而进行检测，所述输入输出位置决定部将用于划分在所述图像处理部进行的流水线处理的所述流水线的结构决定为，在各个所述处理部经由所述数据总线访问所述数据存储部时所需要的所述数据总线的频带的总合为，与所述数据总线连接的所述数据存储部的最大的频带以内。
根据本发明的第3方式，在上述第2方式的图像处理装置中，也可以为，所述输入输出位置决定部决定在所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置，以划分在所述图像处理部中进行的流水线处理。
根据本发明的第4方式，摄像装置具有多个上述第2方式的图像处理装置，使前级的所述图像处理装置所具有的所述输入输出用模块的输出与后级的所述图像处理装置所具有的所述输入输出用模块的输入连接，从而各个所述图像处理装置连接成串，各个所述图像处理装置所具有的所述图像处理部内的所述连接切换部根据任意1个所述图像处理装置所具有的所述输入输出位置决定部所决定的所述流水线的结构的信息，切换在所述图像处理部中构成的所述流水线中的所述处理模块彼此的连接。
根据本发明的第5方式，在上述第4方式的摄像装置中，也可以为，所述任意1个所述图像处理装置所具有的所述输入输出位置决定部根据对应的所述动作检测部所检测的各个所述处理部的动作的信息，决定所述流水线的结构，以通过各个所述图像处理部分担流水线处理，所述流水线的结构包含在各个所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置，所述任意1个所述图像处理装置所具有的所述信息输出部将所述输入输出位置决定部所决定的所述流水线的结构的信息向其他所述图像处理装置所具有的所述信息输入部输出，各个所述图像处理装置所具有的所述图像处理部内的所述连接切换部将在所述图像处理部中构成的所述流水线中的所述处理模块彼此的连接切换为，将所述输入输出用模块组入于所述输入输出位置决定部所决定的、或者对应的所述信息输入部所接受的所述流水线的结构的信息所包含的所述输入输出用模块的位置。
根据本发明的第6方式，在上述第5方式的摄像装置中，也可以为，所述任意1个所述图像处理装置所具有的所述输入输出位置决定部将在各个所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置决定为，在各个所述图像处理装置中进行处理的各个所述处理部经由对应的所述数据总线访问所述数据存储部时所需要的所述数据总线的频带的总和为，与对应的所述数据总线连接的所述数据存储部中的最大的频带以内。
根据本发明的第7方式，在上述第6方式的摄像装置中，也可以为，所述连接成串的最终级的所述图像处理装置所具有的所述输入输出用模块的输出与初级的所述图像处理装置所具有的所述输入输出用模块的输入连接，从而所有的所述图像处理装置连接为圆环状，将各个所述图像处理装置处理后的数据集中于与任意1个所述图像处理装置的所述数据总线连接的所述数据存储部。
发明效果
根据上述各方式，得到如下效果：能够提供图像处理装置和摄像装置，能够确保图像处理装置所具有的各个处理块访问共用的DRAM所需要的总线频带。
附图说明
图1是示出具有本发明的实施方式的图像处理装置的摄像装置的大致结构的框图。
图2是示意性地示出具有本发明的实施方式的图像处理装置的摄像装置中的数据流的图。
图3是示意性地示出具有多个本发明的实施方式的图像处理装置的结构的摄像装置中的数据流的图。
图4是示意性地示出具有多个本发明的实施方式的图像处理装置的其他结构的摄像装置中的数据流的图。
图5是示意性地示出具有多个本发明的实施方式的图像处理装置的其他结构的摄像装置中的数据流的图。
具体实施方式
以下，参照附图，对本发明的实施方式进行说明。另外，在以下的说明中，对将本发明的实施方式的图像处理装置例如搭载于静态图像用照相机等摄像装置(以下，称为“摄像装置1”)的情况进行说明。图1是示出具有本发明的实施方式的图像处理装置的摄像装置的大致结构的框图。
图1所示的图像处理装置10具有：DMA(Direct Memory Access：直接存储器存取)总线110、成像器接口(I/F)部120、摄像处理部130、CPU(Central Processing Unit：中央处理单元)140、图像处理部150、外部输入接口(I/F)部161、外部输出接口(I/F)部162、动作检测部170、输入输出位置决定部180、通信接口(I/F)部191、通信接口(I/F)部192、数字信号处理器(DSP)200、显示处理部210、视频接口(I/F)部220、存储卡接口(I/F)部230以及高速串行接口(I/F)部240。另外，图像处理部150具有连接切换部151、输入DMA模块152、3个图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155。
另外，在图1中，仅示出DRAM70作为与本发明的实施方式的图像处理装置10相关联的摄像装置1内的构成要素，省略了摄像装置1所具有的其他构成要素的图示。另外，作为摄像装置1所具有的其他构成要素，例如还具有对被摄体的光学像进行光电转换的固体摄像元件(以下，也称为“成像器”)、使被摄体的光学像成像于成像器的透镜、存储被图像处理装置10进行了图像处理的图像的数据的存储卡等记录介质、对被图像处理装置10进行了图像处理的图像进行显示的显示设备等显示装置等。这里，上述摄像装置1所具有的其他构成要素也可以采用能装卸于摄像装置1的结构。另外，作为摄像装置1所具有的其他构成要素，例如也可以是图像处理装置10、用于对上述其他构成要素进行控制的系统控制装置等。
DRAM 70是与图像处理装置10内的DMA总线110连接、并存储在摄像装置1中进行处理的各种数据的数据存储部。例如，DRAM 70存储从摄像装置1所具有的未图示的成像器输出的静态图像数据。
在图像处理装置10中，对存储于DRAM 70的静态图像数据进行图像处理。另外，图像处理装置10在对存储于DRAM 70的静态图像数据进行图像处理时，可以按照每1帧静态图像(即，对1帧静态图像整体)进行图像处理，也可以将存储于DRAM 70的1帧静态图像数据分割成预定的多个小块而按照各个块进行图像处理。但是，在以下的说明中，为了便于说明，不对图像处理装置10进行图像处理的方法进行区别，采用对存储于DRAM 70的1帧静态图像数据(以下，简称为“图像数据”)进行图像处理的结构，来进行说明。
DMA总线110是用于供所连接的各个构成要素通过DMA访问DRAM 70的数据总线。
CPU 140是通过对图像处理装置10所具有的各个构成要素进行控制而对图像处理装置10整体进行控制的控制部。CPU 140根据用于对各个构成要素进行控制的程序和数据，对图像处理装置10整体进行控制。另外，用于CPU 140对图像处理装置10整体进行控制的程序、数据也可以存储于与DMA总线110连接的DRAM 70。在该情况下，CPU 140通过读取并执行存储于DRAM 70的程序和数据，而对图像处理装置10整体进行控制。
成像器接口部120是与摄像装置1所具有的未图示的成像器之间的接口部。成像器接口部120根据来自CPU 140的设定，接受各个像素的信号(以下，称为“像素信号”)，将接受的像素信号向摄像处理部130输出(传输)，所述各个像素的信号表示从未图示的成像器输出的被摄体的光学像。
另外，在采用未图示的成像器输出模拟像素信号的结构的情况下，成像器接口部120也可以采用具有A/D(模拟/数字)转换器、并将数字像素信号(以下，称为“像素数据”)向摄像处理部130输出的结构，所述A/D(模拟/数字)转换器将从未图示的成像器输出的模拟像素信号转换为数字像素信号。另外，在采用未图示的成像器输出数字像素信号(像素数据)的结构的情况下，也可以采用如下结构：在固体摄像元件(成像器)中采用多个成像器接口部120，例如以遵循LVDS(Low Voltage Differential Signaling：低电压差分信号)方式的传输方式，接受从未图示的成像器输出的像素信号(像素数据)，该LVDS方式是差动接口方式。另外，成像器接口部120接受从未图示的成像器输出的像素信号(像素数据)所用的传输方式不限定于上述传输方式。
摄像处理部130根据来自CPU 140的设定，对从成像器接口部120输出的像素数据实施各种处理。在摄像处理部130对像素数据实施的处理中，例如包含对像素数据所表示的图像整体的明亮度进行校正的阴影校正、对图像整体的黑电平的变动进行校正的黑电平校正以及对与未图示的成像器所包含的缺陷像素对应的像素数据进行置换的像素缺陷校正等预处理。摄像处理部130将包含实施预处理后的各个像素数据在内的图像数据，通过经由DMA总线110的DMA写入(存储)于DRAM 70。
另外，摄像处理部130也可以具有AE/AF检测处理的功能，根据实施了预处理的各个像素数据和图像数据，生成用于对摄像装置1的被摄体拍摄进行控制的评价值，该控制为自动曝光(Auto Exposure：AE)、自动聚焦(Auto Focus：AF)、自动白平衡(Auto WhiteBalance：AWB)等。在该情况下，摄像处理部130将通过AE/AF检测处理生成的评价值的数据作为对AE/AF进行检测而得的数据，通过经由DMA总线110的DMA写入(存储)于DRAM 70。
图像处理部150对输入的图像数据实施预定的各种图像处理。图像处理部150是在图像处理装置10中进行预定的一系列图像处理的结构的流水线处理部。更具体而言，图像处理部150通过由输入DMA模块152、图像处理模块153-1～图像处理模块153-3以及输出DMA模块155串联连接而成的流水线处理，在图像处理装置10中依次进行预定的一系列的图像处理。另外，在以下的说明中，在不分别区分图像处理模块153-1～图像处理模块153-3而进行表示时，将它们称为“图像处理模块153”。
另外，图像处理部150具有选择流水线处理所包含的图像处理的功能、变更由流水线处理进行的图像处理的顺序的功能。即，图像处理部150具有变更流水线结构的功能。例如，图像处理部150能够构成依次进行由图像处理模块153-1～图像处理模块153-3分别进行的图像处理的流水线。另外，例如，图像处理部150能够构成变更图像处理模块153-1～图像处理模块153-3的顺序而进行图像处理的流水线。另外，例如，图像处理部150能够构成通过图像处理模块153-1～图像处理模块153-3中的任意1个或者多个进行图像处理的流水线。另外，图像处理部150的流水线结构通过后述的输入输出位置决定部180来进行变更(设定)。另外，图像处理部150的流水线结构能够经由后述的通信接口部191而从图像处理装置10的外部(例如，系统控制装置等)进行变更(设定)。
另外，图像处理部150具有通过各个图像处理模块153-1～图像处理模块153-3对从图像处理装置10的外部输入的图像数据执行图像处理的功能。另外，图像处理部150具有将图像处理模块153-1～图像处理模块153-3分别执行图像处理后的图像数据向图像处理装置10的外部输出的功能。换言之，作为摄像装置1的其他构成要素，图像处理部150具有在与图像处理装置10的外部所具有的其他图像处理装置等之间直接输入输出图像数据的功能。通过在与图像处理装置10的外部之间直接输入输出该图像数据的功能，在图像处理部150中，能够将在图像处理装置10的外部执行的、与图像处理模块153-1～图像处理模块153-3分别执行的图像处理不同的图像处理组入流水线处理中。即，图像处理部150能够将在图像处理模块153-1～图像处理模块153-3中的任意图像处理模块153中不执行的图像处理组入流水线处理中。
此时，在摄像装置1中将图像处理装置10的外部所具有的其他图像处理装置设为相同结构的图像处理装置10，即采用摄像装置1具有多个图像处理装置10的结构时，利用在与图像处理装置10的外部之间直接输入输出图像数据的功能，能够通过多个图像处理装置10各自所具有的图像处理部150分担进行流水线处理的一系列图像处理。例如，在摄像装置1是具有两个图像处理装置10的结构的情况下，能够通过两个图像处理装置10各自所具有的图像处理部150分担进行作为一系列图像处理而进行的流水线处理。
另外，在图像处理部150中，通过将后述的输入输出用模块154组入于图像处理模块153-1～图像处理模块153-3的流水线结构内，来实现在与图像处理装置10的外部之间直接输入输出图像数据的功能、将不同的图像处理组入流水线处理的功能以及通过多个图像处理装置10分担流水线处理的功能。
另外，如上所述，图像处理部150的流水线结构根据来自后述的输入输出位置决定部180的设定以及经由后述的通信接口部191输入的来自图像处理装置10的外部的控制而变更(设定)。因此，在图像处理部150中，是否将输入输出用模块154组入流水线的设定和将输入输出用模块154组入流水线的位置的设定等，与来自后述的输入输出位置决定部180的设定、如下功能的设定一起进行，所述功能为通过经由后述的通信接口部191输入的来自图像处理装置10的外部(例如，系统控制装置等)的控制而变更上述流水线结构。
另外，在构成为具有多个图像处理装置10，通过多个图像处理装置10各自所具有的图像处理部150分担进行上述流水线处理的摄像装置1中，任意一个图像处理装置10所具有的后述的输入输出位置决定部180在设定对上述流水线结构进行变更的功能的同时，对各个图像处理部150的流水线结构进行变更(设定)。但是，在具有多个图像处理装置10的结构的摄像装置1中，也可以为，从各个图像处理装置10的外部(例如，系统控制装置等)经由后述的各个通信接口部191，对各个图像处理部150的流水线结构进行变更(设定)。
另外，在图1所示的图像处理装置10中，示出在图像处理部150中输入输出用模块154组入于图像处理模块153-2与图像处理模块153-3之间的位置的情况。但是，在图像处理部150中，像上述那样，使将输入输出用模块154组入流水线的位置，根据来自后述的输入输出位置决定部180的设定和经由后述的通信接口部191输入的来自图像处理装置10的外部的控制而进行变更(设定)。因此，在图像处理部150中，将输入输出用模块154组入流水线的位置不限定于图1所示的位置，也能够组入于图像处理部150的流水线结构内的任何位置。即，在图像处理部150中，输入输出用模块154能够组入于流水线的开头、中途、最后等任何位置。
连接切换部151按照来自后述的输入输出位置决定部180的设定和经由后述的通信接口部191输入的来自图像处理装置10的外部的控制，切换图像处理部150所具有的处理模块输出的图像数据的输出目的地。即，连接切换部151切换图像处理部150所具有的各个处理模块彼此的连接。更具体而言，连接切换部151按照来自后述的输入输出位置决定部180的设定和经由后述的通信接口部191输入的来自图像处理装置10的外部的控制，对图像处理部150所具有的输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155各自输出的图像数据的输出目的地进行切换。由此，在图像处理部150中，实现了上述流水线处理所包含的对图像处理进行选择的功能、变更通过流水线处理进行的图像处理的顺序的功能以及在与图像处理装置10的外部之间直接输入输出图像数据的功能(将不同的图像处理组入流水线处理的功能和分担进行流水线处理的功能)等对流水线结构进行变更的功能。
例如，考虑通过图像处理部150仅进行图像处理模块153-2的图像处理的情况。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-2的输入端子连接，使图像处理模块153-2的输出端子与输出DMA模块155的输入端子连接。另外，例如考虑由图像处理部150按照图像处理模块153-3、图像处理模块153-1的顺序进行图像处理的情况。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-3的输入端子连接，使图像处理模块153-3的输出端子与图像处理模块153-1的输入端子连接，使图像处理模块153-1的输出端子与输出DMA模块155的输入端子连接。另外，例如考虑在图像处理模块153-2之后由图像处理部150在图像处理装置10的外部进行图像处理的情况。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-2的输入端子连接，使图像处理模块153-2的输出端子与输入输出用模块154的输入端子连接，使输入输出用模块154的输出端子与输出DMA模块155的输入端子连接。
另外，例如考虑如下情况：在具有两个图像处理装置10的摄像装置1中，通过一方的图像处理装置10所具有图像处理部150仅进行图像处理模块153-2的图像处理，通过另一方的图像处理装置10所具有的图像处理部150仅进行图像处理模块153-3的图像处理。在该情况下，一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-2的输入端子连接，使图像处理模块153-2的输出端子与输入输出用模块154的输入端子连接。另外，另一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入输出用模块154的输出端子与图像处理模块153-3的输入端子连接，使图像处理模块153-3的输出端子与输出DMA模块155的输入端子连接。
另外，在图像处理部150中，像上述那样，输入输出用模块154能够组入于流水线的开头、中途、最后等任何位置。例如考虑如下情况：当在图像处理装置10的外部进行图像处理之后通过图像处理部150进行图像处理模块153-1的图像处理，即、将输入输出用模块154组入于流水线的开头。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与输入输出用模块154的输入端子连接，使输入输出用模块154的输出端子与图像处理模块153-1的输入端子连接，使图像处理模块153-1的输出端子与输出DMA模块155的输入端子连接。另外，例如考虑通过图像处理部150按照图像处理模块153-2、图像处理装置10的外部的像处理以及图像处理模块153-3的顺序进行图像处理的情况，即、将输入输出用模块154组入于流水线的中途的情况。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-2的输入端子连接，使图像处理模块153-2的输出端子与输入输出用模块154的输入端子连接，使输入输出用模块154的输出端子与图像处理模块153-3的输入端子连接，使图像处理模块153-3的输出端子与输出DMA模块155的输入端子连接。另外，例如考虑在图像处理模块153-3之后由图像处理部150在图像处理装置10的外部进行图像处理的情况，即，将输入输出用模块154组入于流水线的最后的情况。在该情况下，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-3的输入端子连接，使图像处理模块153-3的输出端子与输入输出用模块154的输入端子连接，使输入输出用模块154的输出端子与输出DMA模块155的输入端子连接。
另外，关于图像处理装置10的外部的图像处理，可以认为是具有多个图像处理装置10的摄像装置1的其他图像处理装置10所具有的图像处理部150所进行的图像处理(流水线处理)。例如，在具有两个图像处理装置10的摄像装置1中，能够采用如下结构：通过一方的图像处理装置10所具有的图像处理部150进行图像处理模块153-1的图像处理，通过另一方的图像处理装置10所具有的图像处理部150仅进行图像处理模块153-2的图像处理，再次通过一方的图像处理装置10所具有的图像处理部150进行图像处理模块153-3的图像处理。在该情况下，一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与图像处理模块153-1的输入端子连接，使图像处理模块153-1的输出端子与输入输出用模块154的输入端子连接。此外，一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入输出用模块154的输出端子与图像处理模块153-3的输入端子连接，使图像处理模块153-3的输出端子与输出DMA模块155的输入端子连接。另外，另一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入输出用模块154的输出端子与图像处理模块153-2的输入端子连接，使图像处理模块153-2的输出端子与输入输出用模块154的输入端子连接。
另外，在图像处理部150中，能够仅将输入输出用模块154组入于流水线。即，在图像处理部150中，能够使存储于DRAM 70的图像数据向外部输出，能够使从外部输入的图像数据再次存储于DRAM 70。更具体而言，连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与输入输出用模块154的输入端子连接，使输入输出用模块154的输出端子与输出DMA模块155的输入端子连接。由此，在图像处理部150中，能够仅进行输入输出用模块154(即，图像处理装置10的外部)的图像处理来作为流水线处理。
另外，例如在具有两个图像处理装置10的摄像装置1中，考虑在一方的图像处理装置10所具有的图像处理部150中不进行图像处理(即，仅通过将图像数据从一方的图像处理装置10向另一方的图像处理装置10传送而通过另一方的图像处理装置10所具有的图像处理部150进行图像处理)的情况。在该情况下，一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入DMA模块152的输出端子与输入输出用模块154的输入端子连接。另外，另一方的图像处理装置10所具有的连接切换部151将各个构成要素的连接切换为，使输入输出用模块154的输出端子与进行图像处理的图像处理模块153的输入端子连接，使进行图像处理的图像处理模块153的输出端子与输出DMA模块155的输入端子连接。另外，当在另一方的图像处理装置10所具有的图像处理部150中不进行图像处理的情况下，另一方的图像处理装置10所具有的连接切换部151能够将各个构成要素的连接切换为，使输入输出用模块154的输出端子与输出DMA模块155的输入端子连接。在该情况下，图像数据从与一方的图像处理装置10连接的DRAM 70向与另一方的图像处理装置10连接的DRAM 70传送。
输入DMA模块152是用于通过DMA读取存储于DRAM 70的图像数据，并将读取的图像数据向连接目的地处理模块输出的处理模块，该连接目的地处理模块作为接下来要进行图像处理的处理模块而被连接切换部151切换了连接。更具体而言，输入DMA模块152根据来自CPU 140的设定，通过经由DMA总线110的DMA读取存储于DRAM 70的图像数据。然后，输入DMA模块152将读取的图像数据经由连接切换部151，向作为接下来要进行图像处理的处理模块而连接的图像处理模块153和输入输出用模块154中的任意模块输出。
另外，输入DMA模块152也可以采用具有数据缓冲器的结构，该数据缓冲器能够暂时存储图像数据所包含的预定数量的像素数据(实施预处理后的像素数据)。在采用该结构的情况下，输入DMA模块152将经由DMA总线110从DRAM 70读取的图像数据所包含的预定数量的像素数据分别暂时存储于数据缓冲器。然后，输入DMA模块152将暂时存储于数据缓冲器的各个像素数据作为从DRAM 70读取的图像数据所包含的各个像素数据，向被连接切换部151切换连接后的连接目的地的图像处理模块153和输入输出用模块154中的任意模块输出。
图像处理模块153-1～图像处理模块153-3分别是用于对经由连接切换部151输入的图像数据实施预定的各种数字图像处理的处理模块。更具体而言，从作为之前进行了图像处理的处理模块而被连接切换部151切换连接后的连接目的地的输入DMA模块152、其他图像处理模块153或输入输出用模块154中的任意模块，使作为实施图像处理的对象的图像数据，经由连接切换部151向各个图像处理模块153-1～图像处理模块153-3输入。图像处理模块153-1～图像处理模块153-3分别根据来自CPU 140的设定对经由连接切换部151输入的图像数据实施预定的图像处理。在图像处理模块153-1～图像处理模块153-3分别对输入的图像数据实施的图像处理之中，存在各种图像处理。在图像处理模块153实施的图像处理中例如包含如下处理等：YC处理，生成与图像数据所包含的各个像素数据对应的Y(亮度)信号和C(颜色)信号；噪声降低处理，降低各个像素数据所包含的噪声；LPF处理，对各个像素数据所表示的图像的高频成分进行抑制；以及边缘增强处理，对各个像素数据所表示的图像所包含的被摄体的轮廓进行增强。另外，在图像处理模块153所实施的图像处理中，例如包含如下的处理等：生成用于使与输入的图像数据对应的图像(即，在摄像装置1中拍摄的图像)显示于未图示的显示装置等的图像的图像处理；生成用于将在摄像装置1中拍摄的图像记录于未图示的记录介质的图像的图像处理；以及用于使输入的图像数据向其他装置进行传输的处理等。图像处理模块153-1～图像处理模块153-3分别对经由连接切换部151输入的图像数据实施了像上述那样的图像处理，然后将处理后的图像数据向被连接切换部151切换连接后的连接目的地的其他图像处理模块153、输入输出用模块154或输出DMA模块155中的任意模块输出。
另外，各个图像处理模块153-1～图像处理模块153-3也可以采用具有数据缓冲器的结构，该数据缓冲器能够暂时存储图像数据所包含的预定数量的像素数据。在采用该结构的情况下，各个图像处理模块153-1～图像处理模块153-3将经由连接切换部151输入的图像数据所包含的预定数量的像素数据分别暂时存储于数据缓冲器。然后，各个图像处理模块153-1～图像处理模块153-3对暂时存储于数据缓冲器的各个像素数据实施图像处理。之后，各个图像处理模块153-1～图像处理模块153-3将实施图像处理后的各个像素数据作为图像数据所包含的各个像素数据，向被连接切换部151切换连接后的连接目的地的其他图像处理模块153、输入输出用模块154或输出DMA模块155中的任意模块输出。另外，各个图像处理模块153-1～图像处理模块153-3也可以采用如下结构：在对经由连接切换部151输入的图像数据实施图像处理之后暂时存储于数据缓冲器，将暂时存储于数据缓冲器的图像数据向被连接切换部151切换连接后的连接目的地输出。
另外，在图1所示的图像处理装置10中，示出具有图像处理模块153-1～图像处理模块153-3这3个图像处理模块153的图像处理部150的结构，但图像处理部150所具有的图像处理模块153的数量不限定于像图1所示的那样的3个。即，图像处理部150也可以采用具有更多的图像处理模块153的结构。
另外，在以下的说明中，在将图像处理模块153中的任意模块实施图像处理后的图像数据与存储于DRAM 70的作为要进行图像处理的对象的图像数据进行区别来表示的情况下，称为“处理图像数据”。
输入输出用模块154是用于将来自图像处理装置10的外部的图像数据直接向图像处理部150输入，将图像处理部150进行图像处理后的图像数据直接向图像处理装置10的外部输出的接口模块。换言之，输入输出用模块154是接口模块，用于将在摄像装置1的作为其他构成要素而具有的图像处理装置(也可以是其他图像处理装置10)等中和在图像处理装置10的外部的图像处理装置(以下，称为“外部图像处理装置”)中执行的图像处理(以下，称为“外部图像处理”)组入于图像处理部150的流水线处理。另外，输入输出用模块154是用于在采用摄像装置1具有多个图像处理装置10的结构的情况下将流水线处理划分给各个图像处理装置10所具有的图像处理部150的接口模块。更具体而言，输入输出用模块154根据来自CPU 140的设定，使连接的外部输入接口部161从外部图像处理装置和其他图像处理装置10接收并输出来的图像数据，不经由DMA总线110而直接向被连接切换部151切换连接后的连接目的地的图像处理模块153或输出DMA模块155中的任意模块输出。另外，输入输出用模块154根据来自CPU 140的设定，使从被连接切换部151切换连接后的连接目的地的输入DMA模块152或图像处理模块153中的任意模块经由连接切换部151输入的图像数据，不经由DMA总线110直接通过向所连接的外部输出接口部162输出，而向外部图像处理装置和其他图像处理装置10输出。
另外，输入输出用模块154也可以采用具有数据缓冲器的结构，该数据缓冲器能够暂时存储从外部图像处理装置直接输入或者向外部图像处理装置直接输出的图像数据所包含的预定数量的像素数据。在采用该结构的情况下，输入输出用模块154将外部输入接口部161从外部图像处理装置接受并输出来的图像数据所包含的预定数量的像素数据分别暂时存储于数据缓冲器。然后，输入输出用模块154将暂时存储于数据缓冲器的各个像素数据作为从外部图像处理装置直接输入的图像数据所包含的各个像素数据，向被连接切换部151切换连接后的连接目的地的图像处理模块153或输出DMA模块155中的任意模块输出。另外，输入输出用模块154将从被连接切换部151切换连接后的连接目的地的输入DMA模块152或图像处理模块153中的任意模块经由连接切换部151输入的图像数据所包含的预定数量的像素数据，分别暂时存储于数据缓冲器。然后，输入输出用模块154将暂时存储于数据缓冲器的各个像素数据作为向外部图像处理装置直接输出的图像数据所包含的各个像素数据，向连接的外部输出接口部162输出。
另外，在图1所示的图像处理装置10中，示出具有1个输入输出用模块154的图像处理部150的结构，但图像处理部150所具有的输入输出用模块154的数量不限定于像图1所示的那样的1个。即，图像处理部150也可以采用如下结构：具有更多的输入输出用模块154，能够将多个外部图像处理组入于图像处理部150的流水线处理中或者能够通过多个图像处理装置10分担图像处理部150的流水线处理。
另外，在以下的说明中，在将通过输入输出用模块154从外部图像处理装置向图像处理装置10(即，图像处理部150)直接输入的图像数据，与存储于DRAM 70的作为要进行图像处理的对象的图像数据、图像处理模块153中的任意模块实施图像处理后的图像数据(处理图像数据)进行区别表示的情况下，称为“外部处理图像数据”。
输出DMA模块155是用于使图像数据通过DMA而存储于DRAM 70的处理模块，该图像数据是从作为最后进行图像处理的处理模块被连接切换部151切换连接后的连接目的地的处理模块中的任意模块输出的。更具体而言，使被连接切换部151切换连接后的连接目的地的图像处理模块153实施图像处理后的处理图像数据、或从外部图像处理装置向输入输出用模块154直接输入的外部处理图像数据，经由连接切换部151向输出DMA模块155输入。输出DMA模块155根据来自CPU 140的设定，使经由连接切换部151输入的处理图像数据或外部处理图像数据通过经由DMA总线110的DMA向DRAM 70输出并写入(存储)。
另外，输出DMA模块155也可以采用具有数据缓冲器的结构，该数据缓冲器能够暂时存储处理图像数据和外部处理图像数据所包含的预定数量的像素数据。在采用该结构的情况下，输出DMA模块155将经由连接切换部151输入的处理图像数据或外部处理图像数据所包含的预定数量的像素数据分别暂时存储于数据缓冲器。然后，输出DMA模块155将暂时存储于数据缓冲器的各个像素数据作为写入(存储)DRAM 70的处理图像数据或外部处理图像数据所包含的各个像素数据，经由DMA总线110向DRAM 70输出。
另外，在以下的说明中，在将各个图像处理模块153所输出的处理图像数据与输入输出用模块154所输出的外部处理图像数据进行区分表示的情况下，简称为“处理图像数据”。
外部输入接口部161和外部输出接口部162分别是摄像装置1中与图像处理装置10的外部所具有并连接着的外部图像处理装置(也可以是其他图像处理装置10)之间的接口部。另外，与外部输入接口部161连接的外部图像处理装置和与外部输出接口部162连接的外部图像处理装置可以是相同的外部图像处理装置，也可以是不同的外部图像处理装置。
外部输入接口部161接受从所连接的外部图像处理装置输出的外部处理图像数据，使接受的外部处理图像数据不经由DMA总线110而直接向图像处理部150所具有的输入输出用模块154输出(传输)。另外，外部输出接口部162不经由DMA总线110，而直接将从图像处理部150所具有的输入输出用模块154输出的处理图像数据向所连接的外部图像处理装置输出(传输)。
另外，外部输入接口部161和外部输出接口部162的与外部图像处理装置之间的处理图像数据的传输方式能够使用在多个系统LSI之间传输数据所使用的已知的各种方式和方法。例如，作为在外部输入接口部161和外部输出接口部162中用于与外部图像处理装置之间传输处理图像数据的传输方式，也可以使用按照PCI-Express(Peripheral ComponentInterconnect-Express：周边装置互连高速)或USB(Universal Serial Bus：通用串行总线(注册商标))等预定的各种高速串行总线规格的传输方式。另外，作为在外部输入接口部161和外部输出接口部162中用于与外部图像处理装置之间传输处理图像数据的传输方式，也可以使用按照AXI(Advanced eXtensible Interface：先进可扩展接口)规格的传输方式。另外，在外部输入接口部161和外部输出接口部162中用于与外部图像处理装置之间传输处理图像数据的规格和传输方式不限定于上述规格和传输方式。而且，也可以采用如下结构：外部输入接口部161和外部输出接口部162分别与在多个系统LSI之间传输数据所使用的多个规格、传输方式对应，根据所连接的外部图像处理装置所使用的规格和传输方式，而变更当在外部图像处理装置之间交接处理图像数据时使用的规格和传输方式。因此，在本发明中，在各个外部输入接口部161和外部输出接口部162中，对于用于与外部图像处理装置之间传输处理图像数据的规格、传输方式没有特别规定。
另外，各个外部输入接口部161和外部输出接口部162也可以具有如下功能：在与外部图像处理装置之间交接处理图像数据时，使在输入输出用模块154中处理的处理图像数据的形式与在外部图像处理装置中处理的图像数据的形式(即，在与外部图像处理装置之间进行交接的处理图像数据的形式)相匹配的功能。例如，外部输入接口部161也可以具有如下功能：在从外部图像处理装置接受外部处理图像数据时，将按照在外部图像处理装置进行处理的形式输出的外部处理图像数据，转换为在输入输出用模块154中进行处理的形式(即，图像处理模块153继续进行图像处理的形式)或者连接切换部151向DRAM 70输出的形式之后，向输入输出用模块154输出。另外，例如，外部输出接口部162也可以具有如下功能：在向外部图像处理装置输出(传输)处理图像数据时，将从输入输出用模块154输出的处理图像数据的形式转换为在外部图像处理装置中进行处理的形式之后，向外部图像处理装置输出(传输)。
另外，关于各个外部输入接口部161和外部输出接口部162，不限定于为了在与外部图像处理装置之间交接外部处理图像数据而专门设置的结构。即，外部输入接口部161不限定于为了接受从连接的外部图像处理装置输出的外部处理图像数据而专门设置的结构，外部输出接口部162不限定于为了向所连接的外部图像处理装置输出(传输)处理图像数据而专门设置的结构。例如，也可以将外部输入接口部161作成使用按照LVDS方式的传输方式来作为与外部图像处理装置之间传输外部处理图像数据的传输方式的结构，由此将外部输入接口部161与采用接受按照LVDS方式从未图示的成像器输出的像素信号的结构即成像器接口部120一起构成。另外，例如，也可以将外部输出接口部162作成使用按照与后述视频接口部220输出显示于未图示的显示装置等的图像的数据时的数据传输方式相同的传输方式的传输方式来作为与外部图像处理装置之间传输外部处理图像数据的传输方式的结构，由此将外部输出接口部162与视频接口部220一起构成。因此，在本发明中，关于外部输入接口部161和外部输出接口部162各自的结构，没有特别规定。
数字信号处理器200是对存储于DRAM 70的图像数据(包含处理图像数据和外部处理图像数据)进行预定的各种数字信号处理(图像处理)的信号处理部。更具体而言，数字信号处理器200例如根据来自CPU 140的设定，通过经由DMA总线110的DMA读取存储于DRAM 70的图像数据。然后，数字信号处理器200对读取的图像数据进行图像处理。这里，数字信号处理器200所进行的图像处理是图像处理部150所具有的图像处理模块153-1～图像处理模块153-3的任意模块的图像处理模块153中均不执行的图像处理(以下，称为“DSP图像处理”)。即，数字信号处理器200对读取的图像数据进行与图像处理部150所进行的一系列的图像处理不同的DSP图像处理。例如，作为DSP图像处理，数字信号处理器200进行对图像数据所表示的图像所包含的被摄体的动作和面部进行检测的图像识别等利用学习功能的处理。另外，作为DSP图像处理，数字信号处理器200例如伴随与图像数据所包含的各个像素数据对应的像素的位置(坐标)的转换而进行图像插值处理等。在数字信号处理器200作为DSP图像处理而进行的图像插值处理中，例如包含如下各种处理等：调整大小处理，变更(放大或缩小)图像的大小(尺寸)；失真校正处理，对图像所包含的倍率色差和畸变等失真进行校正；以及形状校正处理，进行梯形校正等图像的形状的校正。数字信号处理器200将实施DSP图像处理后的图像数据通过经由DMA总线110的DMA再次写入(存储)于DRAM 70。
另外，在以下的说明中，在将实施DSP图像处理后的图像数据与存储于DRAM 70的作为要进行图像处理的对象的图像数据、图像处理模块153的任意模块实施图像处理后的处理图像数据以及外部图像处理装置实施外部图像处理而经由输入输出用模块154直接输入的外部处理图像数据进行区分表示的情况下，称为“DSP处理图像数据”。另外，在以下的说明中，在不区别表示图像处理模块153的任意模块实施图像处理后的处理图像数据、经由输入输出用模块154从外部图像处理装置直接输入的外部处理图像数据以及数字信号处理器200实施DSP图像处理后的DSP处理图像数据的情况下，简称为“处理图像数据”。
显示处理部210根据来自CPU 140的设定，对存储于DRAM 70的显示用的图像数据实施预定的显示处理，生成用于将与显示用的图像数据对应的图像显示于未图示的显示装置的显示图像。即，显示处理部210对图像处理部150所生成的、存储于DRAM 70的、用于显示于未图示的显示装置的图像的图像数据实施预定的显示处理，在摄像装置1中生成用于使拍摄的图像例如显示于液晶显示器(LCD：Liquid Crystal Display)等未图示的显示装置的显示图像。在当显示处理部210生成显示图像时对图像数据实施的显示处理中，例如包含OSD重叠处理等，该重叠处理使用于显示摄像装置1的拍摄日期和时间等与拍摄的静态图像有关的各种信息的屏幕显示(On Screen Display：OSD)图像进行重叠。显示处理部210将生成的显示图像的数据(以下，称为“显示图像数据”)向视频接口部220输出，使显示图像显示于未图示的显示装置。
另外，作为摄像装置1所具有的未图示的显示装置，考虑有对各种尺寸(分辨率)的图像进行显示的显示装置。例如，作为未图示的显示装置，在摄像装置1中具有用于确认要拍摄的被摄体的EVF(Electronic View Finder：电子取景器)和作为用于确认要拍摄的被摄体的取景器而进行动作的TFT(薄膜晶体管：Thin Film Transistor)液晶显示器等安装于摄像装置1的显示分辨率比较低的图像的小型显示装置。另外，例如，作为未图示的显示装置，还存在显示具有XGA尺寸(1024×768)的分辨率的图像的TFT液晶显示器等显示中等程度分辨率的图像的中型显示装置，该中型显示装置是能够装卸于摄像装置1的结构。另外，例如，作为能够装卸于摄像装置1的结构的未图示的显示装置，还存在显示较高分辨率的图像的大型显示装置，该较高分辨率的图像为应对HDTV(High Definition TeleVision)的具有全HD尺寸(1920×1080)的分辨率的图像、应对UHDTV(Ultra High DefinitionTeleVision)的具有4K尺寸(3840×2160)的分辨率的图像等。另外，例如，作为能够装卸于摄像装置1的结构的未图示的显示装置，还可考虑显示具有比4K尺寸更高精细化的8K尺寸(7680×4320)的分辨率的图像的更大型的显示装置。因此，显示处理部210与摄像装置1所具有的未图示的显示装置能够显示的图像的尺寸(分辨率)匹配地生成显示图像，向视频接口部220输出。因此，在本发明中，关于在显示处理部210生成显示图像时对显示用的图像数据实施的显示处理，没有特别规定。
视频接口部220是与摄像装置1所具有的未图示的显示装置之间的接口部。视频接口部220根据来自CPU 140的设定，将从显示处理部210输出的显示图像数据向未图示的显示装置输出(传输)，而使其显示与显示图像数据对应的图像。
另外，在显示装置中采用的视频接口部220例如也可以是如下结构：以按照MIPI(注册商标)(Mobile Industry Processor Interface：移动工业处理器接口)方式的传输方式，将按照MIPI(注册商标)方式的显示图像数据向未图示的显示装置输出(传输)，该MIPI为差动接口方式。另外，用于视频接口部220将显示图像数据向未图示的显示装置输出(传输)的传输方式不限定于上述传输方式。
存储卡接口部230是摄像装置1所具有的与未图示的记录介质之间的接口部。存储卡接口部230根据来自CPU 140的设定，将图像处理部150进行图像处理而生成并存储于DRAM 70的记录用的图像数据(以下称为“记录图像数据”)，输出(传输)并记录于未图示的记录介质。另外，存储卡接口部230使记录图像数据记录于未图示的记录介质时的传输方式是在未图示的记录介质中采用的传输方式。
高速串行接口部240是用于将存储于DRAM 70的图像数据高速地向未图示的其他装置传输的接口部。高速串行接口部240根据来自CPU 140的设定，将存储于DRAM 70的图像数据(包含处理图像数据、外部处理图像数据以及DSP处理图像数据)、记录图像数据(也可以包含显示图像数据)向未图示的其他装置输出(传输)。另外，作为高速串行接口部240将存储于DRAM 70的图像数据和记录图像数据高速地进行传输的目的地的其他装置，例如可考虑用于存储图像数据、记录图像数据的外部存储装置(所谓的存储(storage)装置)等。另外，作为高速串行接口部240将存储于DRAM 70的图像数据、记录图像数据高速地进行传输的目的地的其他装置，例如可考虑与云计算系统中的存储装置、服务器装置等之间进行无线通信或有线通信的通信装置等，该云计算系统用于将图像数据、记录图像数据保管在因特网上。另外，高速串行接口部240向未图示的其他装置输出(传输)图像数据、记录图像数据时的传输方式是在未图示的其他装置中采用的传输方式。
动作检测部170检测伴随图像处理装置10所具有的构成要素对DRAM 70的访问的动作。即，动作检测部170针对图像处理装置10所具有的各个构成要素，对使用DMA总线110的总线频带的处理的动作进行检测。更具体而言，动作检测部170分别对图像处理装置10的与摄像关联的动作、图像处理装置10的与显示关联的动作以及图像处理装置10的与图像处理关联的动作进行检测。更具体而言，动作检测部170分别对图像处理装置10中的与摄像动作关联的成像器接口部120和摄像处理部130的动作、图像处理装置10中的与显示动作关联的显示处理部210和视频接口部220的动作以及图像处理装置10中的与图像处理动作关联的图像处理部150的动作进行检测。
此时，作为图像处理装置10的与摄像关联的动作，动作检测部170对未图示的成像器的尺寸(水平方向的像素数和垂直方向的像素数等)、帧速率、从摄像的曝光结束至结束1帧的像素信号(像素数据)的输出所需要的输出时间以及像素信号(像素数据)的比特长度等进行检测。另外，这些信息能够根据CPU 140分别对图像处理装置10中的与摄像动作关联的成像器接口部120和摄像处理部130进行设定的设定值等而得到。
另外，作为图像处理装置10的与显示关联的动作，动作检测部170对未图示的显示装置所显示的图像(显示图像)的分辨率、帧速率、显示图像数据的形式(格式)、重叠的屏幕显示图像的张数以及输出显示图像数据的通道数量(同时输出显示图像数据的数量等)等进行检测。另外，这些信息能够根据CPU 140分别对图像处理装置10中的与显示动作关联的显示处理部210和视频接口部220进行设定的设定值等而得到。
另外，作为图像处理装置10的与图像处理关联的动作，动作检测部170检测针对图像数据实施的图像处理的处理内容、进行图像处理的图像的尺寸(图像数据的像素数、处理图像数据的像素数等)等。另外，这些信息能够根据图像处理装置10的与图像处理动作关联的图像处理部150、图像处理部150所具有的输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155各自的设定值等而得到。另外，作为图像处理装置10的与图像处理关联的动作，动作检测部170对在数字信号处理器200中进行的DSP图像处理的处理内容等进行检测。该信息能够根据CPU 140对数字信号处理器200进行设定的设定值等而得到。
动作检测部170将检测的图像处理装置10所具有的各个构成要素的动作的信息(以下称为“动作信息”)向输入输出位置决定部180输出。即，动作检测部170将在图像处理装置10中进行的摄像动作、显示动作以及图像处理动作的与各动作关联的信息向输入输出位置决定部180输出。
输入输出位置决定部180根据从动作检测部170输出的动作信息，决定图像处理部150的流水线结构。更具体而言，输入输出位置决定部180决定由构成为图像处理部150的流水线处理所进行的图像处理的种类和顺序。另外，输入输出位置决定部180决定与图像处理装置10连接的外部图像处理装置进行的外部图像处理是否组入流水线以及组入的位置，即，决定是否将输入输出用模块154组入构成为图像处理部150的流水线以及组入的位置。另外，输入输出位置决定部180决定是否通过多个图像处理装置10分担流水线处理以及划分流水线处理的位置，即，决定在各个构成为图像处理部150的流水线中是否组入输入输出用模块154以及组入的位置。
此时，输入输出位置决定部180将图像处理部150的流水线结构决定为，图像处理装置10所具有的各个构成要素访问DRAM 70时所需要的DMA总线110的总线频带(以下，也称为“DRAM 70的总线频带”)的总合为能够访问DRAM 70的最大的频带以内。即，输入输出位置决定部180变更在图像处理部150中进行的流水线处理，以使得图像处理部150的一系列的图像处理不会压迫DMA总线110的总线频带，而不会引起摄像装置1整体的处理能力(速度)的降低。
另外，例如，当在图像处理部150中执行较多的图像处理的情况下，如果采用将所有的图像处理作为1个流水线结构，则压迫DRAM 70的总线频带，而引起摄像装置1整体的处理能力(速度)的降低，在该情况下，输入输出位置决定部180也可以将流水线结构决定为，分开进行在图像处理部150中进行的流水线处理，以避免对DRAM 70的总线频带的压迫。此时，输入输出位置决定部180也可以将流水线结构决定为，各个划分的流水线处理的DRAM70的总线频带是同等的。
输入输出位置决定部180将决定的流水线结构设定于图像处理部150所具有的连接切换部151。由此，在图像处理装置10中，能够将流水线结构设定(变更)为，在图像处理部150所具有的图像处理模块153中，只有在图像处理部150中进行的一系列图像处理被串联连接。
另外，输入输出位置决定部180将决定的流水线结构的信息向通信接口部192输出。由此，例如，在摄像装置1是具有相同结构的多个图像处理装置10的结构的情况下，能够将输入输出位置决定部180所决定的各个图像处理装置10所具有的图像处理部150的流水线结构，设定于后级的图像处理装置10所具有的图像处理部150。即，在摄像装置1中，能够将由前级的图像处理装置10所具有的输入输出位置决定部180决定的流水线结构设定于后级的各个图像处理装置10所具有的图像处理部150，其中，该摄像装置1构成为，假定作为摄像装置1整体的处理要进行较多的图像处理，因此通过从开始起具有多个(例如，两个)图像处理装置10，而由各个图像处理装置10分担进行一系列的图像处理。此时，输入输出位置决定部180也可以将流水线结构决定为，在前级的图像处理装置10进行图像处理时需要的DRAM 70的总线频带与在后级的图像处理装置10进行图像处理时需要的DRAM 70的总线频带是同等的，并将该流水线结构设定于后级的各个图像处理装置10所具有的图像处理部150。
另外，输入输出位置决定部180对图像处理部150的流水线结构的决定不仅限定于上述DMA总线110的总线频带的观点。例如，也可以从摄像装置1的功耗的观点出发来决定图像处理部150的流水线结构。例如，在摄像装置1是具有相同结构的多个图像处理装置10的结构的情况下，也可以为，即使停止任意图像处理装置10的动作，也能够通过其他图像处理装置10所具有的图像处理部150来构成需要的流水线结构。在该情况下，输入输出位置决定部180将各个图像处理装置10所具有的图像处理部150的流水线结构决定为，使能够使其停止的图像处理装置10的动作停止，通过其他图像处理装置10所具有的图像处理部150构成需要的流水线。
通信接口部192是用于将输入输出位置决定部180所决定的流水线结构的信息向摄像装置1所具有的其他图像处理装置10输出(传输)的接口部。另外，通信接口部191是用于接受信息的接口部，该信息为由摄像装置1所具有的其他图像处理装置10所具有的输入输出位置决定部180决定而经由通信接口部192输出(传输)的流水线结构的设定的信息、例如从系统控制装置等图像处理装置10的外部输出的控制的信息(变更(设定)图像处理部150的流水线结构的信息)。
各个通信接口部191和通信接口部192与外部之间传输变更(设定)流水线结构的信息时使用的传输方式，能够使用在多个系统LSI之间传输数据所使用的已知的各种规格、方式。例如，也可以使用按照UART(Universal Asynchronous Receiver-Transmitter：通用异步收发器)、I2C(Inter-Integrated Circuit：内部集成电路)以及SPI(SerialPeripheral Interface：串行外围接口)等预定的各种通信方式、规格的传输方式，来作为在通信接口部191和通信接口部192中与外部之间传输变更(设定)流水线结构的信息所用的传输方式。另外，例如也可以使用按照PCI-Express和USB(注册商标)等预定的各种高速串行总线规格的传输方式来作为在通信接口部191和通信接口部192中用于将变更(设定)流水线结构的信息在与外部之间进行传输的传输方式。另外，在通信接口部191和通信接口部192中与外部之间传输对流水线结构进行变更(设定)的信息时使用的规格、传输方式不限定于上述规格、传输方式。而且，也可以采用如下结构：通信接口部191和通信接口部192分别与在多个系统LSI之间传输数据所使用的多个规格、传输方式对应，根据用于变更(设定)流水线结构的信息的量，而变更当在与外部之间传输对流水线结构进行变更(设定)的信息时使用的规格、传输方式。因此，在本发明中，对于在各个通信接口部191和通信接口部192中与外部之间传输对流水线结构进行变更(设定)的信息时使用的规格、传输方式没有特别规定。
通过像这样的结构，在图像处理装置10中，使摄像处理部130对从摄像装置1所具有的未图示的成像器输出的像素信号(像素数据)进行处理后的图像数据存储于DRAM 70。然后，在图像处理装置10中，图像处理部150对存储于DRAM 70的像素数据通过流水线处理进行一系列的图像处理，而再次存储于DRAM 70。此时，在图像处理部150中，通过将输入输出用模块154组入流水线结构内，能够将在图像处理部150所具有的任意图像处理模块153中均不执行的、图像处理装置10的外部的外部图像处理装置进行的外部图像处理组入流水线处理。换言之，在图像处理装置10中，能够扩展图像处理部150的流水线处理。而且，在图像处理装置10中，显示处理部210生成与存储于DRAM 70的显示用的图像数据对应的显示图像数据，并显示于摄像装置1所具有的未图示的显示装置。另外，在图像处理装置10中，使存储于DRAM 70的记录用的图像数据(记录图像数据)经由存储卡接口部230而记录于摄像装置1所具有的未图示的记录介质。另外，在图像处理装置10中，将存储于DRAM 70的图像数据经由高速串行接口部240向未图示的其他装置输出(传输)。
另外，在图像处理装置10中，动作检测部170对图像处理装置10所具有的各个构成要素的动作进行检测。然后，在图像处理装置10中，输入输出位置决定部180根据从动作检测部170输出的动作信息，将图像处理部150的流水线结构决定为，图像处理装置10所具有的各个构成要素访问DRAM 70时的DMA总线110的总线频带为最大的频带以内，从而变更在图像处理部150中进行的流水线处理。由此，在图像处理装置10中，能够避免在图像处理部150中进行的流水线处理对DMA总线110的总线频带的压迫。换言之，在图像处理装置10中，能够确保图像处理装置10所具有的各个构成要素访问DRAM 70所需要的总线频带。由此，在具有图像处理装置10的摄像装置1中，能够避免图像处理装置10所具有的图像处理部150对DMA总线110的总线频带的压迫导致的摄像装置1整体的处理能力(速度)的降低。
另外，在摄像装置1是具有多个图像处理装置10的结构的情况下，前级的图像处理装置10所具有的输入输出位置决定部180根据从动作检测部170输出的动作信息，将图像处理部150的流水线结构决定为，通过多个图像处理装置10各自所具有的图像处理部150分担进行图像处理部150的流水线处理。然后，前级的图像处理装置10所具有的输入输出位置决定部180将所决定的流水线结构的信息向后级的图像处理装置10输出。由此，在具有多个图像处理装置10的摄像装置1中，能够将流水线结构变更为，后级的图像处理装置10所具有的图像处理部150分担进行前级的图像处理装置10所进行的流水线处理的一部分。由此，在具有多个图像处理装置10的摄像装置1中，能够通过多个图像处理装置10分担进行流水线处理中的一系列图像处理，而不会引起整体的处理能力(速度)的降低。换言之，在图像处理装置10中，能够减少各个图像处理装置10所具有的图像处理部150的流水线处理的负担。
另外，在图1所示的图像处理装置10中，对独立具有动作检测部170和输入输出位置决定部180，并将输入输出位置决定部180决定的流水线结构设定于连接切换部151的情况进行了说明。在该结构中，如上所述，动作检测部170检测的图像处理装置10所具有的各个构成要素的动作信息能够根据CPU 140对各个构成要素设定的设定值等而得到。这里，CPU 140例如根据对在摄像装置1中作为用户接口而具有的开关和按钮类进行的操作，检测出摄像装置1的动作模式被变更，例如从按摄像装置1的每个动作模式存储有设定值的存储器(ROM(Read Only Memory)、闪存(Flash Memory)等)取得对各个构成要素设定的设定值，将取得的设定值设定于图像处理装置10所具有的各个构成要素。因此，能够使CPU 140在检测出摄像装置1的动作模式的变更并从存储器取得对各个构成要素设定的设定值时，已经具有动作检测部170所检测的图像处理装置10所具有的各个构成要素的动作信息。因此，在图像处理装置10中也可以使CPU 140实施动作检测部170的功能。此外，CPU 140将取得的设定值设定于图像处理装置10所具有的各个构成要素，并且对各个构成要素进行控制。因此，在图像处理装置10中，也可以使CPU 140实施输入输出位置决定部180的功能。因此，在图像处理装置10中，也可以为，代替分别独立具有的动作检测部170和输入输出位置决定部180，而使CPU 140实施动作检测部170和输入输出位置决定部180各自的功能。
(第1动作例)
接下来，对图像处理装置10的动作进行说明。将图像处理装置10的基本的动作作为第1动作例，在图1所述的具有1个图像处理装置10的结构的摄像装置1中，图像处理装置10进行流水线处理，首先，对该情况的数据流进行说明。另外，像上述那样，在图像处理装置10中，通过将输入输出用模块154组入在图像处理部150中构成的流水线内，能够将在图像处理装置10的外部进行的外部图像处理组入流水线。但是，在以下的说明中，说明不将外部图像处理组入在图像处理部150中构成的流水线内、即仅通过图像处理装置10所具有的构成要素进行图像处理的情况。
图2是示意性地示出具有本发明的实施方式的图像处理装置10的摄像装置1的数据流的图。在摄像装置1中，通过使图像处理装置10所具有的各个构成要素并列进行各个图像处理，而使图像处理装置10整体的图像处理顺畅地进行。即，在摄像装置1中，在图像处理装置10中在同一时期并列进行摄像处理部130的预处理、图像处理部150的流水线处理以及显示处理部210的显示处理。但是，在图2所示的图像数据流的说明中，为了便于说明，着眼于1帧的图像数据，对数据流进行说明。在图2所示的图像数据流中，按照以下那样的流程(flow)来进行处理。
(流程F1)：首先，成像器接口部120接受从未图示的成像器输出的像素信号，向摄像处理部130输出(传输)。然后，摄像处理部130对从成像器接口部120输出的像素数据实施预处理，将包含实施了预处理的各个像素数据在内的图像数据通过经由DMA总线110的DMA写入(存储)于DRAM 70。
(流程F2)：接下来，图像处理部150所具有的输入DMA模块152通过经由DMA总线110的DMA读取存储于DRAM 70的图像数据。然后，输入DMA模块152将读取的图像数据经由连接切换部151向接下来要进行图像处理的连接目的地的图像处理模块153-1输出。
(流程F3)：接下来，图像处理模块153-1对经由连接切换部151从连接目的地的输入DMA模块152输出的图像数据实施预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151向接下来要进行图像处理的连接目的地的图像处理模块153-2输出。
(流程F4)：接下来，图像处理模块153-2对经由连接切换部151从连接目的地的图像处理模块153-1输出的处理图像数据实施预定的图像处理，将进一步实施图像处理后的处理图像数据经由连接切换部151向接下来要进行图像处理的连接目的地的图像处理模块153-3输出。
(流程F5)：接下来，图像处理模块153-3对经由连接切换部151从连接目的地的图像处理模块153-2输出的处理图像数据实施预定的图像处理，将进一步实施图像处理后的处理图像数据经由连接切换部151向输出DMA模块155输出。这里，图像处理模块153-3进行如下如像处理：生成与从图像处理模块153-2输出的处理图像数据对应的显示用的图像数据。因此，图像处理模块153-3将显示用的图像数据经由连接切换部151向输出DMA模块155输出。
(流程F6)：接下来，输出DMA模块155将经由连接切换部151从连接目的地的图像处理模块153-3输出的处理图像数据(显示用的图像数据)通过经由DMA总线110的DMA写入(存储)于DRAM 70。
(流程F7)：接下来，显示处理部210通过经由DMA总线110的DMA读取存储于DRAM 70的显示用的图像数据。然后，显示处理部210对读取的显示用的图像数据实施预定的显示处理，生成与显示用的图像数据对应的显示图像数据。然后，显示处理部210将生成的显示图像数据向视频接口部220输出。由此，未图示的显示装置显示与经由视频接口部220从显示处理部210输出的显示图像数据对应的显示图像。
这样，在图像处理装置10中，像第1动作例所示的那样，针对从摄像装置1所具有的未图示的成像器输出的像素信号进行摄像处理部130的预处理，进行图像处理部150的流水线处理并进行显示处理部210的显示处理，从而使与显示图像数据对应的显示图像显示于未图示的显示装置。
像上述那样，在图像处理装置10中，通过经由DMA总线110的DMA将各个阶段的图像数据存储于DRAM 70，并且执行摄像装置1整体的处理。
另外，作为摄像装置1所具有的未图示的显示装置，像上述那样，可以采用从显示较低分辨率图像的小型显示装置到显示较高分辨率图像的大型显示装置的各种显示装置。而且，摄像装置1所具有的未图示的显示装置所显示的图像被进一步高精细化。另外，认为在摄像装置1所具有的未图示的成像器中也进一步高像素数化。因此，假定作为摄像装置1整体的处理要进行较多的图像处理。而且，认为在1个图像处理装置10中，难以应对假定的较多的图像处理。即，认为图像处理装置10所具有的各个构成要素难以确保在1个图像处理装置10中进行摄像装置1的较多的图像处理所需要的DMA总线110的总线频带。例如，认为在1个图像处理装置10中，能够构成应对具有全HD尺寸(1920×1080)的分辨率的图像的摄像装置1，但构成应对具有4K尺寸(3840×2160)的分辨率的图像的摄像装置1时，难以确保图像处理装置10所具有的各个构成要素访问DRAM 70所需要的总线频带。
因此，在图像处理装置10中，具有在进行流水线处理的图像处理部150内担当不经由DMA总线110而在与图像处理装置10的外部之间直接输入输出图像数据的功能的输入输出用模块154。更具体而言，在图像处理装置10中，具有用于实现如下功能的输入输出用模块154：经由外部输入接口部161和外部输出接口部162，在与图像处理装置10的外部所具有的其他图像处理装置等之间直接输入输出图像数据。该输入输出用模块154在与图像处理装置10的外部之间直接输入输出图像数据的功能与图像处理部150所具有的图像处理模块153-1～图像处理模块153-3分别执行的图像处理不同，是用于通过将外部图像处理装置的外部图像处理组入于流水线处理来扩展图像处理部150的流水线处理的功能。但是，该输入输出用模块154在与图像处理装置10的外部之间直接输入输出图像数据的功能能够被利用于如下结构：像上述那样，将使外部图像处理装置为其他图像处理装置10，由此由多个图像处理装置10分别所具有的图像处理部150分担进行流水线处理的一系列的图像处理。在摄像装置1中，在预先假定作为整体的处理要进行较多的图像处理的情况下，从开始起采用具有多个图像处理装置10的结构，利用输入输出用模块154在与图像处理装置10的外部之间直接输入输出图像数据的功能，从而实现进行较多图像处理的结构。在采用该结构的情况下，针对各个图像处理装置10所具有的图像处理部150所构成的流水线，能够根据摄像装置1进行的整体的处理的内容，动态地变更(设定)流水线结构。
(第2动作例)
接下来，将摄像装置1具有多个图像处理装置10时的各个图像处理装置10的动作作为第2动作例，对各个图像处理装置10分担进行流水线处理时的数据流进行说明。在第2动作例中，考虑如下结构的摄像装置1：由于具有以较高帧速率进行动作的高像素数(尺寸较大)的成像器，因此将从成像器输出的像素信号所对应的图像数据写入(存储)于DRAM 70需要更多的总线频带；由于具有显示较低分辨率的图像的1个(1通道输出)的显示装置，因此从DRAM 70读取显示用的图像数据不需要较多的总线频带。另外，在以下的说明中，为了与图1所示的具有1个图像处理装置10的结构的摄像装置1进行区别，将上述第2动作例的结构的摄像装置1称为“摄像装置2”。
图3是示意性地示出具有多个本发明的实施方式的图像处理装置10的结构的摄像装置2的数据流的图。在图3所示的摄像装置2中，具有两个相同结构的图像处理装置10。另外，在图3所示的摄像装置2中，为了分别对两个图像处理装置10进行区别，将接受从未图示的成像器输出的像素信号的一侧的图像处理装置10称为“图像处理装置10a”，将使显示图像显示于未图示的显示装置的一侧的图像处理装置10称为“图像处理装置10b”。而且，在图3所示的摄像装置2中，在对各个图像处理装置10所具有的各个构成要素标注的标号之后，标注“a”或“b”中的任意标号来对是图像处理装置10a或图像处理装置10b中的哪个构成要素进行区别，其中，“a”表示是图像处理装置10a的构成要素，“b”表示是图像处理装置10b的构成要素。另外，在图3所示的摄像装置2中，将与图像处理装置10a对应的DRAM 70(与图像处理装置10a内的DMA总线110a连接的DRAM 70)表示为“DRAM 70a”，将与图像处理装置10b对应的DRAM 70(与图像处理装置10b内的DMA总线110b连接的DRAM 70)表示为“DRAM 70b”。另外，在以下的说明中，在不对是与图像处理装置10a关联的构成要素还是与图像处理装置10b关联的构成要素进行区别的情况下，在对各个构成要素标注的标号之后不标注“a”和“b”来进行表示。
在图3所示的摄像装置2中，通过使图像处理装置10a所具有的外部输出接口部162a与图像处理装置10b所具有的外部输入接口部161b连接，来实现分担进行流水线处理的结构。而且，在图3所示的摄像装置2中，通过使图像处理装置10a所具有的通信接口部192a与图像处理装置10b所具有的通信接口部191b连接，来实现如下结构：设定用于通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担流水线处理的流水线结构。
在摄像装置2的流水线结构的设定中，首先，在使图像处理装置10a与图像处理装置10b连接的结构中，由图像处理装置10a所具有的动作检测部170a对各个构成要素的动作进行检测。更具体而言，作为图像处理装置10a的摄像动作，动作检测部170a检测与以较高的帧速率进行动作的高像素数(尺寸较大)的未图示的成像器对应地设定的成像器接口部120a和摄像处理部130a的动作。另外，作为图像处理装置10b的显示动作，动作检测部170a检测与显示较低分辨率的图像的1个(1个通道输出)未图示的显示装置对应地设定的显示处理部210b和视频接口部220b的动作。另外，作为图像处理装置10a和图像处理装置10b所具有的图像处理部150的图像处理的动作，动作检测部170a对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155的动作进行检测。另外，在该阶段，动作检测部170a未对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155是图像处理装置10a所具有的构成要素还是图像处理装置10b所具有的构成要素进行判断。动作检测部170a将检测的各个构成要素的动作信息向图像处理装置10a所具有的输入输出位置决定部180a输出(路径C11)。
由此，输入输出位置决定部180a根据从动作检测部170a输出的动作信息，决定通过图像处理部150a和图像处理部150b对流水线处理进行分担的流水线结构。这里，摄像装置2所具有的未图示的成像器是以较高帧速率进行动作的高像素数(尺寸较大)的成像器，因此，从动作检测部170a输出的动作信息表示图像处理装置10a内的DMA总线110a需要较多的总线频带。另外，摄像装置2所具有的未图示的显示装置是显示较低分辨率的图像的1个(1个通道输出)显示装置，因此，从动作检测部170a输出的动作信息表示图像处理装置10b内的DMA总线110b不需要较多的总线频带。因此，输入输出位置决定部180a将图像处理部150a和图像处理部150b的流水线结构决定为，在图像处理装置10a所具有的图像处理部150a中进行的图像处理较少，在图像处理装置10b所具有的图像处理部150b中进行更多的图像处理。更具体而言，在图3所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150a的流水线结构决定为，在图像处理部150a中进行图像处理模块153-1a的图像处理。另外，在图3所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150b的流水线结构决定为，在图像处理部150b中进行图像处理模块153-2b和图像处理模块153-3b各自的图像处理。
输入输出位置决定部180a将对图像处理部150a决定的流水线结构设定于图像处理部150a所具有的连接切换部151a(路径C12)。另外，输入输出位置决定部180a将对图像处理部150b决定的流水线结构的信息向通信接口部192a输出，经由通信接口部192a和通信接口部191b，设定于图像处理部150b所具有的连接切换部151b(路径C13)。
在图像处理装置10a和图像处理装置10b中，各个构成要素按照由输入输出位置决定部180a设定的流水线结构，进行图像处理。在摄像装置2中，通过使图像处理装置10a和图像处理装置10b所具有的各个构成要素并列进行各个图像处理，而使摄像装置2整体的图像处理顺畅地进行。即，在摄像装置2中，在同一时期并列进行图像处理装置10a所具有的摄像处理部130a的预处理、通过图像处理装置10a和图像处理装置10b各自所具有的图像处理部150分担的流水线处理以及图像处理装置10b所具有的显示处理部210b的显示处理。但是，在图3所示的图像数据流的说明中，为了便于说明，着眼于1帧的图像数据，对数据流进行说明。在图3所示的图像数据流中，按照像以下那样的流程(flow)进行处理。
(流程F21)：首先，图像处理装置10a所具有的成像器接口部120a接受从未图示的成像器输出的像素信号，并向摄像处理部130a输出(传输)该像素信号。然后，摄像处理部130a对从成像器接口部120a输出的像素数据实施预处理，将包含实施预处理后的各个像素数据在内的图像数据通过经由DMA总线110a的DMA写入(存储)于DRAM 70a。
(流程F22)：接下来，图像处理装置10a所具有的图像处理部150a内的输入DMA模块152a通过经由DMA总线110a的DMA，读取存储于DRAM 70a的图像数据。然后，输入DMA模块152a将读取的图像数据经由连接切换部151a向接下来要进行图像处理的连接目的地的图像处理模块153-1a输出。
(流程F23)：接下来，图像处理模块153-1a对经由连接切换部151a从连接目的地的输入DMA模块152a输出的图像数据实时预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151a向输入输出用模块154a输出。
(流程F24)：接下来，输入输出用模块154a将经由连接切换部151a从连接目的地的图像处理模块153-1a输出的处理图像数据，不经由DMA总线110a而直接向外部输出接口部162a输出。
(流程F25)：由此，外部输出接口部162a将从输入输出用模块154a输出的处理图像数据(即，图像处理模块153-1a进行图像处理后的处理图像数据)向图像处理装置10b所具有的外部输入接口部161b输出(传输)。
(流程F26)：由此，外部输入接口部161b接受从外部输出接口部162a输出(传输)来的处理图像数据(即，图像处理模块153-1a进行图像处理后的处理图像数据)，将接受的处理图像数据不经由DMA总线110b而直接向图像处理部150b所具有的输入输出用模块154b输出(传输)。
(流程F27)：接下来，输入输出用模块154b将从外部输入接口部161b输出(传输)的处理图像数据，经由连接切换部151b向接下来要进行图像处理的连接目的地的图像处理模块153-2b输出。
(流程F28)：接下来，图像处理模块153-2b对经由连接切换部151b从连接目的地的输入输出用模块154b输出的处理图像数据实施预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151b向接下来要进行图像处理的连接目的地的图像处理模块153-3b输出。
(流程F29)：接下来，图像处理模块153-3b对经由连接切换部151b从连接目的地的图像处理模块153-2b输出的处理图像数据实施预定的图像处理，将进一步实施图像处理后的处理图像数据经由连接切换部151b向输出DMA模块155b输出。这里，图像处理模块153-3b进行如下的图像处理：生成与从图像处理模块153-2b输出的处理图像数据对应的显示用的图像数据。因此，图像处理模块153-3b将显示用的图像数据经由连接切换部151b向输出DMA模块155b输出。
(流程F30)：接下来，输出DMA模块155b将经由连接切换部151b从连接目的地的图像处理模块153-3b输出的处理图像数据(显示用的图像数据)，通过经由DMA总线110b的DMA写入(存储)于DRAM 70b。
(流程F31)：接下来，显示处理部210b通过经由DMA总线110b的DMA读取存储于DRAM70b的显示用的图像数据。然后，显示处理部210b对读取的显示用的图像数据实施预定的显示处理，生成与显示用的图像数据对应的显示图像数据。然后，显示处理部210b将生成的显示图像数据向视频接口部220b输出。由此，未图示的显示装置显示与经由视频接口部220b从显示处理部210b输出的显示图像数据对应的显示图像。
这样，在摄像装置2中，通过图像处理装置10a所具有的动作检测部170a和输入输出位置决定部180a的结构，设定用于通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担进行流水线处理的流水线结构。由此，在摄像装置2中，像第2动作例所示的那样，通过由动作检测部170a和输入输出位置决定部180a的结构而设定的流水线结构，使图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担进行流水线处理。更具体而言，在摄像装置2中，图像处理装置10a通过摄像处理部130a对从摄像装置2所具有的未图示的成像器输出的像素信号进行预处理，并且作为流水线处理的一部分，通过图像处理部150a所具有的图像处理模块153-1a对该像素信号进行图像处理。另外，在摄像装置2中，作为流水线处理的一部分，通过图像处理部150b所具有的图像处理模块153-1b和图像处理模块153-3b进行图像处理，通过显示处理部210b进行显示处理，使与显示图像数据对应的显示图像显示于未图示的显示装置。
(第3动作例)
接下来，将在摄像装置1具有多个图像处理装置10时的各个图像处理装置10的其他动作作为第3动作例，对各个图像处理装置10分担进行流水线处理时的数据流进行说明。在第3动作例中，考虑如下结构的摄像装置1，由于具有中等程度的像素数(尺寸)且帧速率不高的成像器，因此将与从成像器输出的像素信号对应的图像数据写入(存储)于DRAM 70不需要较多的总线频带，但由于具有在3个显示装置中同时显示图像的3个通道输出的功能，因此从DRAM 70读取显示用的图像数据需要更多的总线频带，所述3个显示装置包含显示较高分辨率的图像的显示装置。另外，在以下的说明中，为了与图1所示的具有1个图像处理装置10的结构的摄像装置1和图3所示的摄像装置2进行区别，将上述第3动作例的结构的摄像装置1称为“摄像装置3”。
图4是示意性地示出具有多个本发明的实施方式的图像处理装置10的其他结构的摄像装置3的数据流的图。图4所示的摄像装置3与图3所示的摄像装置2相同，具有两个相同结构的图像处理装置10。另外，图4所示的摄像装置3的结构除了未图示的成像器和未图示的显示装置不同之外，与图3所示的摄像装置2结构相同。因此，在图4所示的摄像装置3中，根据与图3所示的摄像装置2相同的思路，对各个构成要素进行区别。即，在图4所示的摄像装置3中，将接受从未图示的成像器输出的像素信号的一侧的图像处理装置10设为“图像处理装置10a”，通过在各个构成要素的标号之后标注“a”来表示是与图像处理装置10a关联的构成要素。另外，在图4所示的摄像装置3中，将使显示图像显示于未图示的显示装置的一侧的图像处理装置10设为“图像处理装置10b”，通过在各个构成要素的标号之后标注“b”来表示是与图像处理装置10b关联的构成要素。另外，在以下的说明中，在不对是与图像处理装置10a关联的构成要素还是与图像处理装置10b关联的构成要素进行区别的情况下，表示为在向各个构成要素标注的标号之后不标注“a”和“b”。
在图4所示的摄像装置3中，与图3所示的摄像装置2相同，通过使图像处理装置10a所具有的外部输出接口部162a与图像处理装置10b所具有的外部输入接口部161b连接，来实现分担进行流水线处理的结构。而且，在图4所示的摄像装置3中，与图3所示的摄像装置2相同，通过使图像处理装置10a所具有的通信接口部192a与图像处理装置10b所具有的通信接口部191b连接，而实现如下结构：设定用于通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担流水线处理的流水线结构。
在摄像装置3的流水线结构的设定中，与摄像装置2相同，首先，图像处理装置10a所具有的动作检测部170a在使图像处理装置10a与图像处理装置10b连接的结构中对各个构成要素的动作进行检测。更具体而言，作为图像处理装置10a的摄像动作，动作检测部170a检测与中等程度的像素数(尺寸)且帧速率不高的成像器对应地设定的成像器接口部120a和摄像处理部130a的动作进行。另外，作为图像处理装置10b的显示的动作，动作检测部170a检测与3个(3个通道输出)未图示的显示装置分别对应地设定的显示处理部210b和视频接口部220b的动作，所述3个(3个通道输出)未图示的显示装置包含显示较高分辨率的图像的显示装置。另外，作为图像处理装置10a和图像处理装置10b所具有的图像处理部150的图像处理的动作，动作检测部170a对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154、以及输出DMA模块155的动作进行检测。另外，在该阶段，与摄像装置2相同，动作检测部170a不对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155是图像处理装置10a所具有的构成要素还是图像处理装置10b所具有的构成要素进行判断。动作检测部170a将检测出的各个构成要素的动作信息向图像处理装置10a所具有的输入输出位置决定部180a输出(路径C41)。
由此，输入输出位置决定部180a根据从动作检测部170a输出的动作信息，决定通过图像处理部150a和图像处理部150b分担流水线处理的流水线结构。这里，摄像装置3所具有的未图示的成像器是中等程度像素数(尺寸)且帧速率不高的成像器，因此，从动作检测部170a输出的动作信息表示图像处理装置10a内的DMA总线110a不需要较多的总线频带。另外，摄像装置3所具有的未图示的显示装置是包含显示较高分辨率的图像的显示装置在内的3个(3个通道输出)显示装置，具有同时显示图像的功能，因此，从动作检测部170a输出的动作信息表示图像处理装置10b内的DMA总线110b需要较多的总线频带。因此，输入输出位置决定部180a将图像处理部150a和图像处理部150b的流水线结构决定为，在图像处理装置10a所具有的图像处理部150a中进行更多的图像处理，在图像处理装置10b所具有的图像处理部150b中进行较少的图像处理。更具体而言，在图4所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150a的流水线结构决定为，在图像处理部150a中进行图像处理模块153-1a和图像处理模块153-2a各自的图像处理。另外，在图4所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150b的流水线结构决定为，在图像处理部150b中进行图像处理模块153-3b的图像处理。
输入输出位置决定部180a将对图像处理部150a决定的流水线结构设定于图像处理部150a所具有的连接切换部151a(路径C42)。另外，输入输出位置决定部180a将对图像处理部150b决定的流水线结构的信息向通信接口部192a输出，经由通信接口部192a和通信接口部191b设定于图像处理部150b所具有的连接切换部151b(路径C43)。
在图像处理装置10a和图像处理装置10b中，各个构成要素按照由输入输出位置决定部180a设定的流水线结构进行图像处理。在摄像装置3中，与摄像装置2相同，通过使图像处理装置10a和图像处理装置10b所具有的各个构成要素并列进行各个图像处理，而使摄像装置3整体的图像处理顺畅地进行。即，在摄像装置3中，与摄像装置2相同，在同一时期并列进行图像处理装置10a所具有的摄像处理部130a的预处理、通过图像处理装置10a和图像处理装置10b各自所具有的图像处理部150分担的流水线处理以及图像处理装置10b所具有的显示处理部210b的显示处理。但是，在图4所示的图像数据流的说明中，与图3所示的图像数据流的说明相同，为了便于说明，着眼于1帧的图像数据，对数据流进行说明。在图4所示的图像数据流中，按照以下那样的流程(flow)进行处理。
(流程F51)：首先，图像处理装置10a所具有的成像器接口部120a接受从未图示的成像器输出的像素信号，并向摄像处理部130a输出(传输)该像素信号。然后，摄像处理部130a对从成像器接口部120a输出的像素数据实施预处理，将包含实施预处理后的各个像素数据在内的图像数据通过经由DMA总线110a的DMA写入(存储)于DRAM 70a。
(流程F52)：接下来，图像处理装置10a所具有的图像处理部150a内的输入DMA模块152a通过经由DMA总线110a的DMA读取存储于DRAM 70a的图像数据。然后，输入DMA模块152a将所读取的图像数据经由连接切换部151a向接下来要进行图像处理的连接目的地的图像处理模块153-1a输出。
(流程F53)：接下来，图像处理模块153-1a对经由连接切换部151a从连接目的地的输入DMA模块152a输出的图像数据实施预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151a向接下来要进行图像处理的连接目的地的图像处理模块153-2a输出。
(流程F54)：接下来，图像处理模块153-2a对经由连接切换部151a从连接目的地的图像处理模块153-1a输出的处理图像数据实施预定的图像处理，进一步实施图像处理后的处理图像数据经由连接切换部151a向输入输出用模块154a输出。
(流程F55)：接下来，输入输出用模块154a将经由连接切换部151a从连接目的地的图像处理模块153-2a输出的处理图像数据，不经由DMA总线110a而直接向外部输出接口部162a输出。
(流程F56)：由此，外部输出接口部162a将从输入输出用模块154a输出的处理图像数据(即，图像处理模块153-2a进行图像处理后的处理图像数据)向图像处理装置10b所具有的外部输入接口部161b输出(传输)。
(流程F57)：由此，外部输入接口部161b接受从外部输出接口部162a输出(传输)的处理图像数据(即，图像处理模块153-2a进行图像处理后的处理图像数据)，将所接受的处理图像数据不经由DMA总线110b而直接向图像处理部150b所具有的输入输出用模块154b输出(传输)。
(流程F58)：接下来，输入输出用模块154b将从外部输入接口部161b输出(传输)的处理图像数据，经由连接切换部151b向接下来要进行图像处理的连接目的地的图像处理模块153-3b输出。
(流程F59)：接下来，图像处理模块153-3b对经由连接切换部151b从连接目的地的输入输出用模块154b输出的处理图像数据实施预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151b向输出DMA模块155b输出。这里，图像处理模块153-3b进行如下图像处理：生成与从输入输出用模块154b输出的处理图像数据对应的显示用的图像数据。因此，图像处理模块153-3b将显示用的图像数据经由连接切换部151b向输出DMA模块155b输出。
(流程F60)：接下来，输出DMA模块155b将经由连接切换部151b从连接目的地的图像处理模块153-3b输出的处理图像数据(显示用的图像数据)，通过经由DMA总线110b的DMA写入(存储)于DRAM 70b。
(流程F61)：接下来，显示处理部210b通过经由DMA总线110b的DMA读取存储于DRAM70b的显示用的图像数据。然后，显示处理部210b对所读取的显示用的图像数据实施预定的显示处理，生成与显示用的图像数据对应的显示图像数据。这里，在摄像装置3中，具有使图像同时显示于3个显示装置的3个通道输出的功能，所述3个显示装置包含显示较高分辨率的图像的显示装置，因此显示处理部210b生成3个通道的(即，3个种类的)显示图像数据。之后，显示处理部210b将所生成的3个种类的显示图像数据分别向视频接口部220b输出。由此，3个未图示的显示装置各自分别显示对应的显示图像，该显示图像对应于经由视频接口部220b从显示处理部210b输出的显示图像数据。
这样，在摄像装置3中，与摄像装置2相同，通过图像处理装置10a所具有的动作检测部170a和输入输出位置决定部180a的结构，来设定用于通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b进行要分担的流水线处理的流水线结构。由此，在摄像装置3中，也像第3动作例所示的那样，通过由动作检测部170a和输入输出位置决定部180a的结构而设定的流水线结构，使图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担进行流水线处理。更具体而言，在摄像装置3中，图像处理装置10a对从摄像装置3所具有的未图示的成像器输出的像素信号进行基于摄像处理部130a的预处理，并且作为流水线处理的一部分，对该像素信号进行基于图像处理部150a所具有的图像处理模块153-1a和图像处理模块153-2a的图像处理。另外，在摄像装置3中，作为流水线处理的一部分，通过图像处理部150b所具有的图像处理模块153-3b进行图像处理，并且通过显示处理部210b进行显示处理，使与显示图像数据对应的显示图像显示于未图示的各个显示装置。
像上述那样，能够构成为，使摄像装置具有多个图像处理装置10，从而通过多个图像处理装置10各自所具有的图像处理部150分担进行包含摄像装置所进行的整体处理在内的流水线处理中的一系列图像处理。此时，通过任意1个图像处理装置10所具有的动作检测部170和输入输出位置决定部180的结构，能够根据摄像装置所进行的整体处理的内容而动态地变更(设定)各个图像处理装置10所具有的图像处理部150的流水线结构。由此，在1个图像处理装置10中，即使在认为难以确保进行摄像装置中的较多图像处理所需要的DMA总线110的总线频带的情况下，通过由多个图像处理装置10各自所具有的构成要素分担流水线处理，也能够确保摄像装置整体所需要的DMA总线110的总线频带，从而能够进行摄像装置的较多图像处理。
另外，对在第2动作例所示的摄像装置2和第3动作例所示的摄像装置3中具有两个相同结构的图像处理装置10的情况进行了说明。但是，构成摄像装置的图像处理装置10的数量不限定于第2动作例和第3动作例所示的两个。即，也可以在摄像装置中具有更多的图像处理装置10。在该情况下，在摄像装置中，像第2动作例所示的摄像装置2和第3动作例所示的摄像装置3那样，将所有的图像处理装置10串联连接(例如、成串连接)。由此，能够通过摄像装置所具有的各个图像处理装置10所具有的图像处理部150分担进行流水线处理。
另外，在第3动作例所示的摄像装置3中，对图像处理装置10b具有使3个未图示的显示装置同时显示图像的3个通道输出的功能的结构进行了说明。但是，在具有多个图像处理装置10的摄像装置中，能够采用将在各个未图示的显示装置显示图像的功能划分给多个图像处理装置10的结构。例如，在实现与第3动作例所示的摄像装置3相同的功能的摄像装置中，能够采用具有3个图像处理装置10b，各个图像处理装置10b与图像处理装置10a并联连接的结构。即，能够采用将3个图像处理装置10b与图像处理装置10a树状连接的结构。在该情况下，图像处理装置10a将图像处理模块153-2a实施图像处理后的处理图像数据并列地向各个图像处理装置10b输出。然后，在各个图像处理装置10b中，将图像处理模块153-3b实施图像处理后的显示用的图像数据写入(存储)于对应的DRAM 70b。之后，各个图像处理装置10b所具有的显示处理部210生成与显示用的图像数据对应的显示图像数据，该显示用的图像数据存储于对应的DRAM 70b中，在所连接的未图示的显示装置显示与显示图像数据对应的显示图像。由此，在各个图像处理装置10b中，能够仅通过具有1个通道输出的功能，而实现与第3动作例所示的摄像装置3相同的功能。另外，当在该结构的摄像装置中具有对未图示的显示装置进行选择(选择1个或多个)的构成要素，且该摄像装置要将显示图像数据输出至该显示装置的情况下，不仅能够使图像同时显示于3个未图示的显示装置，还能使与显示图像数据对应的显示图像显示于选择出的1个或多个未图示的显示装置。
另外，在第2动作例示出的摄像装置2和第3动作例示出的摄像装置3中，对图像处理装置10a接受从未图示的成像器输出的像素信号，图像处理装置10b将显示图像显示于未图示的显示装置的结构进行了说明。但，在具有多个图像处理装置10的摄像装置中，不限定于连接未图示的成像器的图像处理装置10与连接未图示的显示装置的图像处理装置10是不同的图像处理装置10的情况。即，在具有多个图像处理装置10的摄像装置中，连接未图示的成像器的图像处理装置10与连接未图示的显示装置的图像处理装置10也可以是相同的图像处理装置10。在该情况下，在摄像装置中，将所有的图像处理装置10串联连接(例如，成串连接)，此外，通过将初级的图像处理装置10与最终级的图像处理装置10连接而将所有的图像处理装置10连接为圆环状(环状)。由此，能够通过摄像装置所具有的各个图像处理装置10所具有的图像处理部150分担流水线处理，并且能够在摄像装置中将图像处理后的处理图像数据集合(聚合)于与1个图像处理装置10对应的DRAM 70(与1个图像处理装置10内的DMA总线110连接的DRAM 70)。
(第4动作例)
接下来，将摄像装置1具有多个图像处理装置10时的各个图像处理装置10的另一个其他动作作为第4动作例，对各个图像处理装置10分担进行摄像装置1的处理时的数据流进行说明。在第4动作例中，考虑如下结构的摄像装置1，将与从成像器输出的像素信号对应的图像数据写入(存储)于DRAM 70不需要较多的总线频带，此外，从DRAM 70读取显示用的图像数据不需要较多的总线频带，但代替流水线处理的图像处理模块153-2而组入需要较多总线频带的数字信号处理器200的DSP图像处理。另外，在以下的说明中，为了与图1所示的具有1个图像处理装置10的结构的摄像装置1、图3所示的摄像装置2以及图4所示的摄像装置3进行区别，将上述第4动作例的结构的摄像装置1称为“摄像装置4”。
图5是示意性地示出具有多个本发明的实施方式的图像处理装置10的其他结构的摄像装置4的数据流的图。图5所示的摄像装置4与图3所示的摄像装置2和图4所示的摄像装置3相同，具有两个相同结构的图像处理装置10。另外，图5所示的摄像装置4的结构除了未图示的成像器和未图示的显示装置不同之外，与图3所示的摄像装置2和图4所示的摄像装置3结构相同。因此，在图5所示的摄像装置4中，根据与图3所示的摄像装置2和图4所示的摄像装置3相同的思路，对各个构成要素进行区别。
在图5所示的摄像装置4中，未图示的成像器和未图示的显示装置双方与相同的图像处理装置10a连接。即，在图5所示的摄像装置4中，接受从未图示的成像器输出的像素信号的一侧的图像处理装置10和将显示图像显示于未图示的显示装置的一侧的图像处理装置10是图像处理装置10a。而且，在图5所示的摄像装置4中，通过使图像处理装置10a所具有的外部输出接口部162a与图像处理装置10b所具有的外部输入接口部161b连接，使图像处理装置10b所具有的外部输出接口部162b与图像处理装置10a所具有的外部输入接口部161a连接，来实现将DSP图像处理组入流水线处理的结构。而且，在图5所示的摄像装置4中，通过使图像处理装置10a所具有的通信接口部192a与图像处理装置10b所具有的通信接口部191b连接，而实现如下结构：设定用于将数字信号处理器200的DSP图像处理组入通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担进行的流水线处理的流水线结构。
在摄像装置4的流水线结构的设定中，与摄像装置2和摄像装置3相同，首先，图像处理装置10a所具有的动作检测部170a在使图像处理装置10a与图像处理装置10b连接的结构中，对各个构成要素的动作进行检测。更具体而言，作为图像处理装置10a的摄像的动作，动作检测部170a对与中等程度的像素数(尺寸)且帧速率不高的未图示的成像器对应地设定的成像器接口部120a和摄像处理部130a的动作进行检测。此外，作为图像处理装置10a的显示的动作，动作检测部170a对与显示较低分辨率的图像的1个(1个通道输出)未图示的显示装置对应地设定的显示处理部210a和视频接口部220a的动作进行检测。另外，作为图像处理装置10a和图像处理装置10b所具有的图像处理部150的图像处理的动作，动作检测部170a对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154、输出DMA模块155以及数字信号处理器200的动作进行检测。另外，在该阶段，与摄像装置2和摄像装置3相同，动作检测部170a不对输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154、输出DMA模块155以及数字信号处理器200是图像处理装置10a所具有的构成要素还是图像处理装置10b所具有的构成要素进行判断。动作检测部170a将检测出的各个构成要素的动作信息向图像处理装置10a所具有的输入输出位置决定部180a输出(路径C71)。
由此，输入输出位置决定部180a根据从动作检测部170a输出的动作信息，决定用于将数字信号处理器200的DSP图像处理组入通过图像处理部150a和图像处理部150b分担进行的流水线处理的流水线结构。这里，摄像装置4所具有的未图示的成像器是中等程度的像素数(尺寸)且帧速率不高的成像器，因此，从动作检测部170a输出的动作信息表示图像处理装置10a内的DMA总线110a不需要较多的总线频带。另外，摄像装置4所具有的未图示的显示装置是显示较低分辨率的图像的1个(1个通道输出)显示装置，因此，从动作检测部170a输出的动作信息表示图像处理装置10a内的DMA总线110a不需要较多的总线频带。另外，从动作检测部170a输出的动作信息表示，代替流水线处理中的图像处理模块153-2而组入的数字信号处理器200的DSP图像处理在图像处理装置10a内的DMA总线110a或者在图像处理装置10b内的DMA总线110b中需要较多的总线频带。因此，输入输出位置决定部180a将图像处理部150a和图像处理部150b的流水线结构决定为，进行在图像处理装置10a所具有的图像处理部150a中进行的基于图像处理模块153的图像处理，将数字信号处理器200b的DSP图像处理组入于图像处理装置10b所具有的图像处理部150b。更具体而言，在图5所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150a的流水线结构决定为，在图像处理部150a中进行基于图像处理模块153-1a的图像处理。此外，在图5所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150a的流水线结构决定为，在图像处理部150a中进行基于图像处理模块153-3a的图像处理。另外，在图5所示的图像数据流的图中，输入输出位置决定部180a将图像处理部150b的流水线结构决定为，在图像处理部150b中代替图像处理模块153-2b而进行基于数字信号处理器200b的DSP图像处理。
输入输出位置决定部180a将对图像处理部150a所决定的流水线结构设定于图像处理部150a所具有的连接切换部151a(路径C72)。另外，输入输出位置决定部180a将对图像处理部150b所决定的流水线结构的信息向通信接口部192a输出，经由通信接口部192a和通信接口部191b，设定于图像处理部150b所具有的连接切换部151b(路径C73)。
在图像处理装置10a和图像处理装置10b中，各个构成要素按照由输入输出位置决定部180a设定的流水线结构进行图像处理。在摄像装置4中，与摄像装置2和摄像装置3相同，通过使图像处理装置10a和图像处理装置10b所具有的各个构成要素并列进行各个图像处理，而使摄像装置4整体的图像处理顺畅地进行。即，在摄像装置4中，与摄像装置2和摄像装置3相同，在同一时期并列进行图像处理装置10a所具有的摄像处理部130a的预处理、通过图像处理装置10a和图像处理装置10b各自所具有的图像处理部150分担的流水线处理以及图像处理装置10a所具有的显示处理部210a的显示处理。但是，在图5所示的图像数据流的说明中，与图3和图4所示的图像数据流的说明相同，为了便于说明，着眼于1帧的图像数据，对数据流进行说明。在图5所示的图像数据流中，按照以下那样的流程(flow)进行处理。
(流程F81)：首先，图像处理装置10a所具有的成像器接口部120a接受从未图示的成像器输出的像素信号，并向摄像处理部130a输出(传输)该像素信号。然后，摄像处理部130a对从成像器接口部120a输出的像素数据实施预处理，将包含实施预处理后的各个像素数据在内的图像数据通过经由DMA总线110a的DMA写入(存储)于DRAM 70a。
(流程F82)：接下来，图像处理装置10a所具有的图像处理部150a内的输入DMA模块152a通过经由DMA总线110a的DMA读取存储于DRAM 70a的图像数据。然后，输入DMA模块152a将所读取的图像数据经由连接切换部151a向接下来要进行图像处理的连接目的地的图像处理模块153-1a输出。
(流程F83)：接下来，图像处理模块153-1a对经由连接切换部151a从连接目的地的输入DMA模块152a输出的图像数据实施预定的图像处理，将实施图像处理后的处理图像数据经由连接切换部151a向输入输出用模块154a输出。
(流程F84)：接下来，输入输出用模块154a将经由连接切换部151a从连接目的地的图像处理模块153-1a输出的处理图像数据，不经由DMA总线110a而直接向外部输出接口部162a输出。
(流程F85)：由此，外部输出接口部162a将从输入输出用模块154a输出的处理图像数据(即，图像处理模块153-1a进行图像处理后的处理图像数据)向图像处理装置10b所具有的外部输入接口部161b输出(传输)。
(流程F86)：由此，外部输入接口部161b接受从外部输出接口部162a输出(传输)来的处理图像数据(即，图像处理模块153-1a进行图像处理后的处理图像数据)，将所接受的处理图像数据不经由DMA总线110b而直接向图像处理部150b所具有的输入输出用模块154b输出(传输)。
(流程F87)：接下来，输入输出用模块154b将从外部输入接口部161b输出(传输)的处理图像数据经由连接切换部151b向输出DMA模块155b输出。
(流程F88)：接下来，输出DMA模块155b将经由连接切换部151b从连接目的地的输入输出用模块154b输出的处理图像数据，通过经由DMA总线110b的DMA写入(存储)于DRAM70b。
(流程F89)：接下来，数字信号处理器200b通过经由DMA总线110b的DMA读取存储于DRAM 70b的处理图像数据。然后，数字信号处理器200b对所读取的处理图像数据实施预定的DSP图像处理，将实施DSP图像处理后的处理图像数据(DSP处理图像数据)通过经由DMA总线110b的DMA写入(存储)于DRAM 70b。
(流程F90)：接下来，图像处理装置10b所具有的图像处理部150b内的输入DMA模块152b通过经由DMA总线110b的DMA读取存储于DRAM 70b的处理图像数据(即，数字信号处理器200b进行DSP图像处理后的DSP处理图像数据)。然后，输入DMA模块152b将所读取的DSP处理图像数据经由连接切换部151b向输入输出用模块154b输出。
(流程F91)：接下来，输入输出用模块154b将经由连接切换部151b从连接目的地的输入DMA模块152b输出的DSP处理图像数据，不经由DMA总线110b而直接向外部输出接口部162b输出。
(流程F92)：由此，外部输出接口部162b将从输入输出用模块154b输出的DSP处理图像数据(即，数字信号处理器200b进行DSP图像处理后的DSP处理图像数据)向图像处理装置10a所具有的外部输入接口部161a输出(传输)。
(流程F93)：由此，外部输入接口部161a接受从外部输出接口部162b输出(传输)来的DSP处理图像数据(即，数字信号处理器200b进行DSP图像处理后DSP处理图像数据)，将所接受的DSP处理图像数据不经由DMA总线110a而直接向图像处理部150a所具有的输入输出用模块154a输出(传输)。
(流程F94)：接下来，输入输出用模块154a将从外部输入接口部161a输出(传输)的DSP处理图像数据经由连接切换部151a向接下来要进行图像处理的连接目的地的图像处理模块153-3a输出。
(流程F95)：接下来，图像处理模块153-3a对经由连接切换部151a从连接目的地的输入输出用模块154a输出的DSP处理图像数据实施预定的图像处理，实施图像处理后的处理图像数据经由连接切换部151a向输出DMA模块155a输出。这里，图像处理模块153-3a进行如下图像处理：生成与从输入输出用模块154a输出的DSP处理图像数据(即，数字信号处理器200b进行DSP图像处理后的DSP处理图像数据)对应的显示用的图像数据。因此，图像处理模块153-3a将显示用的图像数据经由连接切换部151a向输出DMA模块155a输出。
(流程F96)：接下来，输出DMA模块155a将经由连接切换部151a从连接目的地的图像处理模块153-3a输出的处理图像数据(显示用的图像数据)通过经由DMA总线110a的DMA写入(存储)于DRAM 70a。
(流程F97)：接下来，显示处理部210a通过经由DMA总线110a的DMA读取存储于DRAM70a的显示用的图像数据。然后，显示处理部210a对所读取的显示用的图像数据实施预定的显示处理，生成与显示用的图像数据对应的显示图像数据。之后，显示处理部210a将生成的显示图像数据向视频接口部220a输出。由此，未图示的显示装置显示与经由视频接口部220a从显示处理部210a输出的显示图像数据对应的显示图像。
这样，在摄像装置4中，通过图像处理装置10a所具有的动作检测部170a和输入输出位置决定部180a的结构，设定用于将数字信号处理器200的DSP图像处理组入通过图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b分担进行的流水线处理的流水线结构。由此，在摄像装置4中，像第4动作例所示的那样，通过由动作检测部170a和输入输出位置决定部180a的结构设定的流水线结构，使图像处理装置10a所具有的图像处理部150a和图像处理装置10b所具有的图像处理部150b进行组入了数字信号处理器200的DSP图像处理的流水线处理。更具体而言，在摄像装置4中，图像处理装置10a对从摄像装置4所具有的未图示的成像器输出的像素信号进行基于摄像处理部130a的预处理，并且作为流水线处理的一部分，对该像素信号进行基于图像处理部150a所具有的图像处理模块153-1a的图像处理。另外，在摄像装置4中，作为流水线处理的一部分，代替图像处理部150b所具有的图像处理模块153-2b，而通过数字信号处理器200b进行DSP图像处理。此外，在摄像装置4中，作为流水线处理的一部分，通过图像处理部150a所具有的图像处理模块153-3a进行图像处理，通过显示处理部210a进行显示处理，从而使与显示图像数据对应的显示图像显示于未图示的显示装置。
像上述那样，能够构成为，摄像装置具有多个图像处理装置10，从而通过多个图像处理装置10各自所具有的图像处理部150分担进行摄像装置要进行的整体处理所包含的流水线处理中的一系列图像处理。另外，图像处理装置10能够采用如下结构：将任意图像处理装置10所具有的数字信号处理器200的DSP图像处理组入通过多个图像处理装置10各自所具有的图像处理部150分担进行的流水线处理。此时，通过任意1个图像处理装置10所具有的动作检测部170和输入输出位置决定部180的结构，能够根据摄像装置要进行的整体处理的内容动态地变更(设定)各个图像处理装置10所具有的图像处理部150的流水线结构。由此，即使在考虑在1个图像处理装置10中难以确保进行摄像装置中的较多的图像处理所需要的DMA总线110的总线频带的情况下，通过由多个图像处理装置10各自所具有的构成要素分担流水线处理，也能够确保摄像装置的整体所需要的DMA总线110的总线频带，从而能够进行摄像装置的较多的图像处理。
另外，在第4动作例所示的摄像装置4中，对具有两个相同结构的图像处理装置10的情况进行了说明。而且，在第4动作例所示的摄像装置4中，对为了将图像处理装置10b所具有的数字信号处理器200b的DSP图像处理组入流水线处理，而使图像处理装置10a和图像处理装置10b连接为圆环状(环状)的结构进行了说明。但是，构成摄像装置的图像处理装置10的数量不限定于第4动作例所示的摄像装置4所示的两个。而且，在具有多个图像处理装置10的摄像装置中，使各个图像处理装置10连接为圆环状(环状)的结构，不限定于用于将数字信号处理器200的DSP图像处理和图像处理装置10的外部的外部图像处理装置的外部图像处理组入流水线处理的结构。即，在具有多个图像处理装置10的摄像装置中，使图像处理装置10连接为圆环状(环状)的结构，不限定于在各个图像处理部150的流水线处理中进行的图像处理之中组入用于使其具有扩展性的图像处理的结构，能够作为用于实现摄像装置的其他功能的结构而使用。例如，当在摄像装置中实现连续拍摄多个被摄体的静态图像的功能(所谓的连拍功能)时，能够采用使各个图像处理装置10连接为圆环状(环状)的结构。在该情况下，能够通过不同的图像处理装置10对从未图示的成像器按照各个拍摄而输出的1帧的像素数据进行图像处理，将各个图像处理装置10生成的记录用的图像数据(记录图像数据)集合(聚合)于与任意1个图像处理装置10对应的DRAM 70。即，能够通过多个图像处理装置10分担进行与连续拍摄的各个帧的像素数据对应的记录用的图像数据(记录图像数据)的生成。由此，能够实现摄像装置的连拍功能的高速化。
根据本实施方式，图像处理装置(图像处理装置10)具有多个处理部(在实施方式中为摄像处理部130、图像处理部150、数字信号处理器200、显示处理部210、存储卡接口部230、高速串行接口部240等)，该处理部与通用的数据总线(DMA总线110)连接，并对从与DMA总线110连接的数据存储部(DRAM 70)经由DMA总线110所读取的数据(图像数据)进行预定的处理(图像处理)，该图像处理装置(图像处理装置10)构成为，至少1个处理部(图像处理部150)具有：多个处理模块(在实施方式中为图像处理模块153-1～图像处理模块153-3)，他们对输入的数据(图像数据)进行预定的处理(图像处理)；输入输出用模块(输入输出用模块154)，其作为不经由DMA总线110而与外部之间直接输入输出数据的处理模块而进行动作；以及连接切换部(连接切换部151)，其按照输入的设定(来自输入输出位置决定部180的设定、经由通信接口部191输入的来自图像处理装置10的外部的控制)，切换处理模块(在实施方式中为输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155)彼此的连接，而变更流水线结构，该至少1个处理部(图像处理部150)是通过构成流水线的各个处理模块进行流水线处理的图像处理部(图像处理部150)，图像处理装置具有：动作检测部(动作检测部170)，其对各个处理部的动作进行检测；输入输出位置决定部(输入输出位置决定部180)，其根据动作检测部170所检测的各个处理部的动作的信息(动作信息)，决定图像处理部150的流水线结构；信息输出部(通信接口部192)，其将输入输出位置决定部180所决定的流水线结构的信息向外部(其他图像处理装置10)输出；以及信息输入部(通信接口部191)，其从外部(其他图像处理装置10)接受流水线结构的信息，连接切换部151根据输入输出位置决定部180所决定的或者通信接口部191所接受的流水线结构的信息，切换构成流水线的处理模块(在实施方式中为输入DMA模块152、图像处理模块153-1～图像处理模块153-3、输入输出用模块154以及输出DMA模块155)彼此的连接。
另外，根据本实施方式，图像处理装置10构成为，动作检测部170将伴随各个处理部经由DMA总线110对DRAM 70的访问的动作，作为各个处理部的动作而进行检测，输入输出位置决定部180将用于划分在图像处理部150中进行的流水线处理的流水线结构决定为，在各个处理部经由DMA总线110访问DRAM 70时所需要的DMA总线110的频带(总线频带、DRAM70的总线频带)的总和为与DMA总线110连接的DRAM 70的(能够访问的)最大的频带以内。
另外，根据本实施方式，图像处理装置10构成为，输入输出位置决定部180决定在图像处理部150中构成的流水线内组入的输入输出用模块154的位置，以划分在图像处理部150中进行的流水线处理。
另外，根据本实施方式，摄像装置(摄像装置1)构成为，具有多个图像处理装置10(在实施方式中为图像处理装置10a和图像处理装置10b)，使前级的图像处理装置10a所具有的输入输出用模块154a的输出(外部输出接口部162b)与后级的图像处理装置10b所具有的输入输出用模块154b的输入(外部输入接口部161b)连接，从而各个图像处理装置10a和图像处理装置10b连接成串，各个图像处理装置10a和图像处理装置10b所具有的图像处理部150(图像处理部150a和图像处理部150b)内的连接切换部(输入输出用模块154a和输入输出用模块154b)根据任意1个图像处理装置10(在实施方式中为图像处理装置10a)所具有的输入输出位置决定部180(输入输出位置决定部180a)所决定的流水线结构的信息，切换在图像处理部150a和图像处理部150b中构成的流水线中的处理模块彼此(在实施方式中为输入DMA模块152a、图像处理模块153-1a～图像处理模块153-3a、输入输出用模块154a、输出DMA模块155a彼此和输入DMA模块152b、图像处理模块153-1b～图像处理模块153-3b、输入输出用模块154b、输出DMA模块155b彼此)的连接。
另外，根据本实施方式，摄像装置1构成为，任意1个图像处理装置10(图像处理装置10a)所具有的输入输出位置决定部180(输入输出位置决定部180a)根据对应的动作检测部(动作检测部170a)所检测的各个处理部的动作的信息决定流水线结构，以通过各个图像处理部150a和图像处理部150b分担流水线处理，所述流水线结构包含在各个图像处理部150a和图像处理部150b中构成的流水线内组入的输入输出用模块154(输入输出用模块154a或输入输出用模块154b)的位置，任意1个图像处理装置10(图像处理装置10a)所具有的信息输出部(通信接口部192a)将输入输出位置决定部180a所决定的流水线结构的信息向其他图像处理装置10(在实施方式中为图像处理装置10b)所具有的信息输入部(通信接口部191b)输出，各个图像处理装置10a和图像处理装置10b所具有的图像处理部150a内的输入输出用模块154a和图像处理部150b内的输入输出用模块154b，将在图像处理部150a和图像处理部150b中构成的流水线中的处理模块彼此(在实施方式中为输入DMA模块152a、图像处理模块153-1a～图像处理模块153-3a、输入输出用模块154a、输出DMA模块155a彼此和输入DMA模块152b、图像处理模块153-1b～图像处理模块153-3b、输入输出用模块154b、输出DMA模块155b彼此)的连接切换为，将输入输出用模块154a或输入输出用模块154b组入输入于输出位置决定部180a所决定的或者对应的通信接口部191b所接受的流水线结构的信息所包含的输入输出用模块154a或输入输出用模块154b的位置。
另外，根据本实施方式，摄像装置1构成为，任意1个图像处理装置10(图像处理装置10a)所具有的输入输出位置决定部180(输入输出位置决定部180a)将在各个图像处理部150a和图像处理部150b中构成流水线内组入的输入输出用模块154a或输入输出用模块154b的位置决定为，在各个图像处理装置10a和图像处理装置10b中进行处理的各个处理部经由对应的数据总线(DMA总线110a或DMA总线110b)访问数据存储部(DRAM 70a或DRAM70b)时所需要的DMA总线110a或DMA总线110b的频带的总和为，与对应的DMA总线110a连接的DRAM 70a或与DMA总线110b连接的DRAM 70b的(能够访问的)最大的频带以内。
另外，根据本实施方式，摄像装置1构成为，连接成串的最终级的图像处理装置10(在实施方式中为图像处理装置10b)所具有的输入输出用模块154b的输出(外部输出接口部162b)与初级的图像处理装置10(在实施方式中为图像处理装置10a)所具有的输入输出用模块154a的输入(外部输入接口部161a)连接，将所有的图像处理装置10(图像处理装置10a和图像处理装置10b)连接为圆环状，将各个图像处理装置10a和图像处理装置10b处理后的数据(处理图像数据)集中于与任意1个图像处理装置10(在实施方式中为图像处理装置10a)的数据总线(DMA总线110a)连接的数据存储部(DRAM 70a)。
如上所述，根据本发明的实施方式，在图像处理装置中，进行流水线处理的图像处理部具有图像处理部的外部所具有的构成要素和用于不经由DMA总线而直接连接的输入输出用模块。即，在本发明的实施方式中，为了扩展在图像处理部中执行的图像处理，而具有进行在图像处理部所具有的任意图像处理模块中均不执行的图像处理的图像处理装置和用于不经由DMA总线而直接连接的输入输出用模块。另外，在本发明的实施方式中，具有用于切换图像处理部所具有的各个处理模块的连接(即，切换构成为图像处理部的流水线的连接)的连接切换部。由此，在本发明的实施方式中，通过将输入输出用模块作为图像处理模块而组入于构成为图像处理部的流水线中，能够将图像处理部的外部所具有的构成要素所执行的图像处理组入于图像处理部所具有的各个图像处理模块所执行的流水线处理中的一系列图像处理。
另外，在本发明的实施方式中，具有：动作检测部，其对图像处理装置所具有的各个构成要素进行图像处理时的动作进行检测；以及输入输出位置决定部，其根据动作检测部所检测的各个构成要素的动作，决定图像处理部的流水线结构，并将所决定的流水线结构设定于连接切换部。而且，在本发明的实施方式中，输入输出位置决定部将图像处理部的流水线结构决定为，能够确保在图像处理装置所具有的各个构成要素进行图像处理时所需要的DMA总线的总线频带，即，避免对特定的DMA总线的总线频带的压迫。由此，在本发明的实施方式中，能够避免图像处理装置所具有的图像处理部对DMA总线的总线频带的压迫所导致的、图像处理装置所具有的各个构成要素的图像处理的处理能力(速度)的降低。
另外，在本发明的实施方式中，在由多个图像处理装置构成摄像装置的情况下，将流水线构成为，通过多个图像处理装置各自所具有的图像处理部分担进行流水线处理中的一系列图像处理。由此，在本发明的实施方式中，即使在作为摄像装置的整体处理要进行较多的图像处理的情况下，也能够避免任意图像处理装置所具有的图像处理部对DMA总线的总线频带的压迫所导致的、图像处理装置所具有的各个构成要素的图像处理的处理能力(速度)的降低。
另外，在本发明的实施方式中，对具有两个图像处理装置的摄像装置进行了说明。但是，摄像装置所具有的图像处理装置的数量不限定于上述的两个。即，也可以构成具有更多的图像处理装置的摄像装置。在该情况下，与本发明的实施方式所示的图像处理装置10a相同，任意1个图像处理装置10决定摄像装置1所具有的各个图像处理装置10所具有的图像处理部150的流水线结构。然后，决定了流水线结构的图像处理装置10经由通信接口部192将所决定的流水线结构的信息向其他图像处理装置10输出(传输)，其他各个图像处理装置10根据从决定了流水线结构的图像处理装置10输出来的流水线结构的信息，构成图像处理部150的流水线。
另外，在本发明的实施方式中，对在图像处理装置中构成流水线的情况进行了说明。但是，关于通过流水线结构进行一系列处理的处理装置，除了图像处理装置之外也可考虑其他各种处理装置。另外，关于要求通过流水线结构分担一系列处理的系统，除了摄像装置之外也可考虑其他各种系统。因此，能够应用本发明的思路的处理装置、系统不限定于本发明的实施方式所示的图像处理装置、摄像装置，只要是搭载如下处理装置的系统，就能够同样地应用本发明的思路，从而能够得到与本发明相同的效果，该处理装置进行通过串联连接多个处理模块而构成的流水线的流水线处理。
以上，对本发明的优选的实施方式进行了说明，但本发明不限定于这些实施方式及其变形例。在不脱离本发明的主旨的范围内，能够进行结构的附加、省略、置换以及其他变更。
另外，本发明不受前述的说明限定，仅受到所附的权利要求限定。
产业上的可利用性
根据上述实施方式，能够确保图像处理装置所具有的各个处理块访问共用的DRAM所需要的总线频带。
标号说明
1、2、3、4：摄像装置；10、10a、10b：图像处理装置；110、110a、110b：DMA总线(数据总线)；120、120a、120b：成像器接口部；130、130a、130b：摄像处理部(处理部)；140、140a、140b：CPU；150、150a、150b：图像处理部(处理部、图像处理部)；151、151a、151b：连接切换部；152、152a、152b：输入DMA模块(处理部、图像处理部)；153-1、153-1a、153-1b、153-2、153-2a、153-2b、153-3、153-3a、153-3b：图像处理模块(处理模块)；154、154a、154b：输入输出用模块；155、155a、155b：输出DMA模块(处理部、图像处理部)；161、161a、161b：外部输入接口部(处理部、图像处理部、输入输出用模块)；162、162a、162b：外部输出接口部(处理部、图像处理部、输入输出用模块)；170、170a、170b：动作检测部；180、180a、180b：输入输出位置决定部；191、191a、191b：通信接口部(信息输入部)；192、192a、192b：通信接口部(信息输出部)；200、200a、200b：数字信号处理器(处理部)；210、210a、210b：显示处理部(处理部)；220、220a、220b：视频接口部；230、230a、230b：存储卡接口部(处理部)；240、240a、240b：高速串行接口部(处理部)；70、70a、70b：DRAM(数据存储部)。

Claims (7)

1.一种图像处理装置，其具有多个处理部，该处理部与通用的数据总线连接，并对从与所述数据总线连接的数据存储部经由所述数据总线读取的数据进行预定的处理，所述数据是由所述多个处理部中的摄像处理部经由所述数据总线存储于所述数据存储部的，其中，
至少1个所述处理部具有：
多个处理模块，它们对输入的数据进行预定的处理；
输入输出用模块，其作为不经由所述数据总线而与外部之间直接输入输出数据的所述处理模块而进行动作；以及
连接切换部，其按照输入的设定切换所述处理模块彼此的连接，而变更流水线的结构，
所述处理部是通过构成所述流水线的各个所述处理模块进行流水线处理的图像处理部，
该图像处理装置具有：
动作检测部，其对各个所述处理部的动作进行检测；
输入输出位置决定部，其根据所述动作检测部所检测的各个所述处理部的动作的信息，决定所述图像处理部中的所述流水线的结构；
信息输出部，其将所述输入输出位置决定部所决定的所述流水线的结构的信息向外部输出；以及
信息输入部，其从外部接受所述流水线的结构的信息，
所述连接切换部根据所述输入输出位置决定部所决定的、或者所述信息输入部所接受的所述流水线的结构的信息，切换构成所述流水线的所述处理模块彼此的连接。
2.根据权利要求1所述的图像处理装置，其中，
所述动作检测部将伴随各个所述处理部经由所述数据总线对所述数据存储部的访问的动作，作为各个所述处理部的动作而进行检测，
所述输入输出位置决定部将用于划分在所述图像处理部进行的流水线处理的所述流水线的结构决定为，在各个所述处理部经由所述数据总线访问所述数据存储部时所需要的所述数据总线的频带的总合为，与所述数据总线连接的所述数据存储部的最大的频带以内。
3.根据权利要求2所述的图像处理装置，其中，
所述输入输出位置决定部决定在所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置，以划分在所述图像处理部中进行的流水线处理。
4.一种摄像装置，其具有多个权利要求2所述的图像处理装置，
使前级的所述图像处理装置所具有的所述输入输出用模块的输出与后级的所述图像处理装置所具有的所述输入输出用模块的输入连接，从而各个所述图像处理装置连接成串，
各个所述图像处理装置所具有的所述图像处理部内的所述连接切换部根据任意1个所述图像处理装置所具有的所述输入输出位置决定部所决定的所述流水线的结构的信息，切换在所述图像处理部中构成的所述流水线中的所述处理模块彼此的连接。
5.根据权利要求4所述的摄像装置，其中，
所述任意1个所述图像处理装置所具有的所述输入输出位置决定部根据对应的所述动作检测部所检测的各个所述处理部的动作的信息，决定所述流水线的结构，以通过各个所述图像处理部分担流水线处理，所述流水线的结构包含在各个所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置，
所述任意1个所述图像处理装置所具有的所述信息输出部将所述输入输出位置决定部所决定的所述流水线的结构的信息向其他所述图像处理装置所具有的所述信息输入部输出，
各个所述图像处理装置所具有的所述图像处理部内的所述连接切换部将在所述图像处理部中构成的所述流水线中的所述处理模块彼此的连接切换为，将所述输入输出用模块组入于所述输入输出位置决定部所决定的、或者对应的所述信息输入部所接受的所述流水线的结构的信息所包含的所述输入输出用模块的位置。
6.根据权利要求5所述的摄像装置，其中，
所述任意1个所述图像处理装置所具有的所述输入输出位置决定部将在各个所述图像处理部中构成的所述流水线内组入的所述输入输出用模块的位置决定为，在各个所述图像处理装置中进行处理的各个所述处理部经由对应的所述数据总线访问所述数据存储部时所需要的所述数据总线的频带的总和为，与对应的所述数据总线连接的所述数据存储部中的最大的频带以内。
7.根据权利要求6所述的摄像装置，其中，
所述连接成串的最终级的所述图像处理装置所具有的所述输入输出用模块的输出与初级的所述图像处理装置所具有的所述输入输出用模块的输入连接，从而所有的所述图像处理装置连接为圆环状，
各个所述图像处理装置处理后的数据集中于与任意1个所述图像处理装置的所述数据总线连接的所述数据存储部。
CN201780087647.4A 2017-07-24 2017-07-24 图像处理装置和摄像装置 Active CN110366740B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/026672 WO2019021344A1 (ja) 2017-07-24 2017-07-24 画像処理装置および撮像装置

Publications (2)

Publication Number Publication Date
CN110366740A CN110366740A (zh) 2019-10-22
CN110366740B true CN110366740B (zh) 2023-07-07

Family

ID=65040035

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780087647.4A Active CN110366740B (zh) 2017-07-24 2017-07-24 图像处理装置和摄像装置
CN201880035737.3A Active CN110678897B (zh) 2017-07-24 2018-07-09 图像处理装置及摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880035737.3A Active CN110678897B (zh) 2017-07-24 2018-07-09 图像处理装置及摄像装置

Country Status (3)

Country Link
US (2) US20200005425A1 (zh)
CN (2) CN110366740B (zh)
WO (2) WO2019021344A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021344A1 (ja) * 2017-07-24 2019-01-31 オリンパス株式会社 画像処理装置および撮像装置
JP7157330B2 (ja) * 2018-11-27 2022-10-20 富士通株式会社 監視装置、監視方法および監視プログラム
JP7374505B2 (ja) * 2021-03-30 2023-11-07 株式会社モルフォ 画像処理装置、画像処理プログラム、及び、画像処理方法
CN113568666B (zh) * 2021-06-07 2024-05-24 阿里巴巴创新公司 图像的处理方法、装置、存储介质和处理器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2557560A2 (en) * 2011-08-08 2013-02-13 Samsung Electronics Co., Ltd. Display device and driving method thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007703A1 (en) * 2001-07-03 2003-01-09 Roylance Eugene A. Configurable image processing logic for use in image processing devices
US20050248584A1 (en) * 2004-05-10 2005-11-10 Koji Takeo Imaging system and image processing apparatus
JP2005322049A (ja) * 2004-05-10 2005-11-17 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP4694264B2 (ja) * 2005-06-03 2011-06-08 富士ゼロックス株式会社 画像処理装置、方法及びプログラム
JP4904914B2 (ja) * 2006-05-17 2012-03-28 ソニー株式会社 ストリーム生成装置、撮像装置、およびストリーム生成方法
JP2008301090A (ja) 2007-05-30 2008-12-11 Ricoh Co Ltd 画像処理装置
JP4442644B2 (ja) * 2007-06-15 2010-03-31 株式会社デンソー パイプライン演算装置
JP4909839B2 (ja) * 2007-08-20 2012-04-04 株式会社リコー 画像処理装置及び画像処理方法
JP2009087202A (ja) * 2007-10-02 2009-04-23 Hitachi High-Technologies Corp 画像処理部及び半導体検査装置
JP5395383B2 (ja) 2008-08-21 2014-01-22 株式会社東芝 パイプライン演算プロセッサを備える制御システム
JP2010073037A (ja) * 2008-09-19 2010-04-02 Kyocera Mita Corp 画像処理装置
JP5245803B2 (ja) * 2008-12-18 2013-07-24 株式会社リコー 画像処理装置及び画像処理モジュール
JP5552855B2 (ja) * 2010-03-19 2014-07-16 富士ゼロックス株式会社 画像処理装置、画像形成システム及び画像処理プログラム
US8650151B2 (en) * 2011-01-24 2014-02-11 International Business Machines Corporation Transactional service pipeline
JP2013196509A (ja) * 2012-03-21 2013-09-30 Canon Inc 情報処理装置及びその制御方法
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
JP6141062B2 (ja) * 2013-03-18 2017-06-07 株式会社Pfu データ処理装置及びクロック供給方法
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
JP6580380B2 (ja) * 2015-06-12 2019-09-25 オリンパス株式会社 画像処理装置および画像処理方法
WO2017149591A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 画像処理装置
JP6722278B2 (ja) * 2016-04-11 2020-07-15 オリンパス株式会社 画像処理装置
WO2019021344A1 (ja) * 2017-07-24 2019-01-31 オリンパス株式会社 画像処理装置および撮像装置
US10509762B2 (en) * 2018-04-30 2019-12-17 Intel IP Corporation Data rate-adaptive data transfer between modems and host platforms

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2557560A2 (en) * 2011-08-08 2013-02-13 Samsung Electronics Co., Ltd. Display device and driving method thereof

Also Published As

Publication number Publication date
US20200005425A1 (en) 2020-01-02
US20200143508A1 (en) 2020-05-07
US11468539B2 (en) 2022-10-11
CN110678897A (zh) 2020-01-10
WO2019021344A1 (ja) 2019-01-31
WO2019021793A1 (ja) 2019-01-31
CN110678897B (zh) 2022-09-27
CN110366740A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
CN110366740B (zh) 图像处理装置和摄像装置
JP6123274B2 (ja) 撮像装置
US20140071245A1 (en) System and method for enhanced stereo imaging
US9807303B2 (en) Information processing apparatus, information processing method, and program
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
JP2007124088A (ja) 画像撮影装置
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US20180270448A1 (en) Image processing system
US20180191940A1 (en) Image capturing device and control method thereof
US9007479B2 (en) Imaging apparatus and evaluation value generation apparatus
JP2013165488A (ja) 画像処理装置、撮像装置、およびプログラム
JP2004312073A (ja) 画像処理装置及びカメラ
US8908060B2 (en) Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
JP3709362B2 (ja) ディジタルカメラ装置
JP2014078919A (ja) 撮像装置
US20220021852A1 (en) Color fringing processing independent of tone mapping
JP2016040883A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2020088419A (ja) 撮像装置、画像補正方法、プログラム
US11847807B2 (en) Image processing system and processing method of video stream
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
US20230222765A1 (en) Image processing device, image processing method, and storage medium
JP6764572B2 (ja) イメージセンサ、および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant