CN112262571B - 图像处理装置和摄像装置 - Google Patents

Abstract

图像处理装置(1)包括前处理部(10)和主处理部(30)。前处理部(10)通过进行从摄像装置(91)输出的Bayer数据的前处理而生成前处理数据，并将所生成的前处理数据输出。主处理部(30)基于前处理数据进行图像处理。

Description

图像处理装置和摄像装置

技术领域

本发明涉及图像处理装置和摄像装置。

背景技术

图像处理装置通过对从摄像装置发送的Bayer数据进行图像处理而生成图像处理数据。在这样的图像处理中，例如，进行(1)由Bayer数据到RGB数据的转换，(2)由RGB数据到灰度等级数据的转换，(3)由灰度等级数据到图像处理数据的转换等各处理。

此外，在专利文献1中公开有一种数据处理装置，其RAW数据压缩处理部包括：将包含由多比特形成的多种信息数据的输入数据按各同种类的信息数据区分为多个组的数据区分部；提取由数据区分部区分后的各组的信息数据的最大值的最大值提取部；和比特削减位置决定部，其基于由最大值提取部提取的最大值，按组内的同种类信息数据决定相同的比特的削减位置，并根据该决定削减相同的比特。由此，能够抑制处理时间和电路规模的增大并且抑制画质劣化。

现有技术文献

专利文献

专利文献1：日本特开2012-222453号公报

发明内容

发明所要解决的问题

这些图像处理主要由CPU(Central Processing Unit：中央处理器)执行。但是，由于进行频繁进行存储器存取等低效的处理，存在图像处理所需的时间长的问题。

本发明是鉴于上述的现有技术中的问题完成的，其目的在于使图像处理高速化。

用于解决问题的技术方案

对本申请中公开的发明中，代表性的概要简单说明如下。

本发明的代表性实施方式的图像处理装置包括前处理部和设置在前处理部的后级的主处理部。前处理部生成对从摄像装置输出的Bayer数据进行前处理而得到的前处理数据，并将所生成的前处理数据输出至主处理部。主处理部基于前处理数据进行图像处理。

发明的效果

对由本申请中公开的发明中代表性的内容得到的效果简单说明如下。

即，根据本发明的代表性的实施方式，能够使图像处理高速化。

附图说明

图1是表示本发明的实施方式1的图像处理装置的结构的一个例子的图。

图2是表示前处理部的结构的详细情况的图。

图3是表示比特选择部的选择比特的例子的图。

图4是表示转换表的结构的具体例的图。

图5是表示RGB-浓度转换设定画面的一个例子的图。

图6是表示数据排列转换的例子的图。

图7是说明数据叠加部20的动作例的图。

图8是表示本发明的实施方式2的图像处理装置的结构的一个例子的图。

图9是表示本发明的实施方式3的有效比特的自动选择方法的一个例子的流程图。

图10是表示有效比特的自动选择的一个例子的图。

图11是表示本发明的实施方式4的摄像装置的结构的一个例子的图。

具体实施方式

以下，使用附图说明本发明的实施方式的例子。另外，以下说明的实施方式是用于实现本发明的一个例子，应该根据应用本发明的装置的结构和各种条件适当地修正或变更，本发明并不限定于以下的实施方式。此外，也可以将后述的各实施方式的一部分适当地组合而构成。

(实施方式1)

＜图像处理装置的结构＞

图1是表示本发明的实施方式1的图像处理装置的结构的一个例子的图。如图1所示，图像处理装置1包括前处理部10、数据叠加部20、主处理部30。此外，在图1中，还一并表示摄像装置(摄像机)91、摄像机I/F93、存储95。摄像机I/F93的输入端与摄像装置91连接，输出端与前处理部10的输入端和数据叠加部20的第1输入端连接。

摄像机I/F93输入从摄像装置91输出的Bayer数据，对前处理部10和数据叠加部20输出。摄像装置91例如输出8比特的Bayer数据。在图1中，例如除摄像装置91以外的各功能块搭载于同一图像处理板。

＜＜前处理部＞＞

图2是表示前处理部的结构的详细情况的图。前处理部10是进行Bayer数据的前处理的功能块。如图2所示，前处理部10包括RGB数据转换部11、RGB-浓度转换部13、数据排列转换部15、多路调制器17。前处理部10例如由FPGA(field-programmable gate array：现场可编程门阵列)构成。此外，前处理部10也可以与摄像机I/F93和后述的数据叠加部20一起以同一基片上的FPGA构成。

＜＜＜RGB数据转换部＞＞＞

RGB数据转换部11的输入端与摄像机I/F93的输出端连接。此外，RBG数据转换部11的输出端与RGB-浓度转换部13的输入端和多路调制器17的第1输入端连接。RGB数据转换部11是和Bayer数据转换为RGB数据的功能块。RGB数据转换部11例如将Bayer数据转换为24比特(3色×8比特)的RGB数据。RGB数据转换部11将RGB数据(DATA1)对RGB-浓度转换部13和多路调制器17输出。

＜＜＜RGB-浓度转换部＞＞＞

RGB-浓度转换部13进行将RGB数据转换为灰度等级的数据的处理。RGB-浓度转换部13的输出端与多路调制器17的第2输入端和数据排列转换部15的第2输入端连接。RGB-浓度转换部13是通过调节RGB各色的浓度，将RGB数据转换为灰度等级数据，将所生成的灰度等级数据(DATA2)对多路调制器17输出的功能块。RGB-浓度转换部13如图2所示那样，包括比特选择部13a、转换表(LUT)13b。比特选择部13a的输入端与RGB数据转换部11的输出端连接。比特选择部13a的输出端与转换表13b的输入端连接。转换表13b的输出端与数据排列转换部15的输入端和多路调制器17的第2输入端连接。

比特选择部13a是生成从RGB数据中选择了规定个数的比特的选择比特数据的功能块。比特选择部13a根据被拍摄体的色彩生成使各色的比率不同的选择比特数据。例如，比特选择部13a从24比特的RGB数据选择18比特作为有效比特，从所选择的有效比特生成选择比特数据。

具体而言，如果是要强调偏红色调的被拍摄体，则比特选择部13a以使红色(R)的比特数多使另外的绿色(G)和蓝色(G)的比特数少，使得总比特数成为规定个数(例如18比特)的方式，选择比特即可。其它色调强的情况也一样。

图3是表示比特选择部的选择比特的例子的图。在图3中表示3个例子。图3的1～2均表示各色的比特数为6比特而同数的情况下的例子。首先，在1的例子中，选择各色的上级6比特，R[7：2]，G[7：2]，B[7：2]。在该例中，分别选择各色中的色调强的部分。接着，在2的例子中，选择各色的下级6比特，R[5：0]，G[5：0]，B[5：0]。在该例中，分别选择各色中的色调被抑制的部分。

然后，在3的例子中，分别选择红色(R)全部8比特R[7：0]，绿色(G)和蓝色(B)的上级5比特G[7：3]、B[7：3]。在该例中，以强调偏红色调的方式选择各色的比特。如此，削减这以后的处理中的数据的比特数，减少处理的数据量。

转换表13b将在比特选择部13a生成的选择比特数据转换为少于规定个数的比特数的灰度等级数据。例如，转换表13b将18比特的选择比特数据转换为8比特的灰度等级数据。转换表13b例如由作为SRAM(Static Random Access Memory：静态随机存取存储器)的一种的DPRAM(Dual Ported RAM：双埠随机存取存储器)构成。而且，在DPRAM中存储有LUT(Look up Table：查找表)。LUT是由比特选择部13a选择的选择比特的地址转换为规定的数据(灰度等级数据)的表。

图4设备转换表的结构的具体例的图。图4的(a)是表示DPRAM的输入输出的具体例的图。图4的(b)是表示LUT的具体例的图。图4的(c)是对使转换数据不同时的转换前数据与转换后数据进行对比的图。

如图4的(a)所示，在DPRAM的输入侧设置有PortA和PortB。PortA例如与后述的主处理部的CPU总线连接，用于构成LUT的转换数据的设定等。PortB与比特选择部13a连接，用于选择比特数据的输入等。在DPRAM的输出侧设置有DoutA和DoutB。从其中DoutB输出由LUT转换后的灰度等级数据。

如图4的(b)所示，LUT是使RGB数据的各比特的地址与按每个地址设定的规定的转换数据对应的表。即，如果RGB数据为24比特，则在LUT按每比特设定24种转换数据。

例如，如图4的(b)所示，如果选择地址“0x00000”、“0x00002”、“0x3FFFC”的比特，则各个地址转换为规定的转换数据“0x01”、“0x03”、“0xFC”。这样，在转换表13b，转换为比特数少的数据。另外，转换数据能够由CPU任意地设定。如图4的(c)所示，根据转换数据，转换后的数据各不相同，不过转换后的数据的比特数相同(例如8比特)。

图5是表示RGB-浓度转换设定画面的一个例子的图。该RGB-浓度转换设定画面例如在与后述的主处理部的影像输出I/F连接的外部监视器(省略图示)显示。

在RGB-浓度转换设定画面，例如显示转换前图像数据显示区域、转换后图像数据显示区域、RGB有效比特设定区域、转换表设定区域等。

在RGB有效比特设定区域，显示用于从24比特选择有效的18比特的、各色的比特选择画面。在转换前图像数据显示区域，显示RGB-浓度转换前的24比特的图像数据。即，在转换前图像数据显示区域，显示用于模拟RGB-浓度转换的图像数据。此处显示的图像数据基于RGB数据，因此为彩色显示。另外，能够通过参照按钮进行图像数据的选择。

另一方面，在转换后图像数据显示区域，显示RGB-浓度转换后的8比特的图像数据。即，在转换后图像数据显示区域，显示基于在RGB有效比特设定区域选择的比特的RGB-浓度转换模拟后的图像数据。此处显示的图像数据为灰度等级显示。另外，通过更新按钮执行RGB-浓度转换。

在RGB有效比特设定区域，显示用于从24比特选择有效的18比特的各色的比特选择画面。当点击自动(Auto)按钮时，自动进行转换前图像数据(例如24比特)的颜色分布的解析，基于解析结果选择最优的有效比特。

在转换表设定区域，设定RGB-浓度转换用的转换表。例如，当选择“预设定1～3”时，预先设定的转换表成为选择状态，执行基于所选择的转换表的RGB-浓度转换。另一方面，当通过用户设定按钮选择“用户设定”时，显示用户独自的转换表设定画面，执行基于由用户设定的转换表的RGB-浓度转换。

在RGB-浓度转换设定画面的上部，设置有保存按钮和取消按钮。当点击保存按钮时，保存有效比特和转换表的设定。此外，也可以在保存处理结束后，转移至上级画面。当点击取消按钮时，这些设定不被保存。此外，也可以在取消处理结束后转移至上级画面。

＜＜＜数据排列转换部＞＞＞

如图2所示，数据排列转换部15的第1输入端与摄像机I/F93的输出端连接。数据排列转换部15的第2输入端与转换表13b的输出端连接。数据排列转换部15的输出端与多路调制器17的第3输入端连接。

数据排列转换部15是转换灰度等级数据、Bayer数据的数据排列而生成排列转换数据的功能块。例如，数据排列转换部15将2维排列的灰度等级数据转换为1维排列的排列转换数据。此外，数据排列转换部15也可以将2维排列的Bayer数据转换为1维排列的排列转换数据。另外，数据排列转换部15仅转换灰度等级数据等数据排列，在数据排列转换前后，数据的比特数不发生变动。即，例如，转换前为8比特的灰度等级数据或Bayer数据在变化后也为8比特的排列转换数据。数据排列转换部15将转换后的1维排列的排列转换数据(DATA3)对多路调制器17输出。

图6是表示数据排列转换的例子的图。在图6分别表示“3×3卷积高速化支持格式”、“Bayer数据转换高速化支持格式”的例子。在“3×3卷积高速化支持格式”中，例如将3×3的2维排列的灰度等级数据转换为1×9的1维排列的灰度等级数据(排列转换数据)。

具体而言，以图6的转换前数据的左上的3×3的2维数据为例进行说明。另外，给各比特分配编号。数据排列转换部15首先选择处于左列的第“1”“16”“31”个比特，将这些比特数据沿横向依次排列。接着，数据排列转换部15选择处于中列的第“2”“17”“32”个比特，将这些比特数据在第“31”个比特数据后依次排列。然后，数据排列转换部15选择处于右列的第“3”“18”“33”个比特，将这些比特数据在第“32”个比特数据后依次排列。这样，数据排列转换部15将最初的3×3的2维排列的数据转换为1维排列的数据。

然后，数据排列转换部15依次选择3×3的2维数据，在前一个比特数据之后依次排列转换后的比特数据。这样，数据排列转换部15将所有3×3的2维排列的数据转换为1维排列的数据。

接着，说明“Bayer数据转换高速化支持格式”。“Bayer数据转换高速化支持格式”转换Bayer数据的数据排列。这样，数据排列转换部15也可以转换Bayer数据的数据排列。在“3×3卷积高速化支持格式”中，按每1列将比特数据转换为1维排列的数据，在“Bayer数据转换高速化支持格式”中，按每1行将比特数据转换为1维排列的数据。

具体而言，数据排列转换部15选择处于上级(第1列)的第“1G”“1R”“2G”个比特，将这些比特数据沿横向依次排列。另外，对数字添加的符号表示各比特的颜色。接着，数据排列转换部15选择处于中级(第2行)的第“1B”“7G”“2B”个比特，将这些比特数据在第“2G”个比特数据后依次排列。然后，数据排列转换部15选择处于下级(第3行)的第“13G”“7R”“14G”个比特，将这些比特数据在第“2B”个比特数据后依次排列。以下的处理因为相同所以省略说明。另外，既可以通过“3×3卷积高速化支持格式”转换Bayer数据的数据排列，也可以通过“Bayer数据转换高速化支持格式”转换RGB数据等数据排列。

另外，在图6中表示3×3的2维排列的灰度等级数据转换为1×9的1维排列的灰度等级数据的情况，不过并不限定于这样的情况。例如，也可以是5×5的2维排列的灰度等级数据转换为1×25的1维排列的灰度等级数据，还可以是大小更大的2维排列的灰度等级数据转换为1维排列的灰度等级数据。

＜＜＜多路调制器＞＞＞

多路调制器17的输出端与数据叠加部20的第2输入端连接。多路调制器17取RGB数据、灰度等级数据和数据排列转换数据输入，选择它们中的任一种数据，将所选择的数据作为前处理数据对数据叠加部20输出。在图1中，表示选择灰度等级数据，作为前处理数据输出的情况。

这样，前处理部10输出所生成的前处理数据。另外，多路调制器17例如既可以基于从CPU输出的信号选择数据，也可以基于用户的指示选择数据。

＜＜数据叠加部＞＞

数据叠加部20设置在前处理部10与主处理部30之间。数据叠加部20的输出端与主处理部30的输入端连接。数据叠加部20与主处理部30例如经影像总线连接。数据叠加部20生成将Bayer数据与前处理数据叠加的叠加数据并将所生成的叠加数据向主处理部30输出。在图1表示Bayer数据与灰度等级数据叠加的情况。

在数据叠加部20的第1输入端，例如输入8比特的Bayer数据。而且，在数据叠加部20的第2输入端，例如输入8比特的灰度等级数据、8比特的排列转换数据、24比特的RGB数据中的任一种数据。因此，数据叠加部20输出使Bayer数据与灰度等级数据或排列转换数据叠加的、例如16比特的叠加数据。或者，数据叠加部20输出使Bayer数据与RGB数据叠加的32比特的叠加数据。

图7是说明数据叠加部20的动作例的图。图7的(a)是表示与Bayer数据和前处理数据同时输出的情况下的动作的图。图7的(b)是表示将Bayer数据与前处理数据交替输出的情况下的动作的图。在图7的(a)中，影像总线宽度例如为32比特。在这种情况下，因为与作为叠加数据的最大比特数的32比特也能够对应，所以数据叠加部20将Bayer数据和前处理数据并行输出。具体而言，数据叠加部20与影像同步信号(水平同步信号)同步输出叠加数据。

另一方面，在图7的(b)中，影像总线宽度例如为8比特。在这种情况下，因为能够与作为叠加数据的最小比特数的16比特对应，所以数据叠加部20将Bayer数据与前处理数据交替输出。在这种情况下，数据叠加部20也与水平同步信号同步输出叠加数据。

这样，数据叠加部20根据影像总线宽度和叠加数据的比特数选择数据输出的格式。

＜＜主处理部＞＞

如图1所示，主处理部30包括影像输入I/F31、存储器控制器33、图像存储器35、CPU37、影像输出I/F39、存储I/F41。其中，例如除图像存储器35以外的影像输入I/F31、存储器控制器33、CPU37、影像输出I/F39、存储I/F41作为SoC(System on Chip：片上系统)以1个芯片构成。

影像输入I/F31经影像总线与数据叠加部20连接。影像输入I/F31输入从数据叠加部20输出的叠加数据，向存储器控制器33输出。另外，影像输入I/F31也可以进行从叠加数据分离Bayer数据和前处理数据的处理。在这种情况下，影像输入I/F31也可以将分离出的Bayer数据经存储器控制器33存储至图像存储器35，经存储I/F41存储于外部装置的存储95。

存储器控制器33与影像输入I/F31、CPU37和图像存储器35等功能块连接，进行这些功能块间的各种数据的输入输出。例如，存储器控制器33输入从影像输入I/F31输出的叠加数据，将叠加数据分离为Bayer数据与前处理数据(在图1中为灰度等级数据)。而且，存储器控制器33将分离出的Bayer数据和前处理数据存储于图像存储器35。此外，存储器控制器33也可以将Bayer数据存储于存储95。

此外，存储器控制器33基于来自CPU37的请求，例如从图像存储器35读取灰度等级数据并将其输出至CPU37。此外，存储器控制器33从CPU37读取由CPU37的图像处理生成的图像处理数据，存储于图像存储器35。进一步，存储器控制器33例如从图像存储器读取图像处理数据，经影像输出I/F39输出至外部装置。该外部装置例如还包括基于图像处理数据进行蔬果等农产品和工业制品等检查对象物的分拣工作(检查工作)的装置。

图像存储器35是存储Bayer数据、前处理数据、图像处理数据等关于图像处理的各种数据的功能块。图像存储器35例如包括DRAM(Dynamic RAM：动态随机存取存储器)等易失性存储器，在易失性存储器中存储这些数据。

此外，CPU37进行图像处理装置1的各功能块的控制。除此以外，CPU37还基于在前处理部10生成的前处理数据进行图像处理。在图1的例子中，CPU37基于作为前处理数据输出的灰度等级数据进行图像处理，生成图像处理数据。所生成的图像处理数据存储于图像存储器35。这样，CPU37使用前处理后的数据进行图像处理，因此减轻了图像处理的负荷。

在本实施方式中，至前处理完成为止，CPU37不能进行关于同一Bayer数据的图像处理。但是，在利用摄像装置91连续进行摄像的情况下，例如在CPU37进行关于前一个Bayer数据的图像处理之间，前处理部10能够进行下一个Bayer数据的前处理。由此，能够降低CPU37的负荷，并且实现图像处理的高速化。

影像输出I/F39例如经影像总线与未图示的显示器等外部装置连接。例如图像处理数据等数据经影像输出I/F39对外部装置输出。

存储I/F41例如与HDD(Hard Disk Drive：硬盘驱动器)等存储95连接。例如Bayer数据经存储I/F41对存储95输出。

＜本实施方式的主要的效果＞

根据本实施方式，CPU37基于前处理部10生成的前处理数据进行图像处理。根据该结构，CPU37的图像处理的负荷减轻，因此能够实现图像处理的高速化。此外，由此同时执行CPU37的图像处理与下一次Bayer数据的前处理，因此能够高效地进行多个图像处理。

此外，根据本实施方式，数据排列转换部15转换Bayer数据或灰度等级数据的数据排列来生成排列转换数据。例如，数据排列转换部将3×3、2维排列的灰度等级数据转换为1×9的1维排列的排列转换数据。根据该结构，通过灰度等级数据的数据排列转换为1维排列，对图像存储器35的访问高效化。此外，由此，CPU37的图像处理的负荷被减轻，图像处理高速化。

此外，根据本实施方式，多路调制器17选择RGB数据、灰度等级数据和排列转换数据中的任一种数据，将所选择的数据作为前处理数据输出。根据该结构，能够从处理程度不同的多个前处理数据选择所需的数据，因此能够更有效率地进行图像处理。

此外，根据本实施方式，比特选择部13a例如从24比特的RGB数据生成18比特的选择比特数据。根据该结构，能够抑制比特选择部13a、转换表13b的电路规模。此外，选择比特数据的生成时间缩短，前处理所需的时间缩短。

此外，因为比特选择部13a能够根据被拍摄体的色彩选择任意的18比特，所以能够不使重要的颜色信息劣化地进行RGB-浓度转换。此外，通过该比特选择，能够减少这以后的处理(例如RGB-浓淡转换处理)中的数据的比特数，因此能够减少处理的数据量，实现处理的高速化，能够进一步降低转换表13b的电路规模或抑制电路规模增大。

此外，根据本实施方式，转换表13b例如从18比特的选择比特数据转换为8比特的灰度等级数据。此时，转换表13b参照LUT，将由比特选择部13a选择的选择比特的地址转换为规定的转换数据。根据该结构，前处理所需的时间缩短。

此外，根据本实施方式，数据叠加部20向主处理部输出将Bayer数据与前处理数据叠加而得到的叠加数据。根据该结构，转换前的Bayer数据也转发至主处理部30，因此能够保存图像处理前的生数据，还能够应对可追溯性需求。

(实施方式2)

接着说明实施方式2。在实施方式1中，灰度等级数据从前处理部10输出，在本实施方式中，对Bayer数据的排列转换数据作为前处理数据输出的情况进行说明。

图8是表示本发明的实施方式2的图像处理装置的结构的一个例子的图。图8与图1类似，不过在输出Bayer数据的排列转换数据这点上不同。此外，图8的存储在图像存储器35的数据与图1不同。

数据叠加部20将Bayer数据与从多路调制器17输出的Bayer数据的排列转换数据叠加，将叠加数据对主处理部30输出。由此，在图像存储器35存储Bayer数据和Bayer数据的排列转换数据。

CPU37基于Bayer数据的排列转换数据生成RGB数据。而且，CPU37例如通过基于RGB数据依次生成灰度等级数据、图像处理数据来进行图像处理。

这样，在CPU37的能力有富余的情况下和要在CPU37也进行RGB数据的生成的情况下基于Bayer数据的排列转换数据进行图像处理即可。通过使用Bayer数据的排列转换数据，CPU37的负荷减轻，因此图像处理高速化。此外，在本实施方式中也能够获得已说明的实施方式1中的各效果。

(实施方式3)

接着说明实施方式3。在本实施方式中说明自动进行RGB-浓度转换中的有效比特选择的方法。这样的有效比特的自动选择例如适合用于在对品种不同的多个农产品等检查对象物、连续进行分拣工作的情况。

在图5的浓度转换设定画面的RGB有效比特设定区域设置有自动(Auto)按钮。当点击该按钮时，自动进行有效比特的选择。图9是表示本发明的实施方式3的有效比特的自动选择方法的一个例子的流程图。在有效比特的自动选择中，例如进行图9所示的步骤S10～S50的处理。

首先，在步骤S10中进行颜色直方图处理。具体而言，分析转换前的图像数据(例如RGB数据)中的RGB各色的出现频率、浓度分布。然后，在步骤S20中，基于步骤S10的分析结果，选择成为有效比特的候选项的18比特。接着，在步骤S30中，进行基于在步骤S20中选择的18比特的图像识别。然后，在步骤S40中，判断步骤S20～S30的处理是否执行了规定次数。

在未达到规定次数的情况下(否)，返回步骤S20对选择比特进行微调，并且选择下一个候选的18比特，在步骤S30进行图像识别。另外，规定次数个图像识别结果留作参考。然后，当达到规定次数时(是)，转移至步骤S50。而且，在步骤S50中，基于各次的图像识别结果决定最优的18比特。

另外，所决定的18比特被实时反映，转换表13b输出与所反映的18比特对应的转换数据。

图10是表示有效比特的自动选择的一个例子的图。在图10中，向规定的输送方向连续输送品种1的检查对象物和品种2的检查对象物。例如，品种1的色彩为绿色较强，品种2的色彩为红色较强。

在这种情况下，对于品种1，例如选择R[1：0]、G[7：0]、B[7：0]的18比特。此外，对于品种2，例如选择R[7：0]、G[7：0]、B[1：0]的18比特。这些选择比特只不过是一个例子，有时还会受到照明等检查场所的环境的影响。

在图像处理装置1，按每个品种或每个检查对象物切换选择比特。由此，不使输送装置停止地、连续进行地不同品种的分拣工作。

在本实施方式中也能够获得与以上的各实施方式同样的效果。

(实施方式4)

接着说明实施方式4。在本实施方式中，说明组装有前处理部的摄像装置。图11是表示本发明的实施方式4的摄像装置的结构的一个例子的图。如图11所示，摄像装置91包括前处理部10。具体而言，摄像装置91在包括前处理部10的同时还包括数据叠加部20。由此，摄像装置91向主处理部30输出将Bayer数据与前处理数据叠加后的叠加数据。另外，在本实施方式中，不需要图1、图8所示的摄像机I/F93。

在本实施方式中，能够在摄像装置91的内部存储器存储Bayer数据。因此，也可以仅预先进行摄像，在连接摄像装置91与主处理部30之后，进行图像处理。在本实施方式中，也可以获得与之前的各实施方式同样的效果。

在各实施方式中，上述各功能块既可以由电路构成，也可以由软件构成。此外，也可以由电路构成一部分功能块，由软件构成其它功能块。进一步，还可以将各功能块的一部分或全部由CPU或FPGA等集成电路构成，读取存储于CPU或FPGA的内部或外部的存储器的程序而使各功能块的动作执行。

另外，本发明并不限定于上述的实施方式，而包括各种各样的变形例。例如，上述的实施方式为了将本发明说明得容易明白而进行了详细的说明，但是并不一定限定于包括所说明的所有结构。

此外，能够将一个实施方式的结构的一部分替换到另一个实施方式的结构，此外，还能够在一个实施方式的结构中加入另一个实施方式的结构。而且，能够对各实施方式的结构的一部分进行其它结构的追加、删除、替换。

例如，在前处理部不进行数据排列转换的情况下，数据排列转换部也可以删除。在这种情况下，前处理部10将RGB数据或灰度等级数据作为前处理数据输出。

另外，图中记载的各部件和相对的大小为了将本发明说明得容易明白而进行了简化、理想化，实际安装时存在成为更加复杂的形状的情况。

附图标记的说明

1…图像处理装置、10…前处理部、11…RGB数据转换部、13…RGB-浓度转换部、15…数据排列转换部、17…多路调制器、20…数据叠加部、30…主处理部、33…存储器控制器、35…图像存储器、37…CPU、91…摄像装置。

Claims (10)

1.一种图像处理装置，其特征在于：

包括前处理部和主处理部，

所述前处理部对从摄像装置输出的Bayer数据进行前处理来生成前处理数据，并将所生成的所述前处理数据输出，

所述主处理部基于所述前处理数据进行图像处理，

所述前处理部包括将所述Bayer数据转换为RGB数据的RGB数据转换部和通过调节RGB各色的浓度来将所述RGB数据转换为灰度等级数据的RGB-浓度转换部，

将所述RGB数据或所述灰度等级数据作为前处理数据输出，

所述RGB-浓度转换部包括比特选择部和转换表，所述比特选择部从所述RGB数据中选择规定个数的比特并生成由所选择的比特构成的选择比特数据，所述转换表用于将所述选择比特数据转换为比所述规定个数少的比特数的所述灰度等级数据，

其中，所述比特选择部基于所述RGB数据中的RGB各色的出现频率、浓度分布的分析结果，选择作为候选的所述规定个数的比特，并基于所选择的比特实施图像识别，接着判断从所述规定个数的比特的选择到所述图像识别的处理是否执行了规定次数，在判断为未达到规定次数的情况下，调整选择比特再次实施所述图像识别直到判断为执行了规定次数，由此基于各次的图像识别结果来决定最佳的所述规定个数的比特。

2.如权利要求1所述的图像处理装置，其特征在于：

所述前处理部包括转换所述Bayer数据或所述灰度等级数据的数据排列而生成排列转换数据的数据排列转换部，

将所述RGB数据、所述灰度等级数据和所述排列转换数据中的任一者作为前处理数据输出。

3.如权利要求2所述的图像处理装置，其特征在于：

所述前处理部包括以所述RGB数据、所述灰度等级数据和所述排列转换数据作为输入的多路调制器，

所述多路调制器选择所述RGB数据、所述灰度等级数据和所述排列转换数据中的任一者，并将所选择的数据作为前处理数据输出。

4.如权利要求1所述的图像处理装置，其特征在于：

所述比特选择部从24比特的所述RGB数据生成18比特的所述选择比特数据，

所述转换表从所述18比特的选择比特数据转换为8比特的所述灰度等级数据。

5.如权利要求1所述的图像处理装置，其特征在于：

所述转换表包括使由所述比特选择部选择的所述选择比特的地址与规定的转换数据对应的LUT（Look Up Table）。

6.如权利要求1所述的图像处理装置，其特征在于：

所述比特选择部根据被拍摄体的色彩来生成各色的比率不同的所述选择比特数据。

7.如权利要求2所述的图像处理装置，其特征在于：

所述数据排列转换部将2维排列的所述灰度等级数据转换为1维排列的所述排列转换数据。

8.如权利要求7所述的图像处理装置，其特征在于：

所述数据排列转换部将3×3的所述2维排列的所述灰度等级数据转换为1×9的所述1维排列的所述排列转换数据。

9.如权利要求1所述的图像处理装置，其特征在于：

在所述前处理部与所述主处理部之间包括数据叠加部，

所述数据叠加部对所述主处理部输出将所述Bayer数据与所述前处理数据叠加后的叠加数据。

10.一种摄像装置，其特征在于：

包括权利要求1～9中任一项所述的图像处理装置所包含的所述前处理部。

Images