CN113556520A - 图像处理方法、图像处理装置和系统 - Google Patents
图像处理方法、图像处理装置和系统 Download PDFInfo
- Publication number
- CN113556520A CN113556520A CN202110807098.1A CN202110807098A CN113556520A CN 113556520 A CN113556520 A CN 113556520A CN 202110807098 A CN202110807098 A CN 202110807098A CN 113556520 A CN113556520 A CN 113556520A
- Authority
- CN
- China
- Prior art keywords
- information
- color
- pixel
- image information
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 abstract description 7
- 229910052710 silicon Inorganic materials 0.000 abstract description 7
- 239000010703 silicon Substances 0.000 abstract description 7
- 239000003086 colorant Substances 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Abstract
本公开提出一种图像处理方法、装置和系统。图像处理方法，包括：将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；对数字图像信息中的各像素进行双颜色线性插值；根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。本公开实施例的技术方案，可以获得各像素对应的另外两种颜色及亮度信息，不仅可以满足显示装置的显示需求，实现显示装置对图像的显示，而且丰富了各像素的颜色和亮度信息，进一步提高显示效果；本公开的图像处理过程精简化，架构和信号处理简单，减小电路面积，节省功耗，有利于硅基显示和传感的集成。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法、图像处理装置和系统。
背景技术
摄像装置拍摄物体时，被拍摄物体反射的光线传播到镜头，经镜头聚焦到图像传感器(CCD)，图像传感器根据光的强弱积聚相应的电荷，经周期性放电，将光学影像转化为模拟电信号。模拟电信号经过放大电路放大、AGC自动增益控制，然后经过模数转换电路转换为相应的数字电信号，通过数字信号处理芯片将数字电信号按照一定的视频标准处理后，输出至显示器进行输出显示。
现有的摄像装置成像过程复杂，步骤繁多，功耗大，不利于硅基显示和传感的集成。
发明内容
本申请实施例提供一种图像处理方法、图像处理装置和系统，以解决相关技术存在的问题，技术方案如下：
第一方面，本申请实施例提供一种图像处理方法，包括：
将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
对数字图像信息中的各像素进行双颜色线性插值；
根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
在一种实施方式中，对数字图像信息中的各像素进行双颜色线性插值，包括：
根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
在一种实施方式中，根据空白像素周围的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，包括：
计算空白像素的周围像素的亮度信息的平均值；
将平均值赋值为空白像素的亮度信息。
在一种实施方式中，根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号，包括：
根据插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，以进行显示。
在一种实施方式中，根据插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，包括：
将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；
将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；
将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
在一种实施方式中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色。
在一种实施方式中，方法还包括：
将显示信号传输至显示装置的源驱动器，以驱动显示装置进行显示。
在一种实施方式中，方法还包括：
根据反畸变原理，对显示装置显示的图像进行逆变处理，获得与景物一致的虚像。
第二方面，本申请实施例提供一种图像处理装置，包括：
数字图像转换模块，用于将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
插值模块，用于对数字图像信息中的各像素进行双颜色线性插值；
显示信号转换模块，用于根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
在一种实施方式中，插值模块包括：
提取子模块，用于根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
插值子模块，用于对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
在一种实施方式中，插值子模块包括：
计算单元，用于计算空白像素的周围像素的亮度信息的平均值；
赋值单元，用于将平均值赋值为空白像素的亮度信息。
在一种实施方式中，
显示信号转换模块还用于将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
第三方面，本申请实施例提供一种图像处理系统，包括本公开任一实施例中的图像处理装置，还包括显示装置和反畸变透镜装置，
显示装置用于接收显示信号，并根据显示信号进行显示；
反畸变透镜装置用于接收显示装置显示的图像，并使用户观看到与景物相一致的虚像。
本公开实施例的技术方案，数字图像信息中各像素包括一种颜色及亮度信息，为了满足显示装置的显示需求，通过对数字图像信息中的各像素进行双颜色线性插值，可以获得各像素对应的另外两种颜色及亮度信息，不仅可以满足显示装置的显示需求，实现显示装置对图像的显示，而且丰富了各像素的颜色和亮度信息，进一步提高显示效果。本公开实施例的图像处理过程精简化，架构和信号处理简单，减小电路面积，节省功耗，有利于硅基显示和传感的集成。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为相关技术中摄像头成像数字信号处理的流程示意图；
图2为本公开一实施例中图像处理方法的流程图；
图3为本公开一实施例中数字图像信息的示意图；
图4a为图3所示数字图像信息对应的第一颜色图像信息；
图4b为图4a对应的插值后的第一颜色图像信息；
图5a为图3所示数字图像信息对应的第二颜色图像信息；
图5b为图5a对应的插值后的第二颜色图像信息；
图6a为图3所示数字图像信息对应的第三颜色图像信息；
图6b为图6a对应的插值后的第三颜色图像信息；
图7为本公开一实施例中图像处理装置的结构示意图；
图8为本公开另一实施例中图像处理装置的结构示意图；
图9为本公开另一实施例中图像处理装置的结构示意图；
图10为本公开一实施例中图像处理系统的结构示意图；
图11为本公开一实施例中图像处理系统的信号处理流程示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1为相关技术中摄像头成像数字信号处理的流程示意图。如图1所示，摄像头成像的过程可以包括以下几个阶段：
第一阶段：景物反射的光线通过摄像装置的镜头(Lens)生成光学图像，光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(Bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布。
第二阶段：图像传感器接收光学图像后，将光信号转化为模拟电信号；光电转换模块中的采样电路采集模拟电信号后，经过模拟前端(AFE)，并进行消噪处理，然后模数转换电路(ADC)将模拟信号转换为数字信号并输出。
第三阶段：从图像传感器输出的图像为Bayer图像，在转变为数字图像信号后，对数字图像信号进行黑电平补偿(Black Level Compensation，BLC)、镜头矫正(LensShading Correction，LSC)、坏像素矫正(Bad Pixel Correction，BPC)、颜色插值(Demosaic)、Bayer噪声去除(Denoise)、白平衡(AWB)矫正等，然后通过I/O接口传输到AP/CPU，反馈给摄像头进行物理调整。
第四阶段：在物理调整之后，将调整完后产生的图像经过数字信号处理，增加色彩校正(Color Correction)、Gamma矫正、色彩空间转换(RGB转换为TUV)、在YUV色彩空间彩色转换去除噪声与边缘加强(Sharp)、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出YUV(或者RGB)格式的数据，将数据传递给图形处理器(Graphics Processing Unit，GPU)生成显示图像的数字信息。
第五阶段：数字信息经由mipi传输给时序控制器(TCON)形成显示方案，分配给源驱动器(Source Driver)完成数模转换，驱动显示装置进行显示。
第六阶段：显示内容在透镜作用下形成虚像，以便人眼观看，完成景物的显示。
通过以上可知，相关技术中，摄像头成像数字信号处理流程复杂、步骤繁多，功耗大，不利于硅基显示和传感的集成。
图2为本公开一实施例中图像处理方法的流程图。在一种实施方式中，如图2所示，图像处理方法可以包括：
S100、将与景物对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
S200、对数字图像信息中的各像素进行双颜色线性插值；
S300、根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
示例性地，在将与景物对应的光学图像信息转换为数字图像信息之前，图像处理方法还可以包括采集与景物相对应的光学图像信息。景物反射的光线通过摄像装置的镜头(Lens)进入摄像头内部，处理后经过红外滤光片(IR Filter)过滤红外光，生成光学图像。光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(Bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布，光学图像信息也呈拜耳排布。光学图像信息包括各像素的颜色信息和光强信息。
示例性地，图像传感器接收到光学图像信息后，进行光电转换，例如，图像传感器中的采样电路采集光学图像后将光学图像转换为模拟图像信号，经过模拟前端(AFE)，并进行消噪处理，然后模数转换电路将模拟图像信号转换为数字图像信号，并输出数字图像信息。由于光学图像信息呈拜耳排布，获得的数字图像信息呈拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息。
示例性地，为了使得数字图像与显示装置的像素相匹配，图像传感器的排布可以与显示装置的像素排布方式相同，便于数字图像信息与显示装置的显示信号之间无损转换。
图3为本公开一实施例中数字图像信息的示意图。如图3所示，数字图像信息具有拜耳特性。示例性地，图3中的数字图像包括5行5列像素，每个像素具有对应的颜色信息和亮度信息，例如，第一行第一列像素对应的颜色信息为绿色，对应的亮度信息为G1,1；第三行第二列像素对应的颜色信息为红色，对应的亮度信息为R3,2；第二行第三列像素对应的颜色信息为蓝色，对应的亮度信息为B2,3。
如图3所示，每个像素包括一种颜色，因此，对各像素进行双颜色线性插值，以便获得各像素中其它两种颜色的亮度信息。例如，第一行第一列像素包括绿色、亮度信息为G1,1。为了符合显示装置的R、G、B信号，需要对第一行第一列像素进行双颜色线性插值，以便获得第一行第一列像素对应的红色亮度信息和蓝色亮度信息。
本公开实施例的图像处理方法，数字图像信息中各像素包括一种颜色及亮度信息，为了满足显示装置的显示需求，通过对数字图像信息中的各像素进行双颜色线性插值，可以获得各像素对应的另外两种颜色及亮度信息，不仅可以满足显示装置的显示需求，实现显示装置对图像的显示，而且丰富了各像素的颜色和亮度信息，进一步提高显示效果。
本公开实施例的图像处理方法，数字处理过程相比于图1所示过程精简化，有利于硅基显示和传感的集成，架构和信号处理简单，减小电路面积，节省功耗和硅基显示背板显示面积。
在一种实施方式中，对数字图像信息中的各像素进行双颜色线性插值，包括：根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
示例性地，第一颜色可以为红色，第二颜色可以为绿色，第三颜色可以为蓝色。可以理解的是，第一颜色、第二颜色和第三颜色并不限于以上列出的颜色，还可以为其它颜色。
图4a为图3所示数字图像信息对应的第一颜色图像信息。示例性地，根据第一颜色(红色)的颜色信息，从图3所示数字图像信息中提取各像素对应的红色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息，如图4a所示。示例性地，从图3所示数字图像信息中，将红色像素的亮度信息提取出来，例如，图3中，第一行第一列像素由于不包含红色信息，所以，在第一颜色图像信息中，第一行第一列像素为空白像素；第一行第二列像素包含红色信息，所以，在第一颜色图像信息中，第一行第二列像素为红色，对应的亮度信息为R1,2；第二行第一列像素由于不包含红色信息，所以，在第一颜色图像信息中，第二行第一列像素为空白像素。
图5a为图3所示数字图像信息对应的第二颜色图像信息。示例性地，根据第二颜色(绿色)的颜色信息，从图3所示数字图像信息中提取各像素对应的绿色的亮度信息，以生成与数字图像信息相对应的第二颜色图像信息，如图5a所示。示例性地，从图3所示数字图像信息中，将绿色像素的亮度信息提取出来，例如，图3中，第一行第一列像素包含绿色信息，所以，在第二颜色图像信息中，第一行第一列像素为绿色，对应的亮度信息为G1,1；第一行第二列像素不包含绿色信息，所以，在第二颜色图像信息中，第一行第二列像素为空白像素；第二行第一列像素由于不包含绿色信息，所以，在第二颜色图像信息中，第二行第一列像素为空白像素。
图6a为图3所示数字图像信息对应的第三颜色图像信息。示例性地，根据第三颜色(蓝色)的颜色信息，从图3所示数字图像信息中提取各像素对应的蓝色的亮度信息，以生成与数字图像信息相对应的第三颜色图像信息，如图6a所示。示例性地，从图3所示数字图像信息中，将蓝色像素的亮度信息提取出来，例如，图3中，第一行第一列像素不包含蓝色信息，所以，在第三颜色图像信息中，第一行第一列像素为空白像素；第一行第二列像素不包含蓝色信息，所以，在第三颜色图像信息中，第一行第二列像素为空白像素；第二行第一列像素包含蓝色信息，所以，在第三颜色图像信息中，第二行第一列像素为蓝色，对应的亮度信息为B2,1。
可以理解的是，对于显示装置，每个像素可以包括红色子像素、绿色子像素和蓝色子像素，为了满足显示装置的显示需求，需要获得每个像素对应的各子像素的亮度信息。
示例性地，对于第一颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第一颜色图像信息中的第三行第三列空白像素，该空白像素的周围像素包括第三行第二列像素和第三行第四列像素。对于第三行第三列空白像素，可以根据第三行第二列像素的亮度信息R3,2和第三行第四列像素的亮度信息R3,4，对该空白像素进行亮度插值，获得第三行第三列空白像素的亮度信息。
示例性地，对于第二颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第二颜色图像信息中的第三行第四列空白像素，该空白像素的周围像素包括第三行第三列像素、第二行第四列像素、第三行第五列像素和第四行第四列像素。对于第三行第四列空白像素，可以根据第三行第三列像素的亮度信息G3,3、第二行第四列像素的亮度信息G2,4、第三行第五列像素的亮度信息G3,5和第四行第四列像素的亮度信息G4,4，对该空白像素进行亮度插值，获得第三行第四列空白像素的亮度信息。
示例性地，对于第三颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第三颜色图像信息中的第三行第四列空白像素，该空白像素的周围像素包括第二行第三列像素、第二行第五列像素、第四行第三列像素和第四行第五列像素。对于第三行第四列空白像素，可以根据第二行第三列像素的亮度信息B2,3、第二行第五列像素的亮度信息B2,5、第四行第三列像素的亮度信息B4,3和第四行第列列像素的亮度信息B4,5，对该空白像素进行亮度插值，获得第三行第四列空白像素的亮度信息。例如，对于第三颜色图像信息中的第三行第三列空白像素，该空白像素的周围像素包括第二行第三列像素和第四行第三列像素。对于第三行第三列空白像素，可以根据第二行第三列像素的亮度信息B2,3和第四行第三列像素的亮度信息B4,3，对该空白像素进行亮度插值，获得第三行第三列空白像素的亮度信息。
图4b为图4a对应的插值后的第一颜色图像信息，图5b为图5a对应的插值后的第二颜色图像信息，图6b为图6a对应的插值后的第三颜色图像信息。如图4b、图5b和图6b所示，采用本公开实施例的方法对空白像素进行亮度插值后，获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。在插值后的第一颜色图像信息中，各像素均具有对应的颜色信息和亮度信息；在插值后的第二颜色图像信息中，各像素均具有对应的颜色信息和亮度信息；在插值后的第三颜色图像信息中，各像素均具有对应的颜色信息和亮度信息。
在一种实施方式中，根据空白像素周围的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，包括：计算空白像素的周围像素的亮度信息的平均值；将平均值赋值为空白像素的亮度信息。
示例性地，可以采用类内插法对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第一颜色图像信息中的第三行第三列空白像素，其亮度信息
对于第二颜色图像信息中的第三行第四列空白像素，其亮度信息
对于第三颜色图像信息中的第三行第四列空白像素，其亮度信息
对于第三颜色图像信息中的第三行第三列空白像素，其亮度信息
可以理解的是，对空白像素进行亮度插值时，并不限于将周围像素的亮度信息的平均值作为空白像素的亮度信息。可以根据空白像素的周围像素的亮度信息，采用常用的插值方法进行插值计算，以获得空白像素的亮度信息。
在一种实施方式中，根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号，包括：根据插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素亮度信息，以进行显示。
示例性地，在获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息后，可以将插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息进行融合，获得满足显示装置需求的各像素的子像素亮度信息，以进行显示。例如，根据插值后的第一颜色图像信息中第一行第一列像素的颜色信息和亮度信息、插值后的第二颜色图像信息中第一行第一列像素的颜色信息和亮度信息和插值后的第三颜色图像信息中第一行第一列像素的颜色信息和亮度信息，获得显示装置中第一行第一列像素中各子像素的颜色信息和亮度信息，从而可以更好地对第一行第一列像素进行显示。
在一种实施方式中，可以将插值后的第一颜色图像信息中的各亮度信息作为显示装置中各像素的第一子像素的亮度信息；将插值后的第二颜色图像信息中的各亮度信息作为显示装置中各像素的第二子像素的亮度信息；将插值后的第三颜色图像中的各亮度信息作为显示装置中各像素的第三子像素的亮度信息。
示例性地，将图4b中第一行第一列像素的亮度信息R’1,1作为显示装置中第一行第一列像素中的第一子像素(例如红色子像素)的亮度信息；将图5b中第一行第一列像素的亮度信息G1,1作为显示装置中第一行第一列像素中的第二子像素(例如绿色子像素)的亮度信息；将图6b中第一行第一列像素的亮度信息B’1,1作为显示装置中第一行第一列像素中的第三子像素(例如蓝色子像素)的亮度信息。从而，可以获得显示装置中第一行第一列像素中各子像素的亮度信息，进而获得第一行第一列像素中各子像素的显示信号。
在一种实施方式中，图像处理方法还可以包括：将显示信号传输至显示装置的源驱动器，以驱动显示装置进行显示。
示例性地，将显示信号传输至源驱动器，源驱动器对显示信号进行数模转换，将数字电信号转换为模拟电信号，并经过电平转换(level shift)、数据映射(Data mapping)以及缓冲放大器(OP)后，驱动显示装置进行显示。
在一种实施方式中，图像处理方法还可以包括：根据反畸变原理，对显示装置显示的图像进行逆变处理，获得与景物一致的虚像。
示例性地，景物反射的光线通过摄像装置的镜头(Lens)时，可能会产生一定的畸变，使得获得光学图像与景物存在不一致，致使显示装置显示的图像与真实景物存在不一致。为了消除这种不一致，可以根据反畸变原理，对显示装置显示的图像进行逆变处理。例如，可以利用近眼显示成像透镜的反畸变设计，对显示装置显示的图像进行逆变，获得对应的虚像，虚像与景物相一致，用户观看到与景物一致的虚像。采用这样的方式对图像进行处理，不仅可以获得与景物一致的图像，而且可以减少数据处理过程和相应的硬件电路，进一步精简化数字处理过程，有利于轨迹生产技术整合生产，减小电路面积。
可以理解的是，在其它实施例中，在将显示信号传输至显示装置的源驱动器之前，可以通过逆变处理模块对显示信号进行逆变处理，逆变处理模块用于根据反畸变原理，对显示信号进行逆变处理，将处理后的显示信号穿书之显示装置的源驱动器，以驱动显示装置进行显示，从而，用户可以通过显示装置直接观看到与景物一致的图像。
图7为本公开一实施例中图像处理装置的结构示意图。本公开实施例还提供一种图像处理装置，如图7所示，图像处理装置可以包括：
数字图像转换模块71，用于将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
插值模块72，用于对数字图像信息中的各像素进行双颜色线性插值；
显示信号转换模块73，用于根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
示例性地，数字图像转换模块71可以包括图像传感器(CCD)和光电转换模块。图像传感器可以接收光学图像，将光信号转化为模拟电信号。光电转换模块中的采样电路采集模拟电信号后，经过模拟前端(AFE)，并进行消噪处理，然后模数转换电路(ADC)将模拟信号转化为数字信号，并输出数字图像信息。
示例性地，数字图像信息可以通过mipi传输给时序控制器(TCON)，时序控制器中的插值模块可以对数字图像信息中的各像素进行双颜色线性插值。
图8为本公开另一实施例中图像处理装置的结构示意图。在一种实施方式中，如图8所示，插值模块72可以包括：提取子模块721，用于根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；插值子模块722，用于对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
图9为本公开另一实施例中图像处理装置的结构示意图。在一种实施方式中，如图9所示，插值子模块722包括：计算单元7221，用于计算空白像素的周围像素的亮度信息的平均值；赋值单元7222，用于将平均值赋值为空白像素的亮度信息。
在一种实施方式中，显示信号转换模块73还用于将插值后的第一颜色图像信息中的各亮度信息作为显示装置中各像素的第一子像素的亮度信息；将插值后的第二颜色图像信息中的各亮度信息作为显示装置中各像素的第二子像素的亮度信息；将插值后的第三颜色图像中的各亮度信息作为显示装置中各像素的第三子像素的亮度信息。
图10为本公开一实施例中图像处理系统的结构示意图。本公开实施例还提供一种图像处理系统，如图10所示，包括以上实施例中的图像处理装置，还包括显示装置74和反畸变透镜装置75。显示装置74用于接收显示信号，并根据显示信号进行显示；反畸变透镜装置75用于接收显示装置显示的图像，并使用户观看到与景物相一致的虚像。
图11为本公开一实施例中图像处理系统的信号处理流程示意图。结合图11，详细说明本公开实施例中图像处理系统的信号处理流程。
如图11所示，景物反射的光线通过摄像装置的镜头(Lens)生成光学图像，光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(Bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布。
图像传感器CCD接收光学图像后，将光信号转化为模拟电信号；光电转换模块中的采样电路采集模拟电信号后，经过模拟前端(AFE)，并进行消噪处理，然后模数转换电路(ADC)将模拟信号转换为数字信号并输出数字图像信息。
数字图像信息以差分信号形式通过mipi传输给时序控制器(TCON)，时序控制器中的插值模块可以对数字图像信息中的各像素进行双颜色线性插值；时序控制器中的显示信号转换模块，将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号；时序控制器将各像素的第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号传输给显示装置的源驱动器。第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号与显示装置的红色子像素、绿色子像素和蓝色子像素的显示信号相匹配。
显示装置的源驱动器接收各像素的第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号后，将各子像素的显示信号进行数模转换，并经过电平转换(level shift)、数据映射(Data mapping)以及缓冲放大器(OP)后，驱动显示装置进行显示。
反畸变透镜装置接收显示装置显示的图像，通过透镜成像，使用户可以观看到与景物一致的虚像。
景物反射的光线通过摄像装置的镜头(Lens)时，可能会产生一定的畸变，使得获得光学图像与景物存在不一致，致使显示装置显示的图像与真实景物存在不一致。可以根据摄像装置的镜头特性，根据反畸变原理，设计出与摄像装置的镜头相对应的反畸变透镜装置，反畸变透镜装置可以消除摄像装置的镜头导致的图像畸变，从而，显示装置显示的图像通过反畸变透镜装置进行透镜成像后，可以呈现与景物一致的虚像。
将本公开实施例中的图像处理系统的信号处理流程与图1所示信号处理流程进行对比，本公开实施例的图像处理系统的架构和信号处理流程更简单，节省了功耗、减小了电路面积，有利于硅基显示和传感的集成。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
将与景物相对应的光学图像信息转换为数字图像信息，所述数字图像信息为拜耳图像信息，所述数字图像信息包括各像素的颜色信息和亮度信息；
对所述数字图像信息中的各像素进行双颜色线性插值；
根据插值结果，将所述数字图像信息转换为与显示装置相匹配的显示信号。
2.根据权利要求1所述的方法，其特征在于，所述对所述数字图像信息中的各像素进行双颜色线性插值，包括：
根据第一颜色、第二颜色和第三颜色的颜色信息，从所述数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与所述数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
对于各颜色图像信息中的空白像素，根据所述空白像素的周围像素的亮度信息，对所述空白像素进行亮度插值，获得所述空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述空白像素周围的亮度信息，对所述空白像素进行亮度插值，获得所述空白像素的亮度信息，包括：
计算所述空白像素的周围像素的亮度信息的平均值；
将所述平均值赋值为所述空白像素的亮度信息。
4.根据权利要求2所述的方法，其特征在于，根据插值结果，将所述数字图像信息转换为与显示装置相匹配的显示信号，包括：
根据所述插值后的第一颜色图像信息、所述插值后的第二颜色图像信息和所述插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，以进行显示。
5.根据权利要求4所述的方法，其特征在于，根据所述插值后的第一颜色图像信息、所述插值后的第二颜色图像信息和所述插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，包括：
将所述插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；
将所述插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；
将所述插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
6.根据权利要求2所述的方法，其特征在于，所述第一颜色为红色，所述第二颜色为绿色，所述第三颜色为蓝色。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述显示信号传输至所述显示装置的源驱动器，以驱动所述显示装置进行显示。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据反畸变原理，对所述显示装置显示的图像进行逆变处理，获得与景物一致的虚像。
9.一种图像处理装置，其特征在于，包括：
数字图像转换模块，用于将与景物相对应的光学图像信息转换为数字图像信息，所述数字图像信息为拜耳图像信息，所述数字图像信息包括各像素的颜色信息和亮度信息；
插值模块，用于对所述数字图像信息中的各像素进行双颜色线性插值；
显示信号转换模块，用于根据插值结果，将所述数字图像信息转换为与显示装置相匹配的显示信号。
10.根据权利要求9所述的装置，其特征在于，所述插值模块包括：
提取子模块，用于根据第一颜色、第二颜色和第三颜色的颜色信息，从所述数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与所述数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
插值子模块，用于对于各颜色图像信息中的空白像素，根据所述空白像素的周围像素的亮度信息，对所述空白像素进行亮度插值，获得所述空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
11.根据权利要求10所述的装置，其特征在于，所述插值子模块包括：
计算单元，用于计算所述空白像素的周围像素的亮度信息的平均值；
赋值单元，用于将所述平均值赋值为所述空白像素的亮度信息。
12.根据权利要求10所述的装置，其特征在于，
所述显示信号转换模块还用于将所述插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；将所述插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；将所述插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
13.一种图像处理系统，其特征在于，包括权利要求9至12中任一项所述的图像处理装置，还包括显示装置和反畸变透镜装置，
所述显示装置用于接收所述显示信号，并根据所述显示信号进行显示；
所述反畸变透镜装置用于接收所述显示装置显示的图像，并使用户观看到与景物相一致的虚像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110807098.1A CN113556520A (zh) | 2021-07-16 | 2021-07-16 | 图像处理方法、图像处理装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110807098.1A CN113556520A (zh) | 2021-07-16 | 2021-07-16 | 图像处理方法、图像处理装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113556520A true CN113556520A (zh) | 2021-10-26 |
Family
ID=78131981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110807098.1A Pending CN113556520A (zh) | 2021-07-16 | 2021-07-16 | 图像处理方法、图像处理装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556520A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125319A (zh) * | 2021-11-30 | 2022-03-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组、图像处理方法、装置和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040061902A1 (en) * | 2002-09-27 | 2004-04-01 | Bei Tang | Color data image acquistion and processing |
| CN1637842A (zh) * | 2003-12-30 | 2005-07-13 | Lg.菲利浦Lcd株式会社 | 显示装置及其驱动方法 |
| CN102025926A (zh) * | 2009-09-15 | 2011-04-20 | 三星电子株式会社 | 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置 |
-
2021
- 2021-07-16 CN CN202110807098.1A patent/CN113556520A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040061902A1 (en) * | 2002-09-27 | 2004-04-01 | Bei Tang | Color data image acquistion and processing |
| CN1637842A (zh) * | 2003-12-30 | 2005-07-13 | Lg.菲利浦Lcd株式会社 | 显示装置及其驱动方法 |
| CN102025926A (zh) * | 2009-09-15 | 2011-04-20 | 三星电子株式会社 | 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置 |
Non-Patent Citations (2)
| Title |
|---|
| 王健、应骏、曹维军、曾爽: "基于邻近插值法还原Bayer RGB的FPGA实现", 《上海师范大学学报》 * |
| 蒲杰、李振中、屈刚: "基于bayer型阵列的空间域插值算法分析及改进", 《新技术-新业务》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125319A (zh) * | 2021-11-30 | 2022-03-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组、图像处理方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4395789B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| US8885078B2 (en) | Image processing apparatus, image processing method, and recording medium storing image processing program | |
| CN103873836B (zh) | 图像处理设备和图像处理方法 | |
| JP2003304549A (ja) | カメラ及び画像信号処理システム | |
| JP2008109369A (ja) | 撮像装置及び画像処理方法 | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP4386959B1 (ja) | 画像処理装置 | |
| JP5474586B2 (ja) | 画像処理装置 | |
| TW201225630A (en) | Image processing apparatus, image processing method, and camera module | |
| JP5589660B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| KR101003681B1 (ko) | 화소보간회로, 화소보간방법 및 기록매체 | |
| CN113556520A (zh) | 图像处理方法、图像处理装置和系统 | |
| JP5977565B2 (ja) | 画像処理装置 | |
| US8009935B2 (en) | Pixel interpolation circuit, pixel interpolation method, and recording medium | |
| JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP3863808B2 (ja) | 輪郭強調回路 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP2008219198A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2007318630A (ja) | 画像入力装置、撮像モジュール、及び固体撮像装置 | |
| JP2000152260A (ja) | 撮像素子の駆動方法および撮像装置 | |
| JP2011151597A (ja) | 画像処理装置および画像処理プログラム並びに電子カメラ | |
| JP5446291B2 (ja) | 撮像装置 | |
| WO2007032324A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP4954658B2 (ja) | 画像処理装置 | |
| JP2013055459A (ja) | 撮像装置、画像処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |
|
| RJ01 | Rejection of invention patent application after publication |