CN117979095A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及装置，所述方法包括以X行视频图像数据为单位获取视频图像，其中X大于零；对所述X行视频图像数据进行处理，并将处理后的所述X行视频图像数据输出至显示模组显示；或者直接将所述X行视频图像数据输出至需求接口。本发明通过以预设的X行视频图像数据为单位获取并处理视频图像，可以有效减少链路延时，增加系统可靠性。

Description

一种图像处理方法及装置

技术领域

本发明涉及后视镜图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

随着汽车技术的不断进步，通过减少风阻的方式来增加续航是主机厂追求的首要目标。电动汽车上的外后视镜，会让电动汽车最多减少约5%的续航，已知技术中采用一颗摄像头取代传统外后视镜可以降低风阻系数增加续航。

现有的流媒体外后视镜技术路线通常由如下部分组合：摄像头模组加串行器加解串器、域控制器加串行器，解串器加显示屏。各部分为的独立零件，使用同轴或者双绞线互联。显示屏一般布置在车内靠近A 柱中部位置，需要线束绕到中控位置的控制器又绕回到显示屏。没有合理的利用摄像头与显示屏位置比较接近的空间布局，导致该技术路线链路延时高、因为使用了两对串行器与解串器系统复杂。各个零件又相互独立，之间需要用线束互联，还需要供应商间的联合调试，系统开发周期长成本高。

发明内容

针对上述技术问题，本发明提供了一种图像处理方法及装置，减少链路延时，增加系统可靠性。

本发明的第一方面，提供一种图像处理方法，包括：

以X行视频图像数据为单位获取视频图像，其中X大于零；

对所述X行视频图像数据进行处理，并将处理后的所述X行视频图像数据输出至显示模组显示；或者

直接将所述X行视频图像数据输出至需求接口。

在一可选实施方式中，所述以X行视频图像数据为单位获取视频图像，包括：

以至少一行视频图像数据为单位获取视频图像数据。

在一可选实施方式中，所述以X行视频图像数据为单位获取视频图像，包括：

以至少六分之一行视频图像数据为单位获取视频图像数据。

在一可选实施方式中，所述对所述X行视频图像数据进行处理，包括：

将所述X行视频图像数据转换为RGB数据格式的图像数据；

当缓存至预设数量的图像行，进行图像后处理。

在一可选实施方式中，所述当缓存至预设数量的图像行，进行图像后处理，包括：

当缓存至至少一行视频图像后进行图像后处理。

在一可选实施方式中，所述的图像处理方法，还包括识别所述视频图像获得OSD信息，将所述OSD信息输出至显示模组显示。

在一可选实施方式中，由图像处理器从图像传感器获取所述视频图像，所述图像传感器X行视频图像数据为单位向所述图像处理器传输所述视频图像。

在一可选实施方式中，所述图像传感器配置有用于增强环境信息的视觉处理引擎。

在一可选实施方式中，所述的图像处理方法应用于智能汽车时，所述图像处理器与所述图像传感器外置于车外，或者所述图像传感器外置于车外、所述图像处理器置于车内。

在一可选实施方式中，应用于智能汽车时，所述图像处理器通过显示接口直接输出X行视频图像数据至显示屏模组显示；和/或所述图像处理器通过串行线将X行视频图像数据输出至域控制器。

本发明的第二方面，提供一种用于智能汽车的图像处理装置，包括：图像处理器、图像传感器及显示模组，所述图像传感器采集视频图像传输至所述图像处理器，所述图像处理器对所述视频图像进行处理后通过第一输出接口直接传输至所述显示模组显示。

在一可选实施方式中，所述图像处理器还包括第二输出接口，所述第二输出接口与车辆控制器通信连接；其中，所述第一输出接口通过柔性电路板直接传输至所述显示模组显示。

在一可选实施方式中，所述图像处理器用于执行本发明第一方面所述的图像处理方法。

本发明的第三方面，提供一种电子设备，包括：

至少一个图像处理器；以及与所述图像处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述图像处理器执行的程序指令，所述图像处理器调用所述程序指令能够执行如本发明实施例的第一方面所述的图像处理方法。

本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明实施例的第一方面所述的图像处理方法。

本发明通过以预设的X行视频图像数据为单位获取并处理视频图像，可以有效减少链路延时，增加系统可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有技术中摄像头与控制器、显示屏之间的数据处理关系示意图。

图2为本发明实施例中一种图像处理装置的示意图。

图3为本发明实施例中一种图像处理方法的流程示意图。

图4为本发明实施例中另一种图像处理装置的示意图。

图5为本发明实施例中另一种图像处理方法的流程示意图。

图6为本发明实施例中车外摄像头与车内显示屏连接的示意图。

图7为本发明实施例中的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。

请参阅图1，图1是现有技术中摄像头与控制器、显示屏之间的数据处理关系。由摄像头采集图像传输至域控制器，域控制器处理图像后发送给显示屏显示。其中摄像头通过串行器、解串器与域控制器的中央处理器连接，中央处理器又通过串行器、解串器与显示屏连接。此方法使用了两对串行器与解串器，系统复杂，线束设计较长。并且现有技术中摄像头是采集图像后以一帧图像为单位传输给域控制器，线路长，路线链路传输时延时高。

图2是本发明中后视镜摄像头的硬件图示，由图像传感器（摄像头）与图像处理器连接，然后将图像处理器直接与显示屏连接。由于图像传感器与图像处理器可以集成，因此图像处理器与显示屏连接是可以使用柔性电路板与显示屏连接，可以省略串行器、解串器这种复杂连接方式，从而简化线束设计。而对于传输时的延时高问题，基于上述硬件，本发明以数据行的方式进行数据传输，可以将延时缩短，具体如下：

请参阅图3，本发明提供一种图像处理方法，应用于图像处理器，该图像处理器与图像传感器连接，所述方法包括以下步骤：

步骤100：以X行视频图像数据为单位获取视频图像，其中X大于零。

在该步骤中，基于新的后视镜摄像头硬件的新结构，可以实现图像传感器与显示屏的直接连接，为降低延时，通过以图像行的方式进行图像传输，以替换现有技术中使用图像帧的传输方式。

进行图像数据的处理与传输的行是最小单位。图像处理器收到图像传感器的行数据后进行处理，处理完成后立刻将处理过的行数据输出显示。以行为单位对图像数据进行处理，无论处理速度还是缓存速度所需时间均小于处理一帧图像数据所用的时间。

在一些实施例中，以至少六分之一行视频图像数据为单位获取视频图像数据。示例地，以六分之一行视频图像数据为单位获取视频图像，或者以五分之一行视频图像数据为单位获取视频图像，以四分之一行视频图像数据为单位获取视频图像，或者以三分之一行视频图像数据为单位获取视频图像，或者以0.2帧视频图像数据为单位获取视频图像，或者以0.5帧视频图像数据为单位获取视频图像，或者以0.6行视频图像数据为单位获取视频图像，或者以0.8帧视频图像数据为单位获取视频图像。应当理解，不限制于上述示例，可以根据需求进行设定。

在一些实施例中，以至少一行视频图像数据为单位获取视频图像数据。示例地，以一行视频图像数据为单位获取视频图像，可以是多行的，如以两行视频图像数据为单位获取视频图像，或者以五行视频图像数据为单位获取视频图像，或者以十行视频图像数据为单位获取视频图像，或者以二十行视频图像数据为单位获取视频图像，或者以一百行视频图像数据为单位获取视频图像。或者应当理解，不限制于上述示例，可以根据需求进行设定。

步骤200：对所述X行视频图像数据进行处理，并将处理后的所述X行视频图像数据输出至显示模组显示。

图像处理器对视频图像数据进行处理时，同样是以X行为单位进行处理。应当理解的是，该步骤中的视频图像数据为图像数据，一帧图像数据中的X行为单位进行处理。

在一些实施例中，以至少六分之一行视频图像数据为单位处理视频图像数据。示例地，以六分之一行视频图像数据为单位处理视频图像，或者以五分之一行视频图像数据为单位处理视频图像，以四分之一行视频图像数据为单位处理视频图像，或者以三分之一行视频图像数据为单位处理视频图像，或者以0.2帧视频图像数据为单位处理视频图像，或者以0.5帧视频图像数据为单位处理视频图像，或者以0.6行视频图像数据为单位处理视频图像，或者以0.8帧视频图像数据为单位处理视频图像。应当理解，不限制于上述示例，可以根据需求进行设定。

在一些实施例中，以至少一行视频图像数据为单位处理视频图像数据。示例地，以一行视频图像数据为单位处理视频图像，可以是多行的，如以两行视频图像数据为单位处理视频图像，或者以五行视频图像数据为单位处理视频图像，或者以十行视频图像数据为单位处理视频图像，或者以二十行视频图像数据为单位处理视频图像，或者以一百行视频图像数据为单位处理视频图像。或者应当理解，不限制于上述示例，可以根据需求进行设定。

因此，基于以上技术方案，本发明通过以预设的X行视频图像数据为单位获取并处理视频图像，可以有效减少链路延时，增加系统可靠性。

请参阅图4，图像传感器的视频图像数据还可以用于智驾，例如通过视频图像数据识别后面车辆、后方行人等，通过智驾系统对后方车辆、行人进行数据增强等，便于智驾对于车辆的控制，或者辅助驾驶员更清晰地了解后方路况。

在图4中所示的后视镜摄像头的硬件中，图像传感器采集视频图像数据后传输至图像处理器，图像处理器通过一个输出接口连接至显示屏，通过另一个输出接口连接至串行器，该串行器可以连接至其他需求接口，如域控制器的解串器，或智驾系统的座舱中央处理器等。

因此本发明还提供一种图像处理方法，应用于图像处理器，该图像处理器与图像传感器连接，如图5所示，所述方法包括以下步骤：

步骤100：以X行视频图像数据为单位获取视频图像，其中X大于零；

步骤200：对所述X行视频图像数据进行处理，并将处理后的所述X行视频图像数据输出至显示模组显示；

步骤300：对所述X行视频图像数据进行处理，直接将所述X行视频图像数据输出至需求接口。

在上述步骤中，关于对视频图像数据的获取与处理，可参考前文中步骤100、步骤200的描述，不再赘述。

其中，步骤300的基于图4所示的硬件结构，可以对图像传感器采集的视频图像复用。图像处理器选用了除基本ISP(Image Signal Processor)的功能外,还具备直接输出显示屏、接收的视频提供视频接口能力。图像处理器具有二路输出能力，一路输出到显示屏模于显示，另一路输出到串行器。其中输出到串行器的数据可以是原始的图像采集数据也可以是经过处理后的数据，这样可以满足域控器或其他控制器（如座舱控制器）的多种需求。

图2所示实施例相比于本实施例，去掉串行器用于适配没有域控制器或其他控制器需求的场景，可以降低成本。本实施例中多了串行器可以扩展域控制器或其他控制器需求的场景。

进一步地，对所述X行视频图像数据进行处理时，在一些实施例中，视频图像数据为RAW数据或YUV数据，或者其他格式的数据，图像处理器接收X行视频图像数据，并将X行视频图像数据转换为X行RGB数据。当缓存至预设数量的图像行，对图像进行压缩、裁剪等后处理，减少内存占用率和数据延时。例如当缓存至至少一行视频图像后进行图像后处理。

示例地，图像处理器收到rolling shutter格式的图像传感器发送的第一行RAW数据后，处理转换为RGB格式，通过显示接口直接输出逐行数据给显示屏模组显示。选用1280*720分辨率的图像传感器时，图像处理器一次处理并传输1280个数据。

进一步地，图像处理器可选用RGB-IR的图像传感器，经过图像处理器内部的视觉引擎处理后，用于在夜间、光线较暗、有雾的场景下，增强显示周围环境信息。图像处理器可以基于视频图像数据识别所述视频图像获得OSD（On-Screen Display 屏上显示）信息，将所述OSD信息输出至显示模组显示。OSD信息 包括后方来车警示信息，后车距离信息，整车报警信息等。

所述图像处理器 应用于智能汽车时，所述图像处理器与所述图像传感器外置于车外，或者所述图像传感器外置于车外、所述图像处理器置于车内；车内与车外单元通过内部总线互联。具有多种布置方式，系统设计灵活多变。

车外图像采集部分的图像传感器可以选择不同分辨率、不同CFA(Color FilterArray 色彩滤波阵列)、不同的视频输出格式、输出接口类型。车内显示部分由图像处理器、显示屏背光驱动电路，显示屏模组、图像处理器、单片机、电源、串行器、CAN 收发器、连接器组成。在其他实施例中，图像处理器可设置在车外部分。

请继续参阅图2、图4，并结合图6所示，本发明提供一种用于智能汽车的图像处理装置，包括：图像处理器、图像传感器及显示模组。

所述图像传感器采集视频图像传输至所述图像处理器，所述图像处理器对所述视频图像进行处理后通过第一输出接口直接传输至所述显示模组显示。

在本发明中，由图像处理器从图像传感器获取所述视频图像，所述图像传感器X行视频图像数据为单位向所述图像处理器传输所述视频图像。车内与车外单元通过柔性电路板互联，互联信号由图像输出总线、控制总线、电源、通用数据输入输出接口构成，其中，所述第一输出接口通过柔性电路板直接传输至所述显示模组显示，柔性电路板外可由保护管保护。

可以使用高速视频连接器输出图像数据给到其他域控制器。在本发明的另一个实施例中，所述图像处理器还包括第二输出接口，所述第二输出接口与车辆控制器通信连接，车辆控制器包括但不限于域控制器、座舱控制器、中央集成处理器。

所述图像处理器用于执行图3、图5所示的图像处理方法。在一些实现方式中，所述图像传感器配置有用于增强环境信息的视觉处理引擎。视觉处理引擎可用于在夜间、光线较暗、有雾的场景下，增强显示周围环境信息。

如图6所示，后视镜结构应用于智能汽车时，所述图像处理器与所述图像传感器外置于车外，或者所述图像传感器外置于车外、所述图像处理器置于车内。采用柔性电路板把车外摄像头与车内显示屏连接。车外图像采集部分的图像传感器可以选择不同分辨率、不同CFA(Color Filter Array 色彩滤波阵列)、不同的视频输出格式、输出接口类型。车内显示部分由图像处理器、显示屏背光驱动电路，显示屏模组、图像处理器、单片机、电源、串行器、CAN 收发器、连接器组成。在其他实施例中，图像处理器可设置在车外部分。

所述图像处理器通过显示接口直接输出X行视频图像数据至显示屏模组显示；所述图像处理器还包括第二输出接口，所述第二输出接口与车辆控制器通信连接，所述图像处理器通过串行线将X行视频图像数据输出至域控制器、座舱控制器、中央集成处理器。

本发明提供了新的图像采集与显示装置，在结构上只有一个对外连接器，对比现有技术减少了零件数量，省去了各零件间的连接器和线束；硬件上电路精简的去掉了两对串行器与解串器和中央处理器，功耗低，可靠性高。软件上省去了中央控制器的处理延时，提高了系统的鲁棒性，以行为单位大大缩短了图像的延时，轻松满足法规要求。从整车角度，去掉了整车视频线束的布置，减少了研发成本和整车BOM成本，大大提高了经济效益和安全性。

如图7所示，本发明还提供一种电子设备，包括：

至少一个图像处理器；以及与所述图像处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述图像处理器执行的程序指令，所述图像处理器调用所述程序指令能够执行上述图像处理方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被图像处理器执行时实现上述图像处理方法。

可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM ，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。

在本发明的某些实施方式中，电子设备可以包括控制器或图像处理器，控制器是一个单片机芯片，集成了图像处理器、存储器，通信模块等。图像处理器可以是指控制器包含的图像处理器。图像处理器可以是中央处理单元（Central Processing Unit，CPU)，还可以是其他通用图像处理器、数字信号图像处理器（Digital Signal Processor，DSP)、专用集成电路（Application Specific Integrated Circuit，ASIC)、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明地优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

以X行视频图像数据为单位获取视频图像，其中X大于零；

对所述X行视频图像数据进行处理，并将处理后的所述X行视频图像数据输出至显示模组显示；或者

直接将所述X行视频图像数据输出至需求接口。

2.根据权利要求1所述的图像处理方法，其特征在于，所述以X行视频图像数据为单位获取视频图像，包括：

以至少一行视频图像数据为单位获取视频图像数据。

3.根据权利要求1所述的图像处理方法，其特征在于，所述以X行视频图像数据为单位获取视频图像，包括：

以至少六分之一行视频图像数据为单位获取视频图像数据。

4.根据权利要求2或3所述的图像处理方法，其特征在于，所述对所述X行视频图像数据进行处理，包括：

将所述X行视频图像数据转换为RGB数据格式的图像数据；

当缓存至预设数量的图像行，进行图像后处理。

5.根据权利要求4所述的图像处理方法，其特征在于，所述当缓存至预设数量的图像行，进行图像后处理，包括：

当缓存至至少一行视频图像后进行图像后处理。

6.根据权利要求2或3所述的图像处理方法，其特征在于，还包括识别所述视频图像获得OSD信息，将所述OSD信息输出至显示模组显示。

7.根据权利要求1所述的图像处理方法，其特征在于，由图像处理器从图像传感器获取所述视频图像，所述图像传感器X行视频图像数据为单位向所述图像处理器传输所述视频图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述图像传感器配置有用于增强环境信息的视觉处理引擎。

9.根据权利要求7所述的图像处理方法，其特征在于，应用于智能汽车时，所述图像处理器与所述图像传感器外置于车外，或者所述图像传感器外置于车外、所述图像处理器置于车内。

10.根据权利要求7所述的图像处理方法，其特征在于，应用于智能汽车时，所述图像处理器通过显示接口直接输出X行视频图像数据至显示屏模组显示；和/或所述图像处理器通过串行器将X行视频图像数据输出至域控制器。

11.一种用于智能汽车的图像处理装置，其特征在于，包括：图像处理器、图像传感器及显示模组，所述图像传感器采集视频图像传输至所述图像处理器，所述图像处理器对所述视频图像进行处理后通过第一输出接口直接传输至所述显示模组显示。

12.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理器还包括第二输出接口，所述第二输出接口与车辆控制器通信连接；其中，所述第一输出接口通过柔性电路板直接传输至所述显示模组显示。

13.根据权利要求11或12所述的图像处理装置，其特征在于，所述图像处理器用于执行权利要求1至10任一项所述的图像处理方法。

14.一种电子设备，其特征在于，包括：

至少一个图像处理器；以及与所述图像处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述图像处理器执行的程序指令，所述图像处理器调用所述程序指令能够执行如权利要求1至10中任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至10中任一项所述的图像处理方法。