CN115623217A - 一种图像预处理方法、装置及系统 - Google Patents

一种图像预处理方法、装置及系统 Download PDF

Info

Publication number
CN115623217A
CN115623217A CN202211512612.XA CN202211512612A CN115623217A CN 115623217 A CN115623217 A CN 115623217A CN 202211512612 A CN202211512612 A CN 202211512612A CN 115623217 A CN115623217 A CN 115623217A
Authority
CN
China
Prior art keywords
image data
image
data
line
prectbuf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211512612.XA
Other languages
English (en)
Other versions
CN115623217B (zh
Inventor
陈越
涂海燕
陈思帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Archie Technology Co ltd
Original Assignee
Quanzhou Archie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Archie Technology Co ltd filed Critical Quanzhou Archie Technology Co ltd
Priority to CN202211512612.XA priority Critical patent/CN115623217B/zh
Publication of CN115623217A publication Critical patent/CN115623217A/zh
Application granted granted Critical
Publication of CN115623217B publication Critical patent/CN115623217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理领域，特别是涉及一种图像预处理方法、装置及系统，该图像预处理方法包括：基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；基于无线单元发送所述感兴趣的图像数据；其中，上述处理过程中图像格式始终保持为Bayer Raw格式。本申请通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据，可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要，并且传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。

Description

一种图像预处理方法、装置及系统
技术领域
本申请涉及图像处理领域，特别是涉及一种图像预处理系统及方法。
背景技术
如图1所示，在传统无线图像传输中，摄像头输出标准大小（如640像素X480像素）的RGB565/YUV格式图像数据，经过硬件图像编码模块（MCU内置或外挂）编码输出MJPG、H263、H264、MPEG2等图像数据，然后通过wifi模块（MCU内置或外挂）发送出去，用户端（如手机APP）收到后解码并输出显示。
针对上述中的相关技术，发明人认为：对RGB565/YUV格式图像进行传输时，存在传输数据量大等问题；对图像编码成MJPG、H263、H264、MPEG2等进行传输时，存在图像数据失真、要求有编码器等问题。
发明内容
为了解决上述问题，本申请提供一种图像预处理方法、装置及系统。
第一方面，本申请提供一种图像预处理方法，采用如下的技术方案：
一种图像预处理方法，包括：
基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；
基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；
基于无线单元发送所述感兴趣的图像数据；
其中，上述处理过程中图像格式始终保持为Bayer Raw格式。
可选的，所述非标准大小的图像数据为正方形图像数据。
可选的，在所述摄像头中，通过设置寄存器，使所述摄像头输出Bayer Raw格式的所述正方形图像数据。
可选的，所述感兴趣的图像数据为圆形图像数据。
可选的，所述将所述非标准大小的图像数据转换为感兴趣的图像数据，包括：建立所述正方形图像数据的内存缓冲区pRectBuf，建立所述圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算所述圆形图像数据区域内每一行的起始点在所述正方形图像数据区域中的对应位置，并计算所述圆形图像数据区域内每一行的长度，逐行从所述pRectBuf中拷贝数据到所述pCirBuf中；其中，所述圆形图像数据的直径小于或等于所述正方形图像数据的边长，并且所述圆形图像数据的中心点与所述正方形图像数据的中心点重合。
可选的，所述发送所述感兴趣的图像数据，包括：分配每次发送的内存缓冲区pBuf，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
可选的，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：一次性把同一帧中的全部数据逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，并在每次发送时，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
可选的，将分段发送的数据用segment表示，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据到所述pBuf中，当所述pBuf中的数据送到发送缓存等待发送至外部时，从所述pRectBuf中拷贝下一个segment的数据到所述pBuf中，以此循环拷贝发送，直至所述pRectBuf中对应感兴趣区域的数据都被发送出去。
第二方面，本申请还提供一种图像预处理装置，采用如下的技术方案：
一种图像预处理装置，包括：
存储器，用于存储图像数据、缓存数据和图像预处理程序；
处理器，在运行所述图像预处理程序时执行上述图像预处理方法的步骤。
第三方面，本申请还提供一种图像预处理系统，采用如下的技术方案：
一种图像预处理系统，包括：
摄像头，用于获取图像；
图像预处理装置，用于采用上述图像预处理方法获取感兴趣的图像数据；
用户终端，用于将所述感兴趣的图像数据进行解码并显示。
综上所述，本申请具有如下有益效果：
1、通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据（即上述的圆形图像数据），可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要。
2、传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。
3、由于在无线单元发送之前的处理过程中图像格式始终保持为Bayer Raw格式，因此，处理单元（MCU）无需具备编解码硬件，节约了硬件成本。
附图说明
图1为传统无线图像传输系统原理框图。
图2为本申请图像预处理终端原理框图。
图3为本申请图像预处理方法流程示意图。
图4为本申请一实施例中建立直角坐标系计算圆形图像数据区域的示意图。
图5为本申请一实施例中图像数据大小示意图。
具体实施方式
在传统无线图像传输中，摄像头通常输出标准大小（如640像素X480像素）的RGB565/YUV格式图像数据，为了适应无线传输环境，减小传送过程中的图像数据量，设备端的MCU往往通过MJPG、H263、H264、MPEG2等编码方式对标准大小图像进行编码，压缩视频大小，以匹配无线传输的需要。而这些压缩通常都是根据人眼视觉特性进行的有损压缩，会损失图像细节，给后续图像的处理带来不利影响。例如，在需要实时获取图像的特征值进行运算时，我们发现，经过压缩的图像因为数据失真等问题，导致算法失败。同时，这些压缩处理对硬件有较高的要求，通常需要硬件图像编码模块支持，而大部分MCU并不具备硬件图像编码模块，选用具备硬件图像编码模块的MCU又会增加硬件成本。
下面结合说明书附图对本申请的实施例作详细描述，但该实施例不应理解为对本申请的限制。
如图2所示，本申请实施例提供一种图像预处理终端，该终端包括摄像头、用户终端和图像预处理装置。摄像头用于获取图像，图像预处理装置包括存储器和处理器；存储器用于存储图像数据、缓存数据和图像预处理程序；处理器在运行图像预处理程序时执行以下图像预处理方法的步骤，以获取感兴趣的图像数据，用户终端用于将感兴趣的图像数据进行解码并显示。
下面结合图像预处理终端对图像预处理方法的实施进行详细说明：
如图3所示，本申请实施例提供一种图像预处理方法，应用于无线图像传输中，在无线单元发送之前以及无线单元发送时的处理过程中图像格式始终保持为Bayer Raw格式，该方法包括：
S1：基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据，其中，非标准大小的图像数据为正方形图像数据；
具体来说，在摄像头中，通过设置寄存器，使摄像头输出Bayer Raw格式的正方形图像数据。
S2：基于控制单元将非标准大小的图像数据转换为感兴趣的图像数据，其中，感兴趣的图像数据为圆形图像数据；
具体来说，建立正方形图像数据的内存缓冲区pRectBuf，建立圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算圆形图像数据区域内每一行的起始点在正方形图像数据区域中的对应位置，并计算圆形图像数据区域内每一行的长度L，逐行从pRectBuf中拷贝数据到pCirBuf中；其中，圆形图像数据的直径小于或等于正方形图像数据的边长，并且圆形图像数据的中心点与正方形图像数据的中心点重合。
如图4所示，在本实施例中，取圆形图像数据的直径2R等于正方形图像数据的边长（正方形图像数据的边长等于2R），圆形图像数据区域内任一行起始点坐标(XL，Y0)和长度L的计算公式如下：
Figure 136118DEST_PATH_IMAGE001
（取整数），其中，Y0为整数，且Y0∈[0,2R]，XR为该行终点横坐标。
Figure 931424DEST_PATH_IMAGE002
。
L=XR–XL。
其中，当Y0=0或Y0=2R，即：XR=XL=R时，L=0，此时表示该行起始点与终点重合为一个点，因此仅需要拷贝该点的数据。
上述逐行从pRectBuf中拷贝数据到pCirBuf中，具体表示为：按照从上至下、每行自起始点至终点的顺序，将pRectBuf中对应的圆形图像数据逐行拷贝到pCirBuf中。
S3：基于无线单元发送感兴趣的图像数据；
具体来说，包括：分配每次发送的内存缓冲区pBuf，将pCirBuf中的数据分段拷贝到pBuf中。
在本申请一实施例中，上述逐行从pRectBuf中拷贝数据到pCirBuf中，包括：一次性把同一帧中的全部数据逐行从pRectBuf中拷贝数据到pCirBuf中，并在每次发送时，将pCirBuf中的数据分段拷贝到pBuf中。
在本申请另一实施例中，将分段发送的数据用segment表示，上述逐行从pRectBuf中拷贝数据到pCirBuf中，分配每次发送的内存缓冲区pBuf，将pCirBuf中的数据分段拷贝到pBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据到pBuf中，当pBuf中的数据送到发送缓存等待发送至外部时，从pRectBuf中拷贝下一个segment的数据到pBuf中，以此循环拷贝发送，直至pRectBuf中对应感兴趣区域的数据都被发送出去。可以理解的是，拷贝的segment数据可以直接放入pBuf中，也可以先放入pCirBuf中，再从pCirBuf中拷贝放入pBuf中。
S4：基于用户终端将圆形图像数据进行解码并显示。
具体来说，用户终端（本实施例采用手机APP）接收圆形图像数据后，利用手机的强大算力（相较于控制单元），根据上述直角坐标系还原并解码圆形图像数据为RGB等格式图像并显示。用户终端接收到的圆形图像数据为Bayer Raw格式，最大可能的保留了图像的原始信息，可以理解的是，在用户终端进行解码/显示之前，还可以根据实际情况对圆形图像数据进行处理，减少了数据失真等问题。
在Bayer Raw格式的数据中，每个像素点只需要占用一个Byte空间，而传统的RGB565/YUV格式中，每个像素点需要占用2Bytes空间，本申请实施例通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据（即上述的圆形图像数据），可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要。而且，传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。
举例来说，如图5所示，摄像头原始输出大小是长方形的图像数据（640像素X480像素），通过设置，使摄像头输出正方形图像数据（480像素X480像素），而我们感兴趣的部分是圆形区域。摄像头输出的数据保存在480像素X480像素大小的一个连续内存缓冲区里，用pRectBuf表示，圆形区域的数据内存缓冲区用pCirBuf表示。我们通过计算得到感兴趣的圆形区域内每一行的起始点(XL，Y0)对应在pRectBuf里的位置，并且能够计算得到感兴趣的圆形区域内每一行的长度L，然后逐行从pRectBuf中拷贝数据到pCirBuf中，这样就得到了我们感兴趣区域的数据。传输到用户终端（手机APP）后，在手机APP端用相反的计算方法还原，然后处理和显示图像。
如果按照传统的方法，需要传输640X480大小的RGB565/YUV格式图像，每帧图像大小是614400Bytes (640X480 X 2Bytes/pixel)，采用本申请的方法，只取感兴趣圆形区域，并采用Bayer Raw格式，每帧图像大小是180864Bytes。数据量减少至原来的29.4%大小，极大的减少了需要传输的数据量，降低了对无线带宽的需要。
基于上述同一发明构思，本申请实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现方法流程中所述的各个步骤。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。所述集成的单元如果以软件功能单元的形式实现并作为单独的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本申请各个实施例所述方法的全部或部分步骤。
以上实施例仅用以对本申请的技术方案进行详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种图像预处理方法，其特征在于，包括：
基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；
基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；
基于无线单元发送所述感兴趣的图像数据；
其中，上述处理过程中图像格式始终保持为Bayer Raw格式。
2.如权利要求1所述的图像预处理方法，其特征在于：所述非标准大小的图像数据为正方形图像数据。
3.如权利要求2所述的图像预处理方法，其特征在于：在所述摄像头中，通过设置寄存器，使所述摄像头输出Bayer Raw格式的所述正方形图像数据。
4.如权利要求2所述的图像预处理方法，其特征在于：所述感兴趣的图像数据为圆形图像数据。
5.如权利要求4所述的图像预处理方法，其特征在于，所述将所述非标准大小的图像数据转换为感兴趣的图像数据，包括：建立所述正方形图像数据的内存缓冲区pRectBuf，建立所述圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算所述圆形图像数据区域内每一行的起始点在所述正方形图像数据区域中的对应位置，并计算所述圆形图像数据区域内每一行的长度，逐行从所述pRectBuf中拷贝数据到所述pCirBuf中；其中，所述圆形图像数据的直径小于或等于所述正方形图像数据的边长，并且所述圆形图像数据的中心点与所述正方形图像数据的中心点重合。
6.如权利要求5所述的图像预处理方法，其特征在于，所述发送所述感兴趣的图像数据，包括：分配每次发送的内存缓冲区pBuf，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
7.如权利要求6所述的图像预处理方法，其特征在于，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：一次性把同一帧中的全部数据逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，并在每次发送时，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
8.如权利要求6所述的图像预处理方法，其特征在于，将分段发送的数据用segment表示，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据到所述pBuf中，当所述pBuf中的数据送到发送缓存等待发送至外部时，从所述pRectBuf中拷贝下一个segment的数据到所述pBuf中，以此循环拷贝发送，直至所述pRectBuf中对应感兴趣区域的数据都被发送出去。
9.一种图像预处理装置，其特征在于，包括：
存储器，用于存储图像数据、缓存数据和图像预处理程序；
处理器，在运行所述图像预处理程序时执行权利要求1-8任一项所述图像预处理方法的步骤。
10.一种图像预处理系统，其特征在于，包括：
摄像头，用于获取图像；
图像预处理装置，用于采用如权利要求1-8任一项所述图像预处理方法获取感兴趣的图像数据；
用户终端，用于将所述感兴趣的图像数据进行解码并显示。
CN202211512612.XA 2022-11-30 2022-11-30 一种图像预处理方法、装置及系统 Active CN115623217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211512612.XA CN115623217B (zh) 2022-11-30 2022-11-30 一种图像预处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211512612.XA CN115623217B (zh) 2022-11-30 2022-11-30 一种图像预处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN115623217A true CN115623217A (zh) 2023-01-17
CN115623217B CN115623217B (zh) 2023-03-21

Family

ID=84881067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211512612.XA Active CN115623217B (zh) 2022-11-30 2022-11-30 一种图像预处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115623217B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547304A (zh) * 2011-12-31 2012-07-04 蔡静 一种视频图像数据获取装置及方法
CN104167002A (zh) * 2014-08-28 2014-11-26 中国矿业大学 鱼眼图像的有效区域提取方法
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US20190379877A1 (en) * 2017-10-24 2019-12-12 Lg Electronics Inc. Method for transmitting/receiving 360-degree video including fisheye video information, and device therefor
CN112232125A (zh) * 2020-09-11 2021-01-15 北京迈格威科技有限公司 关键点检测方法和关键点检测模型的训练方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547304A (zh) * 2011-12-31 2012-07-04 蔡静 一种视频图像数据获取装置及方法
CN104167002A (zh) * 2014-08-28 2014-11-26 中国矿业大学 鱼眼图像的有效区域提取方法
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US20190379877A1 (en) * 2017-10-24 2019-12-12 Lg Electronics Inc. Method for transmitting/receiving 360-degree video including fisheye video information, and device therefor
CN112232125A (zh) * 2020-09-11 2021-01-15 北京迈格威科技有限公司 关键点检测方法和关键点检测模型的训练方法

Also Published As

Publication number Publication date
CN115623217B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
US10805606B2 (en) Encoding method and device and decoding method and device
US20150237351A1 (en) Techniques for inclusion of region of interest indications in compressed video data
US8374444B2 (en) Method and apparatus for providing higher resolution images in an embedded device
US8098959B2 (en) Method and system for frame rotation within a JPEG compressed pipeline
US20220188976A1 (en) Image processing method and apparatus
US20150279055A1 (en) Mipmap compression
EP2747434A1 (en) Video image compression/decompression device
US20240104780A1 (en) Image compression method and apparatus, and intelligent terminal and computer-readable storage medium
US11146799B2 (en) Method and apparatus for decoding video bitstream, method and apparatus for generating video bitstream, storage medium, and electronic device
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
CN113438418A (zh) 图像处理方法、装置、设备及计算机可读存储介质
US10304213B2 (en) Near lossless compression scheme and system for processing high dynamic range (HDR) images
CN111510643B (zh) 全景图和特写图的拼接系统及方法
CN111225214B (zh) 视频处理方法、装置及电子设备
CN115623217B (zh) 一种图像预处理方法、装置及系统
US20110096082A1 (en) Memory access control device and method thereof
US20110099340A1 (en) Memory access control device and method thereof
US7486297B2 (en) Method and apparatus for image processing in a handheld device
US9888250B2 (en) Techniques for image bitstream processing
US20050286803A1 (en) Image processing apparatus, display device, image processing method, and image processing program
US10034007B2 (en) Non-subsampled encoding techniques
US20240048740A1 (en) Image processing method and image processing device for enhancing image processing efficiency
US20240048734A1 (en) Image processing method and image processing device for enhancing image processing efficiency
US20230080747A1 (en) Modifying a set of angle prediction modes for coding an equirectangular projection format image
CN115913939B (zh) 一种云桌面图像传输过程中图像数据实时修改方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant