CN114466130A - 图像处理器、装置、方法及电子设备 - Google Patents
图像处理器、装置、方法及电子设备 Download PDFInfo
- Publication number
- CN114466130A CN114466130A CN202011242672.5A CN202011242672A CN114466130A CN 114466130 A CN114466130 A CN 114466130A CN 202011242672 A CN202011242672 A CN 202011242672A CN 114466130 A CN114466130 A CN 114466130A
- Authority
- CN
- China
- Prior art keywords
- region
- information
- interest
- image data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种图像处理器、装置、方法及电子设备，其中，图像处理装置由区域获取模块和信息统计模块构成，其中，区域获取模块被配置为获取摄像头成像区域中的第一感兴趣区域；信息统计模块被配置为对摄像头传输的图像数据中属于第一感兴趣区域的部分进行对焦信息的统计，并将统计得到的对焦信息传输至应用处理器，使得应用处理器根据该对焦信息对摄像头进行对焦控制。由于本申请无需对完整的图像数据进行对焦信息统计，能够有效节省统计对焦信息所花费的时间，从而达到提高摄像头对焦速度的目的。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理器、装置、方法及电子设备。
背景技术
目前，用户通常利用具有摄像头的电子设备(如数码相机、智能手机等)拍摄图像，从而随时随地的记录身边发生的事情，看到的景物等。为了提供更高的拍摄体验，不仅要求提高电子设备的摄像头像素，还要求提高电子设备的拍摄速度，而拍摄速度的快慢在一定程度上取决于摄像头对焦的快慢。
发明内容
本申请实施例提供一种图像处理器、装置、方法及电子设备，可以提高摄像头的对焦速度。
本申请公开一种图像处理装置，包括：
区域获取模块，用于获取摄像头成像区域中的第一感兴趣区域；
信息统计模块，用于根据所述第一感兴趣区域对所述摄像头传输的图像数据进行对焦信息的统计；以及
将所述对焦信息传输至应用处理器，使得所述应用处理器根据所述对焦信息对所述摄像头进行对焦控制。
本申请还公开一种图像处理器，其通信耦合至应用处理器，包括：
第一接口模块，用于获取来自摄像头的第一图像数据；
图像处理模块，用于对所述第一图像数据进行图像处理，以获取第二图像数据，其中，所述图像处理模块包括如权利要求1-7任一项所述的图像处理装置；
第二接口模块，用于向所述应用处理器传输所述第二图像数据。
本申请还公开一种电子设备，包括：
图像处理器，如本申请所提供的图像处理器；以及
应用处理器，用于根据来自所述图像处理器的对焦信息对摄像头进行对焦控制。
本申请还公开一种图像处理方法，应用于图像处理装置，所述图像处理装置包括区域获取模块和信息统计模块，所述图像处理方法包括：
所述区域获取模块获取摄像头成像区域中的第一感兴趣区域；
所述信息统计模块，根据所述第一感兴趣区域对所述摄像头传输的图像数据进行对焦信息的统计；以及将所述对焦信息传输至应用处理器，使得所述应用处理器根据所述对焦信息对所述摄像头进行对焦控制。
本申请提供的图像处理装置由区域获取模块和信息统计模块构成，其中，区域获取模块被配置为获取摄像头成像区域中的第一感兴趣区域；信息统计模块被配置为对摄像头传输的图像数据中属于第一感兴趣区域的部分进行对焦信息的统计，并将统计得到的对焦信息传输至应用处理器，使得应用处理器根据该对焦信息对摄像头进行对焦控制。由于本申请无需对完整的图像数据进行对焦信息统计，能够有效节省统计对焦信息所花费的时间，从而达到提高摄像头对焦速度的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像处理装置100的第一种结构示意图。
图2为图1中区域获取模块110获取到成像区域中第一感兴趣区域的示例图。
图3为图1中图像处理装置100与应用处理器的数据交互示意图。
图4为本申请实施例提供的图像处理装置100的第二种结构示意图。
图5为图4中区域获取模块110融合得到目标感兴趣区域的一示例图。
图6为图4中区域获取模块110融合得到目标感兴趣区域的另一示例图。
图7为图1中信息统计模块120的细化结构示意图。
图8为本申请实施例提供的图像处理装置100的第三种结构示意图
图9为本申请实施例提供的图像处理器10的结构示意图。
图10为本申请实施例中电子设备进行对焦控制的示意图。
图11为本申请实施例提供的图像处理方法的流程示意图。
具体实施方式
请参照图1，图1为本申请实施例提供的图像处理装置100的第一种结构示意图。该图像处理装置100可包括区域获取模块110和信息统计模块120。其中，
区域获取模块110被配置为获取摄像头成像区域中的第一感兴趣区域；
信息统计模块120被配置为根据第一感兴趣区域对摄像头传输的图像数据进行对焦信息的统计；以及将统计得到的对焦信息传输至应用处理器，使得应用处理器根据该对焦信息对摄像头进行对焦控制。
应当说明的是，区域获取模块110和信息统计模块120通过在电路排布、编程等硬件配置过程中来硬化实现，从而可以确保区域获取模块110和信息统计模块120在工作过程中的稳定性，以及降低区域获取模块110和信息统计模块120处理数据时的功耗和处理时长等。
本申请所提供的图像处理装置100可以配置在具备摄像头和应用处理器的电子设备中，用于协助电子设备的应用处理器对摄像头进行对焦控制。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备。
本申请实施例对电子设备所配置的摄像头的类型不做具体限定，可由本领域普通技术人员根据实际需要进行配置，比如，以焦距作为摄像头类型的划分标准，电子设备配置的摄像头包括但不限于标准摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
通常的，摄像头由多部分组成，主要包括镜头、马达以及图像传感器等。其中，镜头用于将外界的光信号投射至图像传感器；图像传感器用于将镜头投射的光信号进行光电转换，将光信号转换为可用的电信号，得到原始的图像数据；而马达用于驱动镜头移动，从而调整镜头和图像传感器之间的距离，以满足成像公式(或称透镜成像公式、高斯成像公式等)，使得成像清晰。其中，由马达驱动镜头移动使得成像清晰的过程即俗称的对焦。
摄像头的成像区域可以理解为摄像头在使能后所对准的区域，即摄像头能够将光信号转换为对应图像数据的区域。比如，电子设备在根据用户操作使能摄像头之后，若用户控制电子设备的摄像头对准一包括某物体的区域，则包括该物体的区域即为摄像头的成像区域。
根据以上描述，本领域普通技术人员应当理解的是，成像区域并非特指某一特定区域，而是跟随摄像头的指向所实时对准的区域。通常的，成像区域并不仅仅包括单一的物体，其中存在各种各样的物体，而用户并不会对所有其中的所有物体都感兴趣。比如，当在某场景进行人像的拍摄时，摄像头的成像区域中不仅包括拍摄的“目标人物”，还可能存在草地、树木、建筑物等其他物体，但是其中“目标人物”所处的区域才是拍摄者所感兴趣的区域。因此，可以利用感兴趣区域的对焦信息进行对焦控制，以确保用户所感兴趣的区域是清晰的，而感兴趣区域之外的区域是否清晰也无关紧要，因为成像区域在用户观感上也是清晰的，能够达到对焦的目的。基于此，本申请实施例中为了能够加快摄像头的对焦速度，利用完整图像数据中的属于感兴趣区域的部分图像数据实现对焦控制。
其中，首先由区域获取模块110按照预先配置的区域获取策略获取摄像头成像区域中的感兴趣区域，也即是成像区域中用户所感兴趣的区域，记为第一感兴趣区域。比如，请参照图2，摄像头的成像区域为图示矩形区域，而第一感兴趣区域为矩形区域中的一椭圆子区域。此处对区域获取策略的配置不做具体限制，可由本领域普通技术人员根据实际需要进行配置。比如，可以根据电子设备使能摄像头的相机应用所采用的优化模式来获取第一感兴趣区域，若相机应用采用美颜模式时，可将摄像头成像区域中的人脸区域设为第一感兴趣区域，若相机应用采用美食美食时，可将摄像头成像区域中的食品区域设为第一感兴趣区域等等。
相应的，区域获取模块110在获取到摄像头成像区域中的第一感兴趣区域之后，将该第一感兴趣区域提供给信息统计模块120，以约束信息统计模块120进行对焦信息统计的对象。另一方面，信息统计模块120对摄像头传输的图像数据中属于第一感兴趣区域的部分进行对焦信息的统计，并将统计得到的对焦信息传输至应用处理器，使得应用处理器根据该对焦信息对摄像头进行对焦控制。此处对于统计何种对焦信息不做具体限制，具体取决于应用处理器所配置的对焦算法，比如，当应用处理器配置的对焦算法为相位对焦算法时，则信息统计模块120相应统计相位对焦信息供应用处理器进行对焦控制。
由上可知，本申请提供的图像处理装置100由区域获取模块110和信息统计模块120构成，其中，区域获取模块110被配置为获取摄像头成像区域中的第一感兴趣区域；信息统计模块120被配置为对摄像头传输的图像数据中属于第一感兴趣区域的部分进行对焦信息的统计，并将统计得到的对焦信息传输至应用处理器，使得应用处理器根据该对焦信息对摄像头进行对焦控制。由于本申请无需对完整的图像数据进行对焦信息统计，能够有效节省统计对焦信息所花费的时间，从而达到提高摄像头对焦速度的目的。
可选地，在一实施例中，区域获取模块110被配置为从应用处理器获取第一感兴趣区域。
可以理解的是，电子设备配备的应用处理器通常具备强大的数据处理能力。作为一可选地实施方式，可由应用处理器对摄像头的成像区域进行感兴趣区域的识别，再由区域获取模块110从应用处理器，以此来提高获取感兴趣区域的时效性。
比如，请参照图3，图像处理装置100和应用处理器20之间建立多条传输通路，其中，一方面，区域获取模块110通过一传输通路(比如基于安全数字输入输出接口或者串行外设接口等所建立的传输通路)从应用处理器20获取摄像头成像区域中的第一感兴趣区域；另一方面，信息统计模块120根据区域获取模块110所获取到的第一感兴趣区域对摄像头传输的图像数据进行对焦信息的统计，并将通过另一传输通路(比如基于移动行业处理器接口所建立的传输通路)将统计的对焦信息传输至应用处理器20，供应用处理器20进行对焦控制。
应当说明的，本申请实施例中对于应用处理器如何进行第一感兴趣区域的识别不做具体限制，可由本领域普通技术人员根据实际需要进行配置。比如，可由应用处理器接收用户输入的选择信息(包括但不限于点选、框选等)，并根据该选择信息识别出用户的感兴趣区域；也可由应用处理器根据使能摄像头的相机应用所采用的优化模式来预测用户的感兴趣区域，当相机应用采用美颜模式时，可将摄像头成像区域中的人脸区域设为感兴趣区域，当相机应用采用美食模式时，可将摄像头成像区域中的食品区域设为感兴趣区域等等。
可选地，请参照图4，在一实施例中，图像处理装置100还包括神经网络模块130，该神经网络模块130被配置为通过预训练的感兴趣区域分割模型对来自摄像头的历史图像数据进行感兴趣区域的分割；
区域获取模块110被配置为从神经网络模块130获取第一感兴趣区域。
神经网络模块130可以为用来处理图像数据的专用处理器，可以简称为专用处理器。其可以在电路排布、编程等硬件配置过程中来进行硬化实现，从而可以保证神经网络模块130在处理图像数据过程中的稳定性，以及降低神经网络模块130处理图像数据所需的功耗和时间。可以理解的是，当神经网络模块130为专用处理器时，其功能为用来处理图像数据，且其不能够处理其他一些数据诸如文本信息。需要说明的是，在其他一些实施例中神经网络模块130也可以处理其他诸如文本信息等。
神经网络模块130处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络模块130按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像数据可以具有多行数据块，即神经网络模块130可以对一帧图像数据的一部分诸如n行数据块进行处理，其中n为正整数，诸如2、4、5等。当神经网络模块130对一帧图像数据未全部处理完，则神经网络模块130可以内置缓存来存储神经网络模块130在处理一帧图像数据过程中所处理多行数据块的数据。
需要说明的是，神经网络模块130在数据流中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络模块130处理一帧图像所预设的时间为33ms，从而可以保证神经网络模块130在快速处理图像数据的基础上，可以实现数据的实时传输。
神经网络模块130可以对动态图像数据进行处理，诸如相机应用在视频录制模式下所获取到的动态图像数据。神经网络模块130可以包括处理动态图像数据的算法，诸如夜景算法、HDR算法、虚化算法、降噪算法，超分辨率算法等。其中，动态图像数据可以包括录制视频的图像数据和预览图像的数据等。
本申请实施例中，在神经网络模块130部署有预训练的感兴趣区域分割模型，该感兴趣区域分割模型被配置为以图像数据为输入，以对应图像数据的感兴趣区域为输出。其中，可由本领域普通技术人员根据神经网络模块130的实际运行能力，选择合适的机器学习算法进行感兴趣区域分割模型的训练，此处不做具体限制。
相应的，神经网络模块130通过预训练的感兴趣区域分割模型对来自摄像头的历史图像数据进行感兴趣区域的分割。其中，历史图像数据和前述图像数据对应同一成像区域，且由摄像头在前一时刻采集。比如，在t-1时刻，摄像头采集到图像数据A，在t时刻，假定摄像头的成像区域并未变化，摄像头采集到图像数据B，则图像数据A为图像数据B的历史图像数据。其中，在t-1时刻，神经网络模块130即通过预训练的感兴趣区域分割模型对图像数据A进行感兴趣区域的分割，得到摄像头的第一感兴趣区域，在t时刻，区域获取模块110直接从神经网络模块130获取到第一感兴趣区域，供信息统计模块120进行对焦信息的统计。
可选地，在一实施例中，区域获取模块110还被配置为从应用处理器获取第二感兴趣区域；以及融合第一感兴趣区域和第二感兴趣区域得到目标感兴趣区域；
信息统计模块120还被配置为根据目标感兴趣区域对摄像头传输的图像数据进行对焦信息的统计。
本申请实施例中，即通过应用处理器进行感兴趣区域的识别，也通过神经网络模块130进行感兴趣区域识别，为做区分，此处将应用处理器所识别得到的感兴趣区域记为第二感兴趣区域。
其中，区域获取模块110在从神经网络模块130处获取到神经网络模块130所分割得到的第一感兴趣区域之后，并不立即将该第一感兴趣区域提供给信息统计模块120，而是先从应用处理器获取到应用处理器所识别得到的第二感兴趣区域，然后再按照预先配置的融合策略，对前述第一感兴趣区域以及第二感兴趣区域进行融合，将得到的融合区域记为目标感兴趣。
应当说明的是，本申请实施例中对于融合策略的配置不做具体限制，可由本领域普通技术人员根据实际需要进行配置。比如，请参照图5，区域获取模块110在进行第一感兴趣区域和第二感兴趣区域的融合时，可以取第一感兴趣区域和第二感兴趣区域的交集区域作为目标感兴趣区域；又比如，请参照图6，区域获取模块110在进行第一感兴趣区域和第二感兴趣区域的融合时，可以取第一感兴趣区域和第二感兴趣区域的并集区域作为目标感兴趣区域。
如上，区域获取模块110在融合得到目标感兴趣区域之后，将该目标感兴趣区域提供给信息统计模块120，由信息统计模块120对摄像头传输的图像数据中属于目标感兴趣区域的部分进行对焦信息的统计，并将统计得到对焦信息提供给应用处理器，供应用处理器进行对焦控制。
可选地，在一实施例中，图像数据为动态图像数据，神经网络处理模块130还被配置为对动态图像数据进行神经网络算法处理；
信息统计模块120还被配置为统计动态图像数据除对焦信息之外的其它状态信息；以及将其它状态信息和处理过的动态图像数据发送至应用处理器。
其中，神经网络处理模块130对动态图像数据进行处理的神经网络算法包括但不限于夜景算法、高动态算法、虚化算法、降噪算法，超分辨率算法等。
可选地，在一实施例中，对焦信息包括反差对焦信息和相位对焦信息，请参照图7，信息统计模块120包括：
信息计算单元1201，被配置为根据第一感兴趣区域对图像数据进行预设算法处理以获取反差对焦信息；
信息抽取单元1202，被配置为根据第一感兴趣区域从图像数据中抽取出相位对焦信息。
本申请实施例中，应用处理器采用混合对焦的方式对摄像头进行对焦控制，以对焦信息包括反差对焦信息和相位对焦信息为例进行说明。
其中，信息计算单元1201对摄像头传输的图像数据中属于第一感兴趣区域的部分进行预设算法处理以计算出反差对焦信息。信息抽取单元1202对摄像头传输的图像数据中属于第一感兴趣区域的部分进行抽取，诸如进行标记区分，以抽取出相位对焦息。
可选地，在一实施例中，信息统计模块120被配置为在接收到摄像头传输的图像数据中的一行子图像数据时，对子图像数据中属于第一感兴趣区域的部分进行对焦信息的统计。
本申请实施例中，对于一帧完整的图像数据，摄像头并不是将一帧完整的图像数据直接传输至图像处理装置，而是以行为单位，逐行的将图像数据传输至图像处理装置。示例性的，摄像头在曝光得到图像数据的第一行子图像数据之后，即将曝光得到第一行子图像数据传输至图像处理装置100，与此同时，曝光图像数据的下一行图像数据，并再次传输、曝光，如此循环，直至曝光得到图像数据的最后一行图像数据，将最后一行子图像数据传输至图像处理装置100，从而完成图像数据的传输。
为了进一步提高摄像头的对焦速度，在摄像头传输图像数据的过程中即进行对焦信息的统计。其中，信息统计模块120在每次接收到摄像头传输的图像数据中的一行子图像数据时，即对该行子图像数据中属于第一感兴趣区域的部分进行对焦信息的统计。
可选地，在一实施例中，请参照图8，图像处理装置100还包括信息指示模块140，信息指示模块140被配置为发送指示信息至应用处理器，指示应用处理器根据对焦信息对摄像头进行对焦控制。
应当说明的是，本申请实施例中对指示信息的类型不做具体限制，可由本领域普通技术人员根据实际需要进行选择，且信息指示模块140可通过与应用处理器之间的任一通路发送指示信息至应用处理器。比如，信息指示模块140与应用处理器通过GPIO(General-purpose input/output，通用输入/输出)接口直接连接，在发送指示信息至应用处理器时，信息指示模块140通过其与应用处理器之间的GPIO接口以中断信号的方式发送指示信息至应用处理器。
可选地，在一实施例中，信息指示模块140被配置为将预设寄存模块的预设标志位写为对应指示信息的预设值，使得应用处理器根据前述预设值获取到前述指示信息。
其中，本申请实施例对于选用预设寄存模块的哪一个标志位作为预设标志位来进行指示信息的传递不做具体限定，可由本领域普通技术人员根据实际需要进行选择。应当说明的是，针对预设寄存模块中的预设标志位，本申请中预先建立预设值与指示信息的对应关系。其中，对于采用哪一个值来表征指示信息，本申请实施例中同样不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，对于预设寄存模块的预设标志位，本申请实施例中采用“1”来表征前述指示信息，相应的，信息指示模块140在需要向应用处理器发送前述指示信息时，将预设寄存模块中预设标志位的值写为“1”，使得预设寄存模块发送中断信号到应用处理器，告知应用处理器当前有数据写入，应用处理器相应读取预设寄存模块中预设标志位的值，此时为“1”，从而获取到前述指示信息，利用信息统计模块120传输的前述对焦信息对摄像头进行对焦控制。
应当说明的是，本申请实施例中可由本领域普通技术人员根据实际需要选取预设寄存模块的类型，比如，本申请实施例中采用PCIE寄存模块实现指示信息的传输。
请参照图9，本申请实施例还提供一种图像处理器10，其通信耦合至应用处理器，包括：
第一接口模块200，用于获取来自摄像头的第一图像数据；
图像处理模块11，用于对第一图像数据进行图像处理，以获取第二图像数据，其中，图像处理模块11包括如本申请提供的图像处理装置100；
第二接口模块300，用于向应用处理器传输第二图像数据。
其中，摄像头由多部分组成，主要包括镜头、马达以及图像传感器等。其中，镜头用于将外界的光信号投射至图像传感器；图像传感器用于将镜头投射的光信号进行光电转换，将光信号转换为可用的电信号，得到原始的图像数据；而马达用于驱动镜头移动，从而调整镜头和图像传感器之间的距离，以满足成像公式(或称透镜成像公式、高斯成像公式等)，使得成像清晰。其中，由马达驱动镜头移动使得成像清晰的过程即俗称的对焦。
第一接口模块200和第二接口模块300均可以为移动产业处理器接口(MobileIndustry Processor Interface，MIPI)。其中，第一接口模块200获取来自图像传感器的第一图像数据，该第一图像数据可为动态图像数据。
图像处理模块11，用于对第一图像数据进行指定的图像处理，比如图像优化处理，以提升图像质量。其中，图像处理模块11包括本申请提供的图像处理装置100，图像处理模块11在接收的图像传感器传输第一图像数据的过程中，即通过内置的图像处理装置100进行对焦信息统计，并将统计得到的对焦信息提供给应用处理器进行对焦控制，具体请参照以上实施例中的相关描述，此处不再赘述。此外，图像处理模块11还摄像头传输的第一图像数据进行指定的图像优化处理，相应得到第二图像数据。
在图像处理模块11完成对第一图像数据的指定图像优化处理之后，第二接口模块300接收图像处理模块11对第一图像数据的处理结果，也即是第二图像数据。第二接口模块300与应用处理器通信耦合，用于将第二图像数据传输至应用处理器，供应用处理器进行后处理，以进行显示或存储等。
示例性的，在完成后处理之后，应用处理器可以根据后处理后的图像数据的类型执行相应的操作。应当说明的是，本申请实施例中，对图像数据进行处理并不改变图像数据的类型，比如，原始的图像数据为动态图像数据，相应经过处理的图像数据也为动态图像数据。
其中，当后处理后的图像数据为动态图像数据时，应用处理器可以预览该后处理后的图像数据或者对其进行视频编码等。比如，当原始的图像数据为预览图像序列中一帧动态图像数据时，相应后处理后的图像数据也为动态图像数据，应用处理器将预览前述后处理后的图像数据；当原始的图像数据为视频图像序列中一帧动态图像数据时，相应后处理后的图像数据也为动态图像数据，应用处理器将根据前述后处理后的图像数据进行视频编码。
本申请实施例还提供一种电子设备，该电子设备包括：
摄像头，被配置为采集图像数据；
图像处理器，如本申请所提供的图像处理器；
应用处理器，被配置为根据来自图像处理器的对焦信息对摄像头进行对焦控制。
比如，请参照图10，电子设备包括图像处理器10、应用处理器20以及摄像头。其中，应用处理器20在触发对焦(可以是用户触发，也可以自动触发)时，识别到摄像头成像区域中的第一感兴趣区域，并将识别到的第一感兴趣区域提供给图像处理器10中的图像处理装置100；图像处理器10中的第一接口模块200接收摄像头30采集的图像数据，并提供给图像处理装置100；图像处理装置根据第一感兴趣区域对图像数据进行对焦信息的统计，并将统计得到的对焦信息提供给应用处理器20，以及传输指示信息至应用处理器20，指示应用处理器20根据对焦信息对摄像头30进行对焦控制。
本申请还提供一种图像处理方法，该图像处理方法应用于本申请所提供的图像处理装置，该图像处理装置包括区域获取模块和信息统计模块，请参照图11，该图像处理方法包括：
在210中，区域获取模块获取摄像头成像区域中的第一感兴趣区域；
在220中，信息统计模块根据第一感兴趣区域对摄像头传输的图像数据进行对焦信息的统计；
在230中，信息统计模块将对焦信息传输至应用处理器，使得应用处理器根据对焦信息对摄像头进行对焦控制。
可选地，在一实施例中，区域获取模块获取摄像头成像区域中的第一感兴趣区域，包括：
区域获取模块从应用处理器获取摄像头成像区域中的第一感兴趣区域。
可选地，在一实施例中，图像处理装置还包括神经网络模块，本申请所通过的图像处理方法还包括：
经网络模块通过预训练的感兴趣区域分割模型对来自摄像头的历史图像数据进行感兴趣区域的分割；
区域获取模块获取摄像头成像区域中的第一感兴趣区域，包括：
区域获取模块从神经网络模块获取摄像头成像区域中的第一感兴趣区域。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
区域获取模块从应用处理器获取第二感兴趣区域；
区域获取模块融合第一感兴趣区域和第二感兴趣区域得到目标感兴趣区域；
信息统计模块根据目标感兴趣区域对摄像头传输的图像数据进行对焦信息的统计。
可选地，在一实施例中，对焦信息包括反差对焦信息和相位对焦信息，信息统计模块包括信息计算单元和信息抽取单元，信息统计模块根据第一感兴趣区域对摄像头传输的图像数据进行对焦信息的统计，包括：
信息计算单元根据第一感兴趣区域对图像数据进行预设算法处理以获取反差对焦信息；
信息抽取单元根据第一感兴趣区域从图像数据中抽取出相位对焦信息。
可选地，在一实施例中，信息统计模块根据第一感兴趣区域对摄像头传输的图像数据进行对焦信息的统计，包括：
信息统计模块在接收到摄像头传输的图像数据中的一行子图像数据时，对子图像数据中属于第一感兴趣区域的部分进行对焦信息的统计。
可选地，在一实施例中，图像处理装置还包括信息指示模块，本申请提供的图像处理方法还包括：
信息指示模块发送指示信息至应用处理器，指示应用处理器根据对焦信息对摄像头进行对焦控制。
应当说明的是，详细说明请参照以上实施例中对于图像处理装置的相关详细说明，在此不再赘述。
以上对本申请实施例提供的图像处理装置、图像处理器、电子设备以及图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理装置，其特征在于，包括：
区域获取模块，用于获取摄像头成像区域中的第一感兴趣区域；
信息统计模块，用于根据所述第一感兴趣区域对所述摄像头传输的图像数据进行对焦信息的统计；以及
将所述对焦信息传输至应用处理器，使得所述应用处理器根据所述对焦信息对所述摄像头进行对焦控制。
2.根据权利要求1所述的图像处理装置，其特征在于，所述区域获取模块用于从所述应用处理器获取所述第一感兴趣区域。
3.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括神经网络模块，用于通过预训练的感兴趣区域分割模型对来自所述摄像头的历史图像数据进行感兴趣区域的分割；
所述区域获取模块用于从所述神经网络模块获取所述第一感兴趣区域。
4.根据权利要求3所述的图像处理装置，其特征在于，所述区域获取模块还用于从所述应用处理器获取第二感兴趣区域；以及融合所述第一感兴趣区域和所述第二感兴趣区域得到目标感兴趣区域；
所述信息统计模块还用于根据所述目标感兴趣区域对所述摄像头传输的图像数据进行对焦信息的统计。
5.根据权利要求1所述的图像处理装置，其特征在于，所述对焦信息包括反差对焦信息和相位对焦信息，所述信息统计模块包括：
信息计算单元，用于根据所述第一感兴趣区域对所述图像数据进行预设算法处理以获取所述反差对焦信息；
信息抽取单元，用于根据所述第一感兴趣区域从所述图像数据中抽取出所述相位对焦信息。
6.根据权利要求1所述的图像处理装置，其特征在于，所述信息统计模块用于在接收到所述摄像头传输的图像数据中的一行子图像数据时，对所述子图像数据中属于所述第一感兴趣区域的部分进行对焦信息的统计。
7.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括信息指示模块，用于发送指示信息至所述应用处理器，指示所述应用处理器根据所述对焦信息对所述摄像头进行对焦控制。
8.一种图像处理器，其通信耦合至应用处理器，其特征在于，包括：
第一接口模块，用于获取来自摄像头的第一图像数据；
图像处理模块，用于对所述第一图像数据进行图像处理，以获取第二图像数据，其中，所述图像处理模块包括如权利要求1-7任一项所述的图像处理装置；
第二接口模块，用于向所述应用处理器传输所述第二图像数据。
9.一种电子设备，其特征在于，包括：
图像处理器，如权利要求8所述的图像处理器；以及
应用处理器，用于根据来自所述图像处理器的对焦信息对摄像头进行对焦控制。
10.一种图像处理方法，应用于图像处理装置，其特征在于，所述图像处理装置包括区域获取模块和信息统计模块，所述图像处理方法包括：
所述区域获取模块获取摄像头成像区域中的第一感兴趣区域；
所述信息统计模块根据所述第一感兴趣区域对所述摄像头传输的图像数据进行对焦信息的统计；以及将所述对焦信息传输至应用处理器，使得所述应用处理器根据所述对焦信息对所述摄像头进行对焦控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242672.5A CN114466130A (zh) | 2020-11-09 | 2020-11-09 | 图像处理器、装置、方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242672.5A CN114466130A (zh) | 2020-11-09 | 2020-11-09 | 图像处理器、装置、方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114466130A true CN114466130A (zh) | 2022-05-10 |
Family
ID=81404618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011242672.5A Pending CN114466130A (zh) | 2020-11-09 | 2020-11-09 | 图像处理器、装置、方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114466130A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717417A (zh) * | 2013-12-16 | 2015-06-17 | 展讯通信（上海）有限公司 | 一种成像系统快速自动对焦方法及装置 |
| CN107257433A (zh) * | 2017-06-16 | 2017-10-17 | 广东欧珀移动通信有限公司 | 对焦方法、装置、终端和计算机可读存储介质 |
| CN108184055A (zh) * | 2017-12-28 | 2018-06-19 | 上海传英信息技术有限公司 | 一种基于智能终端的对焦方法及对焦装置 |
| US20180181827A1 (en) * | 2016-12-22 | 2018-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for processing image |
| CN109963072A (zh) * | 2017-12-26 | 2019-07-02 | 广东欧珀移动通信有限公司 | 对焦方法、装置、存储介质及电子设备 |
| CN110070083A (zh) * | 2019-04-24 | 2019-07-30 | 深圳市微埃智能科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110290323A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110381244A (zh) * | 2019-08-26 | 2019-10-25 | 浙江大华技术股份有限公司 | 一种摄像头及低照度下提升图像质量的方法 |
| CN110572573A (zh) * | 2019-09-17 | 2019-12-13 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
| CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
-
2020
- 2020-11-09 CN CN202011242672.5A patent/CN114466130A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717417A (zh) * | 2013-12-16 | 2015-06-17 | 展讯通信（上海）有限公司 | 一种成像系统快速自动对焦方法及装置 |
| US20180181827A1 (en) * | 2016-12-22 | 2018-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for processing image |
| CN107257433A (zh) * | 2017-06-16 | 2017-10-17 | 广东欧珀移动通信有限公司 | 对焦方法、装置、终端和计算机可读存储介质 |
| CN109963072A (zh) * | 2017-12-26 | 2019-07-02 | 广东欧珀移动通信有限公司 | 对焦方法、装置、存储介质及电子设备 |
| CN108184055A (zh) * | 2017-12-28 | 2018-06-19 | 上海传英信息技术有限公司 | 一种基于智能终端的对焦方法及对焦装置 |
| CN110070083A (zh) * | 2019-04-24 | 2019-07-30 | 深圳市微埃智能科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110290323A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110381244A (zh) * | 2019-08-26 | 2019-10-25 | 浙江大华技术股份有限公司 | 一种摄像头及低照度下提升图像质量的方法 |
| CN110572573A (zh) * | 2019-09-17 | 2019-12-13 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
| CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671106B (zh) | 一种图像处理方法、装置与设备 | |
| US7388605B2 (en) | Still image capturing of user-selected portions of image frames | |
| CN103685940A (zh) | 一种通过表情识别拍摄照片的方法 | |
| CN101931746B (zh) | 摄像装置以及摄像方法 | |
| CN110691192B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113840076A (zh) | 一种拍摄变焦方法、电子设备及存储介质 | |
| CN110809101A (zh) | 图像变焦处理方法及装置、电子设备、存储介质 | |
| WO2021238522A1 (zh) | 多媒体处理芯片、电子设备和图像处理方法 | |
| CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
| CN113810593B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110753182B (zh) | 成像设备的调节方法和设备 | |
| CN112822371B (zh) | 图像处理芯片、应用处理芯片、数据统计系统及方法 | |
| WO2021238506A1 (zh) | 多媒体处理芯片、电子设备及动态图像处理方法 | |
| US8345110B2 (en) | Image processing apparatus and storage medium | |
| CN114697528A (zh) | 图像处理器、电子设备及对焦控制方法 | |
| CN113744119A (zh) | 多媒体处理芯片和电子设备 | |
| CN114466130A (zh) | 图像处理器、装置、方法及电子设备 | |
| CN110266967A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN114143471B (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 | |
| CN113873142A (zh) | 多媒体处理芯片、电子设备和动态图像处理方法 | |
| CN110475044B (zh) | 图像传输方法和装置、电子设备、计算机可读存储介质 | |
| CN113676673A (zh) | 图像采集方法、图像采集系统及无人设备 | |
| JP3667065B2 (ja) | 撮像記録装置及びその制御方法 | |
| CN113837937A (zh) | 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法 | |
| JP2005184095A (ja) | 撮像装置、動画撮影方法、及び撮影制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |