CN115546486A - 仿生视觉传感器、成像方法以及无人机图传系统 - Google Patents

仿生视觉传感器、成像方法以及无人机图传系统 Download PDF

Info

Publication number
CN115546486A
CN115546486A CN202211266499.1A CN202211266499A CN115546486A CN 115546486 A CN115546486 A CN 115546486A CN 202211266499 A CN202211266499 A CN 202211266499A CN 115546486 A CN115546486 A CN 115546486A
Authority
CN
China
Prior art keywords
area
resolution
image
sampling
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211266499.1A
Other languages
English (en)
Inventor
代柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanshixin Intelligent Technology Co ltd
Original Assignee
Shenzhen Yuanshixin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuanshixin Intelligent Technology Co ltd filed Critical Shenzhen Yuanshixin Intelligent Technology Co ltd
Priority to CN202211266499.1A priority Critical patent/CN115546486A/zh
Publication of CN115546486A publication Critical patent/CN115546486A/zh
Priority to US18/327,768 priority patent/US20240127453A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了仿生视觉传感器、成像方法以及无人机图传系统，其中，仿生视觉传感器包括：二维像素阵列，包括多个传感器像素；关注区域模块，获得基于二维像素阵列的至少一关注点位置信息；图像分割模块，根据关注点位置信息获得二维像素阵列的至少一第一区域以及第一区域以外的至少一第二区域；区域成像控制模块，基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域的像素采样率大于第二区域的像素采样率。本发明能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。

Description

仿生视觉传感器、成像方法以及无人机图传系统
技术领域
本发明涉及光敏图像传感器领域，具体地说，涉及仿生视觉传感器、成像方法以及无人机图传系统。
背景技术
图像分辨率指每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels PerInch)，通常叫做像素每英寸。分辨率决定了位图图像细节的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰。同时，它也会增加文件占用的存储空间。对于许多基于视觉的应用，实时采集高帧率、高质量的图像至关重要。例如：安防监控，视频会议，远程手术，基于视觉的路径规划和导航，等等。在过去的20多年中，随着CMOS技术高速发展，图像传感器的分辨率越来越高。如今，上亿像素的传感器已经出现在商用市场。一方面，高像素有效地提升了图片或视频质量；另一方面，实时传输高分辨率的图像，对系统的带宽和功耗提出了极高的要求。
图像传感器通常包含一个二维像素阵列。当前图像传感器的设计按照行、列扫描的方式工作。通常包含三种图像输出模式：
全分辨率输出模式。二维像素阵列中的每个像素均输出一个有效数据，优点是分辨率高；缺点是图片体积大、数据传输时间长、帧率低。
像素合并输出模式。临近的若干(通常是4个或9个或16个)像素产生的信号在模拟域或数字域合并成一个大信号输出。好处是可以提升小尺寸像素在暗光场景下的信噪比，减少数据量、提高帧率；缺点是损失分辨率。
采样或像素跳过输出模式。抽取像素阵列中一定比例的像素输出数据。有多种抽取方式，可以均匀分布抽取(如下图右侧所示)，也可以间隔行或间隔列抽取(未画出)。好处是可以实现高帧率，缺点是分辨率低、容易丢失图像细节。
由于人眼主要通过占据整个视野范围1％的中央凹(Fovea)区域来获取高清晰度的视觉数据。视觉中心外围图像逐渐模糊(由于视锥细胞变少)。外围视野主要用于捕获物体的运动和对比信息，通过眼球运动将感兴趣区域(ROI，region of interest)移到中央凹位置观察。以无人机尤其是穿越机(高速无人机)的无人机无线图传为例，在高速飞行的时候会造成通讯质量的降低，如果还需要传输全分辨率的高清图片，则会对带宽和功耗有极大要求，而且操作者在操作无人机的时候，关注力主要集中在屏幕的中央区域，对于周边区域的像素没有高分辨率的要求，也会造成信息传输的浪费。无论以上三种输出模式中的哪一种都无法最佳适配无人机无线图传的使用场景。
现有图传技术的缺点：
(1)对于实时监控的场景中，低分辨率的图像虽然不占带宽，但是严重降低了导航操作的准确性。
(2)但是如果一直传输全图高分辨率的要求会大大消耗带宽和功耗，形成两难困境。
有鉴于此，本发明提出了仿生视觉传感器、成像方法以及无人机图传系统。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供仿生视觉传感器、成像方法以及无人机图传系统，克服了现有技术的困难，能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。
本发明的实施例提供一种图像传感器，包括：
二维像素阵列，包括多个传感器像素；
关注区域模块，获得基于所述二维像素阵列的至少一关注点位置信息；
图像分割模块，根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
优选地，所述关注区域模块包括一关注预测神经网络，将所述实时图像输入关注预测神经网络，获得至少一关注点位置信息。
优选地，所述关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息。
优选地，所述二维像素阵列对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域维持最高分辨率，所述第二区域的降低像素采样率。
优选地，所述二维像素阵列对于每一帧先以最低分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域提升像素采样率，所述第二区域的维持最低分辨率。
优选地，将当前帧的实时图像输入关注预测神经网络，获得下一帧的至少一关注点位置信息。
优选地，还包括一个采样阵列；
所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
优选地，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；
所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分辨率；
所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。
优选地，所述关注区域模块接收一眼球追踪装置产生的用户眼球于所述二维像素阵列的关注点的位置信息。
本发明的实施例还提供一种仿生视觉成像方法，包括以下步骤：
获得基于二维像素阵列的至少一关注点位置信息；
根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
本发明的实施例还提供一种无人机图传系统，包括：
一仿生视觉传感器，被设置于无人机，基于关注点位置信息进行分区图像采样并生成一实时图像，所述实时图像中所述关注点位置信息周围的区域图像的分辨率大于其他区域图像的分辨率；以及
一显示组件，接收并显示所述实时图像并跟踪用户眼球于所述仿生视觉传感器中二维像素阵列的关注点位置，以生成关注点位置信息。
优选地，所述仿生视觉传感器包括：
二维像素阵列，包括多个传感器像素；
第一通讯模块，用于接收关注点位置信息并发送所述实时图像；
图像分割模块，根据接收到的关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成所述实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
优选地，还包括一个采样阵列；
所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
优选地，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；
所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分辨率；
所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。
优选地，所述显示组件包括：
一第二通讯模块，用于接收所述实时图像并发送关注点位置信息；
一显示装置，用于显示所述实时图像；以及
一眼球追踪装置，跟踪用户眼球于所述二维像素阵列的关注点位置，并生成所述关注点位置信息。
优选地，所述显示组件被设置于以下装置中的一种：
一具有眼球追踪功能的智能头盔；
一具有眼球追踪功能的智能眼镜；
一具有眼球追踪功能的手机；
一具有眼球追踪功能的显示屏。
本发明的目的在于提供仿生视觉传感器、成像方法以及无人机图传系统，能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的仿生视觉传感器的模块示意图。
图2是运行本发明的图像传感器的电路模块示意图。
图3是本发明中采样阵列的工作原理示意图。
图4是本发明的仿生视觉成像方法的流程图。
图5至9是运行本发明的仿生视觉成像方法生成实时图像的过程示意图。
图10是本发明的无人机图传系统的模块示意图。
图11是实施本发明的无人机图传系统的场景示意图。
图12是运行本发明的无人机图传系统的电路模块示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。
虽然在一些实例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
图1是本发明的仿生视觉传感器的模块示意图。如图1所示，本发明的图像传感器51包括：二维像素阵列511、关注区域模块512、图像分割模块513以及区域成像控制模块514。其中，二维像素阵列511包括多个传感器像素。关注区域模块512获得基于二维像素阵列511的至少一关注点位置信息。图像分割模块513根据关注点位置信息获得二维像素阵列511的至少一第一区域以及第一区域以外的至少一第二区域。区域成像控制模块514基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域的像素采样率大于第二区域的像素采样率。本发明提供了一种智能仿生视觉传感器，采用符合人眼视觉特性(只有注视点区域清晰，外围模糊)的图像采集模式，兼顾了关键区域的高分辨率，以及传感器整体功耗和帧率。
在一个优选实施例中，关注区域模块512包括一关注预测神经网络，将实时图像输入关注预测神经网络，获得至少一关注点位置信息，从而能够实现基于视觉AI神经网络自动追踪关注点，生成分辨力不均一的图片。
在一个优选实施例中，关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息，例如，在交通使用场景中，会优先将识别出来的对向来车或者行人进行局部区域高分辨率的采集。当第一区域具有对向来车，另一个区域具有行人的情况下，可以将这两个区域分别进行高分辨率的采集，以便后续神经网络能够更精确地识别这两部分的对象，提升的导航安全性，但不以此为限。
在一个优选实施例中，关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息，但不以此为限。
在一个优选实施例中，二维像素阵列对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息。区域成像控制模块基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域维持最高分辨率，第二区域的降低像素采样率，但不以此为限。
在一个优选实施例中，二维像素阵列对于每一帧先以最低分辨率的像素采样率，获得一初步图像，将初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息。区域成像控制模块基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域提升像素采样率，第二区域的维持最低分辨率，但不以此为限。
在一个优选实施例中，二维像素阵列511还包括一个采样阵列。区域成像控制模块514基于第一分辨率自第一区域中选出第一传感器像素组，基于第二分辨率自第二区域中选出第二传感器像素组，第一分辨率大于第二分辨率，采样阵列基于第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
在一个优选实施例中，采样阵列具有若干可接收或断开每个传感器像素的传输通道。采样阵列根据第一分辨率更新对第一区域的第一采样子阵列中数据传输通道的状态，令第一采样子阵列中开启的数据传输通道的数量满足第一分辨率。采样阵列根据第二分辨率更新对第二区域的第二采样子阵列中数据传输通道的状态，令第二采样子阵列中开启的数据传输通道的数量满足第二分辨率，但不以此为限。
在一个优选实施例中，关注区域模块512接收一眼球追踪装置产生的用户眼球于所述二维像素阵列511的关注点的位置信息，但不以此为限。本实施例中的眼球追踪装置可以是眼动仪等装置(例如：Tobii眼动仪等)。现代眼动仪的结构一般包括四个系统，即光学系统，瞳孔中心坐标提取系统，视景与瞳孔坐标迭加系统和图像与数据的记录分析系统，但不以此为限。
在一个优选实施例中，为了避免二线性图片的，可以以关注点位置为圆心，通过图像分割模块生成一个圆形和环绕圆形的多道同心圆环，并建立圆形和每个同心圆环范围内像素的映射关系。最后，区域成像控制模块则将越靠近关注点位置的同心圆环，采用更高的分辨率进行成像；而越原理关注点位置的同心圆环，采用更低的分辨率进行成像，从而更接近自然情况下的视觉效果，避免用户应为视觉不真实而感受到晕眩。
在一个优选实施例中，本发明被使用于运行AR/VR/MR的智能穿戴设备，智能穿戴设备为智能眼镜或者智能头盔，但不以此为限。智能穿戴设备中设有眼球追踪装置和本发明的图像传感器，通过实时追踪用户眼球于图像传感器的二维像素阵列的关注点，来调整二维像素阵列各区域的成像分辨率，例如：将用户人眼关注的局部区域采用高分辨率进行第一成像，而将区域区域进行低分辨率进行第二成像，并实时显示第一成像和第二成像组合后的图片。
图2是运行本发明的图像传感器的电路模块示意图。图3是本发明中采样阵列的工作原理示意图。如图2、3所示，本发明的图像传感器的电路模块包括：像素阵列11、行控制电路13、系统控制单元14、ADC阵列15以及ROI判定单元16。
其中，像素阵列11包括多个传感器像素12，呈二维行列排布的像素阵列11中的每个像素负责按照时序完成光电转换，并将电信号输出给对应列的模数转换器12(ADC，Analog-to-digital converter)。
ROI判定单元16用于负责根据接收到的图像数据判定ROI，动态调整输出对应的控制信号。ROI判定单元16通过获得基于像素阵列11的至少一关注点位置信息。
系统控制单元14可以控制ADC阵列中，某一ADC的开启或关断。系统控制单元14根据关注点位置信息获得像素阵列11的至少一第一区域以及第一区域以外的至少一第二区域，
ADC阵列15用于负责接收对应列中，被行控制电路控制完成曝光时序的某一像素的模拟信号，并将该模拟信号转换为数字信号输出。ADC阵列15，基于第一区域和第二区域分别获得图像数据生成一实时图像17，第一区域的像素采样率大于第二区域的像素采样率。与传统的ADC阵列设计相比，本发明中的ADC阵列对每个ADC增加了控制开关，可以单独控制每个ADC的开启或关断，控制开关的工作状态由上述系统控制单元14控制。ROI区域内所有ADC都正常工作。非ROI区域内，ADC间隔激活，对图像进行跳过读取操作。ROI判定单元的设计，可以由神经网络或专用集成电路来实现完成，具体可以根据实际应用的需求变化。另外，ROI判定单元可以作为一个工作模块，与传感器芯片集成在一起，也可以是一颗独立的芯片。例如，对于某些单一种类图像识别的应用(例如智慧城市交通应用中对车牌、行人的连续识别)，由于只需要识别特定的图像，图像特征类似，ROI判定单元的计算量较小，可以使用小型神经网络，与传感芯片集成在一起。另外，对于虚拟现实、增强现实和混合现实应用，ROI判定单元可以与眼球追踪模块结合：眼球追踪模块，实时追踪视场内人眼注视点信息。ROI判定单元使用图像数据结合注视点位置信息，将像素阵列划分为全分辨率区域和采样区域。系统控制单元发送相应的控制信号，控制对应ADC的关断或开启。例如，使用智能眼镜观看无人机采集的飞行视角画面。
ROI判定单元16负责根据接收到的图像数据判定ROI，动态调整输出对应的控制信号。ROI判定单元16包括一关注预测神经网络，将实时图像输入关注预测神经网络，获得至少一关注点位置信息。关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息。
像素阵列11可以对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息。ADC阵列15基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域维持最高分辨率，第二区域的降低像素采样率。ADC阵列15可以根据系统控制单元14的控制信息基于第一分辨率自第一区域中选出第一传感器像素组，基于第二分辨率自第二区域中选出第二传感器像素组，第一分辨率大于第二分辨率，采样阵列基于第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。ADC阵列15具有若干可接收或断开每个传感器像素的传输通道。采样阵列根据第一分辨率更新对第一区域的第一采样子阵列中数据传输通道的状态，将数据传输通道更新为关闭状态的数据传输通道151或开启状态的数据传输通道152。使得第一采样子阵列中开启的数据传输通道152的数量满足第一分辨率。采样阵列根据第二分辨率更新对第二区域的第二采样子阵列中数据传输通道的状态，令第二采样子阵列中开启的数据传输通道152的数量满足第二分辨率。
与传统图像传感器相比，本发明的视觉传感器增加了改进的ADC阵列和ROI判定模块。通过改进的ADC阵列设计，在每列ADC上增加对应的开关单元，允许实现可控的分区域全分辨率输出或跳过读出操作。并且，ROI判定单元依据图像特征，和/或，眼球追踪数据，划分ROI区域和采样区域。
本发明的图像传感器的符合人眼视觉特性。采集并输出感兴趣区域(ROI)的全分辨率图像，外围区域执行低分辨率采样。可以实现图像关键区域的高分辨率采集和输出，压缩整体数据量，提高帧率，降低功耗。
图4是本发明的仿生视觉成像方法的流程图。如图4所示，本发明的仿生视觉成像方法包括以下步骤：
S110、获得基于二维像素阵列的至少一关注点位置信息。
S120、根据关注点位置信息获得二维像素阵列的至少一第一区域以及第一区域以外的至少一第二区域。
S130、基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域的像素采样率大于第二区域的像素采样率。
图5至9是运行本发明的仿生视觉成像方法生成实时图像的过程示意图。
如图5所示，首先，二维像素阵列2对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息21。
如图6所示，根据关注点位置信息获得二维像素阵列的至少一第一区域22以及位于第一区域22内的像素传感器24。
如图7所示，根据第一区域22内以外的区域获得第二区域23以及位于第二区域23内的像素传感器25。
如图8所示，基于第一区域22和第二区域23分别获得图像数据生成一实时图像，第一区域22维持最高分辨率，即采集第一区域22内的每个像素传感器24的图像信息获得对应区域最高分辨率的局部图像。第二区域23的降低像素采样率，即基于低像素采样率，对第二区域23内的部分像素传感器24的图像信息采样，以获得低像素采样率的局部图像，
如图9所示，最后组合第一区域22和第二区域23的局部图像获得的分辨率不均匀的实时图像26。实时图像中关注点位置周围的区域27为最高分辨率，其余未被关注的区域28为低分辨率，但不以此为限。
图10是本发明的无人机图传系统的模块示意图。如图10所示，本发明的无人机图传系统，包括：一仿生视觉传感器52和一显示组件53。仿生视觉传感器52被设置于无人机，基于关注点位置信息进行分区图像采样并生成一实时图像，实时图像中关注点位置信息周围的区域图像的分辨率大于其他区域图像的分辨率。显示组件53接收并显示实时图像并跟踪用户眼球于仿生视觉传感器52中二维像素阵列521的关注点位置，以生成关注点位置信息，但不以此为限。
在一个优选实施例中，仿生视觉传感器52包括：
二维像素阵列521，包括多个传感器像素。
第一通讯模块522，用于接收关注点位置信息并发送实时图像。
图像分割模块523，根据接收到的关注点位置信息获得二维像素阵列521的至少一第一区域以及第一区域以外的至少一第二区域。以及
区域成像控制模块524，基于第一区域和第二区域分别获得图像数据生成实时图像，第一区域的像素采样率大于第二区域的像素采样率，但不以此为限。
在一个优选实施例中，还包括一个采样阵列。
区域成像控制模块524基于第一分辨率自第一区域中选出第一传感器像素组，基于第二分辨率自第二区域中选出第二传感器像素组，第一分辨率大于第二分辨率，采样阵列基于第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像，但不以此为限。
在一个优选实施例中，采样阵列具有若干可接收或断开每个传感器像素的传输通道。
采样阵列根据第一分辨率更新对第一区域的第一采样子阵列中数据传输通道的状态，令第一采样子阵列中开启的数据传输通道的数量满足第一分辨率。
采样阵列根据第二分辨率更新对第二区域的第二采样子阵列中数据传输通道的状态，令第二采样子阵列中开启的数据传输通道的数量满足第二分辨率，但不以此为限。
在一个优选实施例中，显示组件53包括：
一第二通讯模块531，用于接收实时图像并发送关注点位置信息。
一显示装置532，用于显示实时图像。以及
一眼球追踪装置533，跟踪用户眼球于二维像素阵列521的关注点位置，并生成关注点位置信息，但不以此为限。
在一个优选实施例中，显示组件被设置于以下装置中的一种：
一具有眼球追踪功能的智能头盔。
一具有眼球追踪功能的智能眼镜。
一具有眼球追踪功能的手机。
一具有眼球追踪功能的显示屏，但不以此为限。
图11是实施本发明的无人机图传系统的场景示意图。图12是运行本发明的无人机图传系统的电路模块示意图。如图11和12所示，本发明的仿生视觉传感器2被设置于无人机的相机中，显示组件3被设置于一具有眼球追踪功能的智能头盔。与图2中实施例的区别在于，本实施例中，通过具有眼球追踪功能的智能头盔来显示拍摄到的实时图像17，并跟踪用户眼球视线基于图像的位置，从而获得关注点位置信息35，并将关注点位置信息发送到无人机。
仿生视觉传感器2同样包括：像素阵列11、行控制电路13、系统控制单元14、ADC阵列15以及ROI判定单元16。其中，像素阵列11包括多个传感器像素12，呈二维行列排布的像素阵列11中的每个像素负责按照时序完成光电转换，并将电信号输出给对应列的模数转换器12(ADC，Analog-to-digital converter)。ROI判定单元16用于负责根据接收到的图像数据判定ROI，动态调整输出对应的控制信号。ROI判定单元16通过获得基于像素阵列11的至少一关注点位置信息。系统控制单元14可以控制ADC阵列中，某一ADC的开启或关断。系统控制单元14根据关注点位置信息获得像素阵列11的至少一第一区域以及第一区域以外的至少一第二区域。ADC阵列15用于负责接收对应列中，被行控制电路控制完成曝光时序的某一像素的模拟信号，并将该模拟信号转换为数字信号输出。ADC阵列15，基于第一区域和第二区域分别获得图像数据生成一实时图像17，第一区域的像素采样率大于第二区域的像素采样率。ROI判定单元16负责根据接收到的智能头盔发送的关注点位置信息35来判定ROI，动态调整输出对应的控制信号，此处不再赘述。
显示组件53中通过显示屏31显示第二通讯模块531接收的实时图像35，眼动仪34跟踪用户眼球于二维像素阵列521的关注点位置，并生成关注点位置信息35，并通过第二通讯模块531发送给无人机。
基于关注点位置信息进行分区图像采样并生成一实时图像，实时图像中关注点位置信息周围的区域图像的分辨率大于其他区域图像的分辨率。显示组件53接收并显示实时图像并跟踪用户眼球于仿生视觉传感器52中二维像素阵列521的关注点位置，以生成关注点位置信息，但不以此为限。
综上，本发明的目的在于提供曝光控制方法、系统、设备及存储介质，能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种仿生视觉传感器，其特征在于，包括：
二维像素阵列，包括多个传感器像素；
关注区域模块，获得基于所述二维像素阵列的至少一关注点位置信息；
图像分割模块，根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
2.如权利要求1所述的仿生视觉传感器，其特征在于，所述关注区域模块包括一关注预测神经网络，将所述实时图像输入关注预测神经网络，获得至少一关注点位置信息。
3.如权利要求2所述的仿生视觉传感器，其特征在于，所述关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息。
4.如权利要求2所述的仿生视觉传感器，其特征在于，所述二维像素阵列对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域维持最高分辨率，所述第二区域的降低像素采样率。
5.如权利要求2所述的仿生视觉传感器，其特征在于，所述二维像素阵列对于每一帧先以最低分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域提升像素采样率，所述第二区域的维持最低分辨率。
6.如权利要求2所述的仿生视觉传感器，其特征在于，将当前帧的实时图像输入关注预测神经网络，获得下一帧的至少一关注点位置信息。
7.如权利要求1所述的仿生视觉传感器，其特征在于，还包括一个采样阵列；
所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
8.如权利要求7所述的仿生视觉传感器，其特征在于，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；
所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分辨率；
所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。
9.如权利要求1所述的仿生视觉传感器，其特征在于，所述关注区域模块接收一眼球追踪装置产生的用户眼球于所述二维像素阵列的关注点的位置信息。
10.一种仿生视觉成像方法，其特征在于，包括以下步骤：
获得基于二维像素阵列的至少一关注点位置信息；
根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
11.一种无人机图传系统，其特征在于，包括：
一仿生视觉传感器，被设置于无人机，基于关注点位置信息进行分区图像采样并生成一实时图像，所述实时图像中所述关注点位置信息周围的区域图像的分辨率大于其他区域图像的分辨率；以及
一显示组件，接收并显示所述实时图像并跟踪用户眼球于所述仿生视觉传感器中二维像素阵列的关注点位置，以生成关注点位置信息。
12.如权利要求11所述的无人机图传系统，其特征在于，所述仿生视觉传感器包括：
二维像素阵列，包括多个传感器像素；
第一通讯模块，用于接收关注点位置信息并发送所述实时图像；
图像分割模块，根据接收到的关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成所述实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
13.如权利要求12所述的无人机图传系统，其特征在于，还包括一个采样阵列；
所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
14.如权利要求13所述的无人机图传系统，其特征在于，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；
所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分辨率；
所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。
15.如权利要求11所述的无人机图传系统，其特征在于，所述显示组件包括：
一第二通讯模块，用于接收所述实时图像并发送关注点位置信息；
一显示装置，用于显示所述实时图像；以及
一眼球追踪装置，跟踪用户眼球于所述二维像素阵列的关注点位置，并生成所述关注点位置信息。
16.如权利要求11所述的无人机图传系统，其特征在于，所述显示组件被设置于以下装置中的一种：
一具有眼球追踪功能的智能头盔；
一具有眼球追踪功能的智能眼镜；
一具有眼球追踪功能的手机；
一具有眼球追踪功能的显示屏。
CN202211266499.1A 2022-10-17 2022-10-17 仿生视觉传感器、成像方法以及无人机图传系统 Pending CN115546486A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211266499.1A CN115546486A (zh) 2022-10-17 2022-10-17 仿生视觉传感器、成像方法以及无人机图传系统
US18/327,768 US20240127453A1 (en) 2022-10-17 2023-06-01 Bionic vision sensor, imaging method and uav image transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211266499.1A CN115546486A (zh) 2022-10-17 2022-10-17 仿生视觉传感器、成像方法以及无人机图传系统

Publications (1)

Publication Number Publication Date
CN115546486A true CN115546486A (zh) 2022-12-30

Family

ID=84735935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211266499.1A Pending CN115546486A (zh) 2022-10-17 2022-10-17 仿生视觉传感器、成像方法以及无人机图传系统

Country Status (2)

Country Link
US (1) US20240127453A1 (zh)
CN (1) CN115546486A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013171738A1 (en) * 2012-05-13 2013-11-21 Elbit Systems Electro-Optics Elop Ltd. Infrared detector with increased image resolution
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN109640007A (zh) * 2017-10-09 2019-04-16 凝眸智能科技集团公司 人工智能图像传感设备
CN111527741A (zh) * 2018-01-29 2020-08-11 索尼半导体解决方案公司 图像捕获装置和控制图像捕获元件的方法
CN113242386A (zh) * 2021-05-26 2021-08-10 北京京东方光电科技有限公司 图像传输控制装置、显示装置及图像传输控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013171738A1 (en) * 2012-05-13 2013-11-21 Elbit Systems Electro-Optics Elop Ltd. Infrared detector with increased image resolution
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN109640007A (zh) * 2017-10-09 2019-04-16 凝眸智能科技集团公司 人工智能图像传感设备
CN111527741A (zh) * 2018-01-29 2020-08-11 索尼半导体解决方案公司 图像捕获装置和控制图像捕获元件的方法
CN113242386A (zh) * 2021-05-26 2021-08-10 北京京东方光电科技有限公司 图像传输控制装置、显示装置及图像传输控制方法

Also Published As

Publication number Publication date
US20240127453A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
US9124808B2 (en) Foveated imaging system and method
US11425298B2 (en) Imaging device, imaging method, and program
CN109640007B (zh) 人工智能图像传感设备
US7551203B2 (en) Picture inputting apparatus using high-resolution image pickup device to acquire low-resolution whole pictures and high-resolution partial pictures
US7852356B2 (en) Magnified display apparatus and magnified image control apparatus
Sandini et al. A retina-like CMOS sensor and its applications
CN102982518A (zh) 红外与可见光动态图像的融合方法及装置
DE102019114533A1 (de) Erkennung von visible-light-communication-quellen über einen hohen dynamikbereich
DE112017001031T5 (de) Festkörper-Bildaufnahmevorrichtung
WO2008057285A2 (en) An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US20150077613A1 (en) Foveal Imager Readout Integrated Circuit (ROIC)
US20210400241A1 (en) Image-capturing apparatus, image processing method, and program
JP6456039B2 (ja) 監視カメラシステム
CN113436130B (zh) 一种非结构光场智能感知系统与装置
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
CN115546486A (zh) 仿生视觉传感器、成像方法以及无人机图传系统
CN115022616B (zh) 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法
CN109495694B (zh) 一种基于rgb-d的环境感知方法及装置
JP2009147479A (ja) 監視カメラおよび監視カメラシステム
US20110243442A1 (en) Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
US8254634B2 (en) Intelligent image segmentation system and method for accurate target detection
CN112449149B (zh) 摄像机
JP7518629B2 (ja) 撮像装置、撮像装置の制御方法、システム、及び、プログラム
JP7477726B2 (ja) 撮像装置、撮像方法、及びプログラム
EP4228247A1 (en) Camera system for motor vehicle and method to operate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination