CN109348208A - 基于3d摄像机的感知编码获取装置及方法 - Google Patents

基于3d摄像机的感知编码获取装置及方法 Download PDF

Info

Publication number
CN109348208A
CN109348208A CN201811008515.0A CN201811008515A CN109348208A CN 109348208 A CN109348208 A CN 109348208A CN 201811008515 A CN201811008515 A CN 201811008515A CN 109348208 A CN109348208 A CN 109348208A
Authority
CN
China
Prior art keywords
module
perceptual coding
depth perception
coding
initial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811008515.0A
Other languages
English (en)
Other versions
CN109348208B (zh
Inventor
吴跃华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qingyan Heshi Technology Co ltd
Original Assignee
Angrui Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Angrui Shanghai Information Technology Co Ltd filed Critical Angrui Shanghai Information Technology Co Ltd
Priority to CN201811008515.0A priority Critical patent/CN109348208B/zh
Publication of CN109348208A publication Critical patent/CN109348208A/zh
Application granted granted Critical
Publication of CN109348208B publication Critical patent/CN109348208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D摄像机的感知编码获取装置及方法，所述感知编码获取装置包括一3D摄像机以及一处理端，所述处理端包括一获取模块，所述3D摄像机用于获取拍摄目标的初始影像；所述获取模块用于根据一人工智能网络获取所述初始影像对应的深度感知编码，所述深度感知编码上的目标编码点上设有标签，所述人工智能网络包括一样本库，所述样本库包括若干3D样本，所述3D样本的目标数字点上设有标签。本发明的基于3D摄像机的感知编码获取装置及方法能够获取更加规范的数字点云，使获取的3D影像更加容易管理、控制，而且能够降低运算所耗资源，所述初始影像获取感知编码时，点云经过压缩、精简，减小3D影像所占空间。

Description

基于3D摄像机的感知编码获取装置及方法
技术领域
本发明涉及一种基于3D摄像机的感知编码获取装置及方法。
背景技术
3D摄像机，利用的是3D镜头制造的摄像机，通常具有两个摄像镜头以上，间距与人眼间距相近，能够拍摄出类似人眼所见的针对同一场景的不同图像。全息3D具有圆盘5镜头以上，通过圆点光栅成像或蔆形光栅全息成像可全方位观看同一图像，可如亲临其境。
第一台3D摄像机迄今3D革命全部围绕好莱坞重磅大片和重大体育赛事展开。随着3D摄像机的问世，这项技术距离家庭用户又近了一步。在这款摄像机推出以后，我们今后就可以用3D镜头捕捉人生每一个难忘瞬间，比如孩子迈出的第一步，大学毕业庆典等。
3D摄像机通常有两个以上镜头。3D摄像机本身的功能就像人脑一样，可以将两个镜头图像融合在一起，变成一个3D图像。这些图像可以在3D电视上播放，观众佩戴所谓的主动式快门眼镜即可观看，也可通过裸眼3D显示设备直接观看。3D快门式眼镜能够以每秒60次的速度令左右眼镜的镜片快速交错开关。这意味着每只眼睛看到的是同一场景的稍显不同的画面，所以大脑会由此以为其是在欣赏以3D呈现的单张照片。
现有的3D摄像机获取的影像不容易处理、控制，3D影像所占空间较大的缺陷。
发明内容
本发明要解决的技术问题是为了克服现有技术中3D摄像机获取的影像不容易处理、控制，3D影像所占空间较大的缺陷，提供一种能够获取更加规范的数字点云，使获取的3D影像更加容易管理、控制，而且能够降低运算所耗资源，减小3D影像所占空间的基于3D摄像机的感知编码获取装置及方法。
本发明是通过下述技术方案来解决上述技术问题：
一种基于3D摄像机的感知编码获取装置，其特点在于，所述感知编码获取装置包括一3D摄像机以及一处理端，所述处理端包括一获取模块，
所述3D摄像机用于获取拍摄目标的初始影像；
所述获取模块用于根据一人工智能网络获取所述初始影像对应的深度感知编码，所述深度感知编码上的目标编码点上设有标签。
所述深度感知编码为优化的数字点云，本发明通过初始的3D点云以及RGB影像能够通过人工智能获取更加规范的数字化影像。
所述深度感知编码为能够编辑、优化且精简过的数字点云，而且感知编码可以是预先设置好的数字点云，感知编码中的每一个数字点可以具有自己的标签并且数字点之间存在一定的传导关系。
较佳地，所述人工智能网络包括一样本库，所述样本库包括若干3D样本，所述3D样本的目标数字点上设有标签。
较佳地，所述处理端包括一预设模块及一标记模块，
所述预设模块用于通过工业用3D摄像机获取精确影像；
所述标记模块用于对所述精确影像上的数字点进行标记以获取标记精确影像；
所述获取模块用于根据所述人工智能网络获取所述深度感知编码，所述人工智能网络包括一样本库，所述样本库包括标记精确影像。
较佳地，所述处理端包括一预设模块以及一计算模块，
所述预设模块用于通过工业用3D摄像机获取精确影像；
所述计算模块用于通过人工智能计算表示精确影像中数字点之间关系的函数式。
较佳地，所述人工智能网络包括一样本库，所述处理端还包括一匹配模块以及一处理模块，
所述匹配模块用于在所述样本库中获取与所述初始影像匹配的目标深度感知编码；
所述处理模块用于按照所述初始影像调整所述目标深度感知编码的参数；
所述存储模块用于存储调整过参数的目标深度感知编码为拍摄目标的深度感知编码。
较佳地，所述深度感知编码包括像素层和结构层，所述深度感知编码上设有若干用于控制结构层形状的控制点，所述处理模块用于按照所述初始影像的形状调节控制点以调整所述目标深度感知编码的参数。
较佳地，所述处理端包括一放置模块，
所述放置模块用于将目标深度感知编码与初始影像重叠放置以获取目标深度感知编码上控制点到初始影像的距离；
所述处理模块还用于获取所述距离最大的控制点为目标控制点，并将所述目标控制点向初始影像所在方向移动所述距离；
所述处理模块还用于将目标控制点周围的周围控制点向初始影像所在方向移动调整距离，每一周围控制点的调整距离大小与周围控制点到目标控制点的距离成反比，所述调整距离小于目标控制点移动距离。
较佳地，所述处理端包括一放置模块，
所述放置模块用于将深度感知编码与初始影像重叠放置以获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码，所述匹配模块用于将深度感知编码每一影像点的距离相加以获取整体匹配值，所述整体匹配值数值最小的深度感知编码为所述目标深度感知编码。
较佳地，所述处理端还包括一划分模块，
所述划分模块用于将深度感知编码按照五官划分为若干区域；
所述放置模块用于获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码中每一区域，所述获取模块用于将区域中每一影像点的距离相加以获取区域匹配值，将全部区域匹配值按五官所对应的比重相加以获取所述整体匹配值。
本发明还提供一种基于3D摄像机的感知编码获取方法，其特点在于，所述感知编码获取方法通过如上所述的感知编码获取装置获取初始影像的深度感知编码。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明的基于3D摄像机的感知编码获取装置及方法能够获取更加规范的数字点云，使获取的3D影像更加容易管理、控制，而且能够降低运算所耗资源，减小3D影像所占空间。
附图说明
图1为本发明实施例1的感知编码获取方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种基于3D摄像机的感知编码获取装置，所述感知编码获取装置包括一3D摄像机以及一处理端，所述处理端包括一获取模块、一预设模块及一标记模块。所述处理端可以是电脑终端，手机终端或云端服务器。
所述3D摄像机用于获取拍摄目标的初始影像，在本实施例中，所述初始影像包括3D点云以及RGB影像。
所述获取模块用于根据一人工智能网络获取所述初始影像对应的深度感知编码，所述深度感知编码上的目标编码点上设有标签。
初始影像是粗糙的点，无法被控制以及上面有许多噪点，本实施例通过规范的数字影像，利用人工智能的学习，将初始影像规范。
具体地，所述人工智能网络包括一样本库，所述样本库包括若干3D样本，所述3D样本的目标数字点上设有标签。
所述样本库中的3D样本为精确影像，所述精确影像通过高精度的工业用3D摄像机获取。
所述预设模块用于通过工业用3D摄像机获取精确影像；
所述标记模块用于对所述精确影像上的数字点进行标记以获取标记精确影像，所述标记可以是人工标记，也可以通过识别精确影像上的特征点进行自动标记，由于精确影像上的特征点更容易识别，利用精确影像可以方便民用3D相机生成更加规范、工整的影像。
所述获取模块用于根据所述人工智能网络获取所述深度感知编码，所述人工智能网络包括一样本库，所述样本库包括标记精确影像。
所述处理端还包括一计算模块，
所述计算模块用于通过人工智能计算表示精确影像中数字点之间关系的函数式。
空间中的点云之间会存在一定关系，可以用数学式表示，这一数学式可以通过人工智能学习获得，利用关系式能够更加方便的控制感知编码。
参见图1，利用上述感知编码获取装置，本实施例还提供一种感知编码获取方法，包括：
步骤100、所述预设模块通过工业用3D摄像机获取精确影像。
步骤101、所述标记模块对所述精确影像上的数字点进行标记以获取标记精确影像；
步骤102、所述3D摄像机获取拍摄目标的初始影像。
步骤103、所述获取模块用于根据所述人工智能网络获取所述初始影像对应的深度感知编码，所述人工智能网络包括一样本库，所述样本库包括标记精确影像。
步骤104、所述计算模块通过人工智能计算表示精确影像中数字点之间关系的函数式。
实施例2
本实施例与实施例1基本相同，不同之处仅在于：
所述人工智能网络包括一样本库，所述处理端还包括一匹配模块以及一处理模块。
所述匹配模块用于在所述样本库中获取与所述初始影像匹配的目标深度感知编码。
所述处理模块用于按照所述初始影像调整所述目标深度感知编码的参数。
所述存储模块用于存储调整过参数的目标深度感知编码为拍摄目标的深度感知编码。
所述深度感知编码包括像素层(RGB影像)和结构层(3D点云)，所述深度感知编码上设有若干用于控制结构层形状的控制点，所述处理模块用于按照所述初始影像的形状调节控制点以调整所述目标深度感知编码的参数。
所述处理端还包括一放置模块，
所述放置模块用于将目标深度感知编码与初始影像重叠放置以获取目标深度感知编码上控制点到初始影像的距离；
所述处理模块还用于获取所述距离最大的控制点为目标控制点，并将所述目标控制点向初始影像所在方向移动所述距离；
所述处理模块还用于将目标控制点周围的周围控制点向初始影像所在方向移动调整距离，每一周围控制点的调整距离大小与周围控制点到目标控制点的距离成反比，所述调整距离小于目标控制点移动距离。
本实施例的感知编码获取方法包括：
所述匹配模块在所述样本库中获取与所述初始影像匹配的目标深度感知编码。
所述处理模块按照所述初始影像调整所述目标深度感知编码的参数。
所述存储模块存储调整过参数的目标深度感知编码为拍摄目标的深度感知编码。
参数的具体调节方法包括：
所述处理端还包括一放置模块，
所述放置模块将目标深度感知编码与初始影像重叠放置以获取目标深度感知编码上控制点到初始影像的距离；
所述处理模块获取所述距离最大的控制点为目标控制点，并将所述目标控制点向初始影像所在方向移动所述距离；
所述处理模块将目标控制点周围的周围控制点向初始影像所在方向移动调整距离，每一周围控制点的调整距离大小与周围控制点到目标控制点的距离成反比，所述调整距离小于目标控制点移动距离。
实施例3
本实施例与实施例2基本相同，不同之处仅在于：
所述处理端包括一放置模块。
所述放置模块用于将深度感知编码与初始影像重叠放置以获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码，所述匹配模块用于将深度感知编码每一影像点的距离相加以获取整体匹配值，所述整体匹配值数值最小的深度感知编码为所述目标深度感知编码。
所述处理端还包括一划分模块。
所述划分模块用于将深度感知编码按照五官划分为若干区域；
所述放置模块用于获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码中每一区域，所述获取模块用于将区域中每一影像点的距离相加以获取区域匹配值，将全部区域匹配值按五官所对应的比重相加以获取所述整体匹配值。
本实施例的感知编码获取方法包括：
所述划分模块将深度感知编码按照五官划分为若干区域；
所述放置模块获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码中每一区域，所述获取模块将区域中每一影像点的距离相加以获取区域匹配值，将全部区域匹配值按五官所对应的比重相加以获取所述整体匹配值。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于3D摄像机的感知编码获取装置，其特征在于，所述感知编码获取装置包括一3D摄像机以及一处理端，所述处理端包括一获取模块，
所述3D摄像机用于获取拍摄目标的初始影像；
所述获取模块用于根据一人工智能网络获取所述初始影像对应的深度感知编码，所述深度感知编码上的目标编码点上设有标签。
2.如权利要求1所述的感知编码获取装置，其特征在于，所述人工智能网络包括一样本库，所述样本库包括若干3D样本，所述3D样本的目标数字点上设有标签。
3.如权利要求1所述的感知编码获取装置，其特征在于，所述处理端包括一预设模块及一标记模块，
所述预设模块用于通过工业用3D摄像机获取精确影像；
所述标记模块用于对所述精确影像上的数字点进行标记以获取标记精确影像；
所述获取模块用于根据所述人工智能网络获取所述深度感知编码，所述人工智能网络包括一样本库，所述样本库包括标记精确影像。
4.如权利要求1所述的感知编码获取装置，其特征在于，所述处理端包括一预设模块以及一计算模块，
所述预设模块用于通过工业用3D摄像机获取精确影像；
所述计算模块用于通过人工智能计算表示精确影像中数字点之间关系的函数式。
5.如权利要求1所述的感知编码获取装置，其特征在于，所述人工智能网络包括一样本库，所述处理端还包括一匹配模块以及一处理模块，
所述匹配模块用于在所述样本库中获取与所述初始影像匹配的目标深度感知编码；
所述处理模块用于按照所述初始影像调整所述目标深度感知编码的参数；
所述存储模块用于存储调整过参数的目标深度感知编码为拍摄目标的深度感知编码。
6.如权利要求5所述的感知编码获取装置，其特征在于，所述深度感知编码包括像素层和结构层，所述深度感知编码上设有若干用于控制结构层形状的控制点，所述处理模块用于按照所述初始影像的形状调节控制点以调整所述目标深度感知编码的参数。
7.如权利要求6所述的感知编码获取装置，其特征在于，所述处理端包括一放置模块，
所述放置模块用于将目标深度感知编码与初始影像重叠放置以获取目标深度感知编码上控制点到初始影像的距离；
所述处理模块还用于获取所述距离最大的控制点为目标控制点，并将所述目标控制点向初始影像所在方向移动所述距离；
所述处理模块还用于将目标控制点周围的周围控制点向初始影像所在方向移动调整距离，每一周围控制点的调整距离大小与周围控制点到目标控制点的距离成反比，所述调整距离小于目标控制点移动距离。
8.如权利要求5所述的感知编码获取装置，其特征在于，所述处理端包括一放置模块，
所述放置模块用于将深度感知编码与初始影像重叠放置以获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码，所述匹配模块用于将深度感知编码每一影像点的距离相加以获取整体匹配值，所述整体匹配值数值最小的深度感知编码为所述目标深度感知编码。
9.如权利要求8所述的感知编码获取装置，其特征在于，所述处理端还包括一划分模块，
所述划分模块用于将深度感知编码按照五官划分为若干区域；
所述放置模块用于获取深度感知编码上每一影像点到初始影像的距离；
对于一个深度感知编码中每一区域，所述获取模块用于将区域中每一影像点的距离相加以获取区域匹配值，将全部区域匹配值按五官所对应的比重相加以获取所述整体匹配值。
10.一种基于3D摄像机的感知编码获取方法，其特征在于，所述感知编码获取方法通过如权利要求1至9中任意一项所述的感知编码获取装置获取初始影像的深度感知编码。
CN201811008515.0A 2018-08-31 2018-08-31 基于3d摄像机的感知编码获取装置及方法 Active CN109348208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811008515.0A CN109348208B (zh) 2018-08-31 2018-08-31 基于3d摄像机的感知编码获取装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811008515.0A CN109348208B (zh) 2018-08-31 2018-08-31 基于3d摄像机的感知编码获取装置及方法

Publications (2)

Publication Number Publication Date
CN109348208A true CN109348208A (zh) 2019-02-15
CN109348208B CN109348208B (zh) 2020-09-29

Family

ID=65291749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811008515.0A Active CN109348208B (zh) 2018-08-31 2018-08-31 基于3d摄像机的感知编码获取装置及方法

Country Status (1)

Country Link
CN (1) CN109348208B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180883A (zh) * 2010-10-07 2013-06-26 桑格威迪公司 快速3d模型
CN108305312A (zh) * 2017-01-23 2018-07-20 腾讯科技（深圳）有限公司 3d虚拟形象的生成方法和装置
CN108389253A (zh) * 2018-02-07 2018-08-10 盎锐（上海）信息科技有限公司 具有建模功能的移动终端及模型生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180883A (zh) * 2010-10-07 2013-06-26 桑格威迪公司 快速3d模型
CN108305312A (zh) * 2017-01-23 2018-07-20 腾讯科技（深圳）有限公司 3d虚拟形象的生成方法和装置
CN108389253A (zh) * 2018-02-07 2018-08-10 盎锐（上海）信息科技有限公司 具有建模功能的移动终端及模型生成方法

Also Published As

Publication number Publication date
CN109348208B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN101799621B (zh) 一种拍摄方法和拍摄设备
CN103780840A (zh) 一种高品质成像的双摄像成像装置及其方法
CN102984448A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN109997175A (zh) 确定虚拟对象的大小
US8934730B2 (en) Image editing method and associated method for establishing blur parameter
CN108053438A (zh) 景深获取方法、装置及设备
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN109348208A (zh) 基于3d摄像机的感知编码获取装置及方法
US11792511B2 (en) Camera system utilizing auxiliary image sensors
WO2022271309A1 (en) Deep neural network assisted object detection and image optimization
CN109218703A (zh) 基于3d摄像机的数据处理装置及方法
CN109657559A (zh) 点云深度感知编码引擎
CN109151437A (zh) 基于3d摄像机的全身建模装置及方法
CN109089105B (zh) 基于深度感知编码的模型生成装置及方法
CN110876050B (zh) 基于3d摄像机的数据处理装置及方法
Fliegel et al. Open source database of images DEIMOS: high dynamic range and stereoscopic content
CN109218699B (zh) 基于3d摄像机的影像处理装置及方法
EP4018645A2 (en) Camera system utilizing auxiliary image sensors
CN109448066A (zh) 3d数据极致压缩算法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230724

Address after: 201703 Room 2134, Floor 2, No. 152 and 153, Lane 3938, Huqingping Road, Qingpu District, Shanghai

Patentee after: Shanghai Qingyan Heshi Technology Co.,Ltd.

Address before: 201703 No.206, building 1, no.3938 Huqingping Road, Qingpu District, Shanghai

Patentee before: UNRE (SHANGHAI) INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right