CN110827214A - 一种自动标定和生成离轴反畸变纹理坐标的方法 - Google Patents

一种自动标定和生成离轴反畸变纹理坐标的方法 Download PDF

Info

Publication number
CN110827214A
CN110827214A CN201910994384.6A CN201910994384A CN110827214A CN 110827214 A CN110827214 A CN 110827214A CN 201910994384 A CN201910994384 A CN 201910994384A CN 110827214 A CN110827214 A CN 110827214A
Authority
CN
China
Prior art keywords
distortion
image
coordinate
camera
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910994384.6A
Other languages
English (en)
Other versions
CN110827214B (zh
Inventor
黄凯凯
张琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING RUIYUE INFORMATION TECHNOLOGY Co Ltd
Original Assignee
NANJING RUIYUE INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING RUIYUE INFORMATION TECHNOLOGY Co Ltd filed Critical NANJING RUIYUE INFORMATION TECHNOLOGY Co Ltd
Priority to CN201910994384.6A priority Critical patent/CN110827214B/zh
Publication of CN110827214A publication Critical patent/CN110827214A/zh
Application granted granted Critical
Publication of CN110827214B publication Critical patent/CN110827214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种自动标定和生成离轴反畸变纹理坐标的方法，包括：S1、将无畸变相机固定在一体机佩戴时人眼观看的位置；无畸变相机、一体机均连接电脑；S2、PC端设置反畸变网格数；S3、穷举坐标点并依次输入到一体机中；S4、显示相应的白点；S5、相机拍摄得到相机图像并传输到PC端；S6、PC端识别相机图像的白点中心，得到图像坐标点；S7、获得缩放倍数；S8、获得纹理坐标并输出；S9、得到的反畸变图像。本发明结合纹理坐标的特点，通过设备自动运行并简单转换可以直接得到离轴反畸变所需要的纹理坐标数据，而且可以针对工厂生产中每一个机器生成特有的坐标数据，减小因为镜片加工误差带来的影响。

Description

一种自动标定和生成离轴反畸变纹理坐标的方法
技术领域
本发明属于增强现实领域，具体是一种自动标定和生成离轴反畸变纹理坐标的方法。
背景技术
畸变是由于透镜的垂轴放大率随光束和主光轴间所成角度变化而引起的，是光学系统对物体所成的像相对于物体本身而言的失真程度。存在镜片畸变的VR/AR头盔，将传统的图像投射到人的眼中时，图像是扭曲的。因此为了使最终人眼观察看到的图像不扭曲变形，拥有真实的沉浸感，需要先将屏幕上的图像进行一次合理的变形，这就是反畸变。
目前反畸变大都采用特定公式及系数来改变纹理坐标的方式，适合面型相对简单和加工误差比较小的情况。但是目前一些用于AR眼镜的离轴系统，由于采用上下左右不对称复杂曲面，且加工误差相对偏大，容易造成中间变形，单纯采用公式拟合需要更多的系数，而且需要消耗比较长的时间。
发明内容
本发明为解决背景技术中存在的问题，提出了以下技术方案：
一种自动标定和生成离轴反畸变纹理坐标的方法，它包括以下步骤：
S1、准备步骤：将无畸变相机固定在一体机佩戴时人眼观看的位置；将无畸变相机连接电脑，电脑用来实时显示无畸变相机图像；将一体机连接电脑，PC端可以将坐标点图像输入到一体机中，并且一体机可以实时显示该坐标点图像画面；
S2、PC端设置反畸变网格数M，计算坐标间隔i，生成M*M个坐标点(x，y)；
S3、穷举坐标点，并依次输入到一体机中；
S4、一体机根据输入的坐标值显示相应的白点；
S5、相机拍摄得到相机图像，并传输到PC端；
S6、PC端识别相机图像的白点中心，得到M*M个图像坐标点(x’,y’)；
S7、通过多项式拟合获得水平中心缩放倍数s1和竖直方向缩放倍数t1；S8、获得纹理坐标(u，v)并输出，其中
Figure BDA0002239296030000011
S9、将得到的纹理坐标基于处理软件输入到一体机中，得到反畸变图像。
优选的，所述一体机置于暗室中或用遮光布遮挡一体机镜片前面。
优选的，屏幕单眼显示区域归化为[-1，1]区域，中心点作为屏幕坐标原点；相机图像中心作为图像坐标原点，坐标单位为像素；步骤S2中，坐标间隔
Figure BDA0002239296030000021
优选的，S7中，当y＝0时，采用下式自动拟合，获得水平方向缩放倍数s1：
x’＝s0+s1*x+s2*x2+s3*x3+s4*x4+s5*x5
式中，x为坐标点的横坐标，x’为图像坐标点的横坐标，s0，s1，s2，s3，s4，s5为缩放倍数；
当x＝0，采用下式自动拟合，获得竖直方向缩放倍数t1：
y’＝t0+t1*y+t2*y2+t3*y3+t4*y4+t5*y5
式中，y为坐标点的横坐标，y’为图像坐标点的横坐标，t0，t1，t2，t3，t4，t5为缩放倍数。
优选的，S9中，所述处理软件为用纹理坐标实现反畸变的软件。
本发明的有益效果
本发明结合纹理坐标的特点，通过设备自动运行并简单转换可以直接得到离轴反畸变所需要的纹理坐标数据，而且可以针对工厂生产中每一个机器生成特有的坐标数据，减小因为镜片加工误差带来的影响；同时可以减少CPU计算坐标点的消耗。
1、只需要一台相机和电脑，并且只需要固定结构，操作中不需要移动装置，方法简单。
2、运行结果可直接应用于大多数用纹理坐标处理反畸变的一体机，所以实用性比较强。
附图说明
图1为应用本发明自动标定和生成离轴反畸变纹理坐标的方法的装置示意图
图2为本发明的流程示意图
图3为屏幕坐标系示意图
图4为屏幕坐标点示意图
图5为输出的纹理坐标点示意图
图6为屏幕显示的反畸变图形示意图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
如图2所示：
S1、准备步骤：结合图1，将无畸变相机2固定在一体机1佩戴时人眼观看的位置；将无畸变相机2连接电脑4，电脑4实时显示无畸变相机2图像；将一体机1连接电脑，坐标点图像输入到一体机1中，并且一体机1可以实时显示相应的画面，无畸变相机2和电脑4之间，一体机1和电脑4之间均采用数据线3连接；该无畸变相机2可以是广角无畸变相机或者输出图像已经进行畸变矫正的有畸变相机；屏幕(若一体机用两个独立屏幕，则指的是单独的屏幕；若一体机使用一个屏幕，则指的是屏幕的左右一半区域)单眼显示区域归化为[-1，1]区域，中心点作为屏幕坐标原点；优选的方案中，所述一体机置于暗室中或用遮光布遮挡一体机镜片前面，使代替人眼的相机无法观察到现实物体，以避免干扰。
S2、结合图3和图4，PC端设置反畸变网格数M＝51，计算坐标间隔
Figure BDA0002239296030000031
生成M*M＝2601个坐标点(x，y)；
S3、穷举坐标点，并依次输入到一体机中；为防止点与点之间相互影响，依次输入坐标点到一体机，首先将坐标点(-1，-1)输入到一体机；
S4、一体机根据输入的坐标值显示相应的白点；
S5、相机拍摄得到相机图像，并传输到PC端；
S6、PC端识别相机图像的白点中心，得到M*M个图像坐标点(x’,y’)；相机图像中心作为图像坐标原点，坐标单位为像素；如坐标点(x，y)＝(-1，-1)对应的图像坐标点(x’,y’)＝(-1289.62,-782.682)，同时(x，y)＝(-0.96，-1)对应的图像坐标点(x’,y’)＝(-1221.23，-769.86)；
S7、通过多项式拟合获得水平中心缩放倍数s1和竖直方向缩放倍数t1；
当y＝0时，采用下式自动拟合，获得水平方向缩放倍数s1：
x’＝s0+s1*x+s2*x2+s3*x3+s4*x4+s5*x5
式中，x为坐标点的横坐标，x’为图像坐标点的横坐标，s0，s1，s2，s3，s4，s5为缩放倍数；
当x＝0，采用下式自动拟合(经试验5次多项式最佳，次数越多精度越高)，获得竖直方向缩放倍数t1：
y’＝t0+t1*y+t2*y2+t3*y3+t4*y4+t5*y5
式中，y为坐标点的横坐标，y’为图像坐标点的横坐标，t0，t1，t2，t3，t4，t5为缩放倍数。
求得s1＝924.5，t1＝636.8；
S8、对图像坐标点(x’,y’)进行处理获得纹理坐标(u，v)并输出如图5所示，其中
Figure BDA0002239296030000041
S9、将得到的纹理坐标合到相应软件并输入到一体机中，得到反畸变图像；相应软件是用纹理坐标实现反畸变的SDK开发的，应用程序或软件(例如realmax乾、Polaroid AR一体机系统上软件)会调用相应SDK实现反畸变效果，此处是现有技术不再展开描述。
本发明中，网格数较少时(小于32)，可以多个点同时输入；若网格数较少(小于32)，可以改变输入图像为棋盘格，通过检测棋盘格各角点，得到相应的坐标值，可以达到同样目的。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种自动标定和生成离轴反畸变纹理坐标的方法，其特征在于它包括以下步骤：
S1、准备步骤：将无畸变相机固定在一体机佩戴时人眼观看的位置；将无畸变相机连接电脑，将一体机连接电脑；
S2、PC端设置反畸变网格数M，计算坐标间隔i，生成M*M个坐标点(x，y)；
S3、穷举坐标点，并依次输入到一体机中；
S4、一体机根据输入的坐标值显示相应的白点；
S5、相机拍摄得到相机图像，并传输到PC端；
S6、PC端识别相机图像的白点中心，得到M*M个图像坐标点(x’,y’)；
S7、通过多项式拟合获得水平中心缩放倍数s1和竖直方向缩放倍数t1；S8、获得纹理坐标(u，v)并输出，其中
Figure FDA0002239296020000011
S9、将得到的纹理坐标基于处理软件输入到一体机中，得到反畸变图像。
2.根据权利要求1所述的方法，其特征在于所述一体机置于暗室中或用遮光布遮挡一体机镜片前面。
3.根据权利要求1所述的方法，其特征在于屏幕单眼显示区域归化为[-1，1]区域，中心点作为屏幕坐标原点；相机图像中心作为图像坐标原点，坐标单位为像素；步骤S2中，坐标间隔
4.根据权利要求1所述的方法，其特征在于S7中，当y＝0时，采用下式自动拟合，获得水平方向缩放倍数s1：
x’＝s0+s1*x+s2*x2+s3*x3+s4*x4+s5*x5
式中，x为坐标点的横坐标，x’为图像坐标点的横坐标，s0，s1，s2，s3，s4，s5为缩放倍数；
当x＝0，采用下式自动拟合，获得竖直方向缩放倍数t1：
y’＝t0+t1*y+t2*y2+t3*y3+t4*y4+t5*y5
式中，y为坐标点的横坐标，y’为图像坐标点的横坐标，t0，t1，t2，t3，t4，t5为缩放倍数。
5.根据权利要求1所述的方法，其特征在于S9中，所述处理软件为用纹理坐标实现反畸变的软件。
CN201910994384.6A 2019-10-18 2019-10-18 一种自动标定和生成离轴反畸变纹理坐标的方法 Active CN110827214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994384.6A CN110827214B (zh) 2019-10-18 2019-10-18 一种自动标定和生成离轴反畸变纹理坐标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994384.6A CN110827214B (zh) 2019-10-18 2019-10-18 一种自动标定和生成离轴反畸变纹理坐标的方法

Publications (2)

Publication Number Publication Date
CN110827214A true CN110827214A (zh) 2020-02-21
CN110827214B CN110827214B (zh) 2023-06-30

Family

ID=69549555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994384.6A Active CN110827214B (zh) 2019-10-18 2019-10-18 一种自动标定和生成离轴反畸变纹理坐标的方法

Country Status (1)

Country Link
CN (1) CN110827214B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156969A (zh) * 2011-04-12 2011-08-17 潘林岭 图像纠偏处理方法
JP2011217057A (ja) * 2010-03-31 2011-10-27 Asahi Kasei Corp レンズ歪み除去装置、方法およびプログラム
CN108648254A (zh) * 2018-04-27 2018-10-12 中科创达软件股份有限公司 一种图像渲染方法及装置
CN108694701A (zh) * 2018-03-21 2018-10-23 南京睿悦信息技术有限公司 用于离轴曲面反射式光学系统反畸变算法
CN108876725A (zh) * 2017-05-12 2018-11-23 深圳市魔眼科技有限公司 一种虚拟图像畸变矫正方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217057A (ja) * 2010-03-31 2011-10-27 Asahi Kasei Corp レンズ歪み除去装置、方法およびプログラム
CN102156969A (zh) * 2011-04-12 2011-08-17 潘林岭 图像纠偏处理方法
CN108876725A (zh) * 2017-05-12 2018-11-23 深圳市魔眼科技有限公司 一种虚拟图像畸变矫正方法及系统
CN108694701A (zh) * 2018-03-21 2018-10-23 南京睿悦信息技术有限公司 用于离轴曲面反射式光学系统反畸变算法
CN108648254A (zh) * 2018-04-27 2018-10-12 中科创达软件股份有限公司 一种图像渲染方法及装置

Also Published As

Publication number Publication date
CN110827214B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US10572982B2 (en) Method and system of image distortion correction for images captured by using a wide-angle lens
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
US9313411B2 (en) Camera, distortion correction device and distortion correction method
CN106663336B (zh) 图像生成装置和图像生成方法
KR20190032818A (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
KR20100111614A (ko) 화상처리장치, 화상처리방법 및 기록매체
WO2012060269A1 (ja) 画像処理方法、画像処理装置及び撮像装置
US10097793B2 (en) Method and system of depth data filling of shadows for image processing
CN107037584B (zh) 一种智能眼镜透视方法及系统
JP2013031154A (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
US20230236425A1 (en) Image processing method, image processing apparatus, and head-mounted display
US20190045167A1 (en) Immersive viewing using a planar array of cameras
CN111179154A (zh) 圆形鱼眼相机阵列矫正
CN112995638A (zh) 自动调节视差的裸眼3d采集和显示系统及方法
CN113112407B (zh) 基于电视的照镜视野生成方法、系统、设备及介质
US20220114703A1 (en) Camera device and electronic apparatus including the same
CN110827214B (zh) 一种自动标定和生成离轴反畸变纹理坐标的方法
JP2020092418A (ja) 画像補正方法及びその装置
JPWO2012056982A1 (ja) 画像処理方法、画像処理装置及び撮像装置
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN112153319B (zh) 基于视频通信技术的ar信息显示方法和装置
WO2011161746A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP7429515B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant