CN115190286B - 一种2d图像转换方法及装置 - Google Patents
一种2d图像转换方法及装置 Download PDFInfo
- Publication number
- CN115190286B CN115190286B CN202210800251.2A CN202210800251A CN115190286B CN 115190286 B CN115190286 B CN 115190286B CN 202210800251 A CN202210800251 A CN 202210800251A CN 115190286 B CN115190286 B CN 115190286B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- distance
- display device
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 23
- 210000004556 brain Anatomy 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000000137 annealing Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/00048—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种2D图像转换方法及装置。所述方法包括：获取待处理2D图像的深度信息后，再结合双眼之间的距离，以及双眼、图像显示装置之间的几何位置关系、实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据，并对待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像，并将左眼图像和右眼图像输入到图像显示装置进行各自独立且同时显示。整个方法可以将2D图像转换为两幅具有视差的图像，通过同时观看能够在用户脑海中形成3D效果，从而使得图像采集装置可以仅为普通的单目摄像头，体积较小，能够满足体积和空间较为狭小场景下的手术需求。
Description
技术领域
本申请涉及医疗器械技术领域，特别涉及一种2D图像转换方法及装置。
背景技术
目前，3D(Three-dimension，三维)成像技术被广泛应用于手术机器人。手术机器人是一种新型微创手术设备，主要由医生控制台、图像平台和患者手术平台构成，医生控制台主要包括显示装置、主控操作臂和控制踏板(或按钮)，患者手术平台上会搭载手术臂，手术臂上通常会挂载内窥镜及手术器械。医生坐在医生控制台前，通过显示装置观看内窥镜实时采集的术野图像，并操作主控操作臂、控制踏板(或按钮)等来远程控制手术臂，让内窥镜及相应的手术器械伸入患者体内完成手术。
为了获取更优质、更具立体感的术野图像，目前内窥镜上设置的摄像模块主要包括模仿人眼结构设置的双目摄像头以及图像处理单元。双目摄像头的其中一个摄像头相当于人眼的左眼，采集的图像对应于左眼图像，另一个摄像头相当于人眼的右眼，采集的图像对应于右眼图像。在双目摄像头采集到图像后，图像处理单元会对采集的图像进行合成，从而合成3D图像。最后，医生通过佩戴专用3D眼镜观察到3D图像的立体效果。
然而，采用上述摄像模块，由于为双目摄像头，整体所占空间相对较大，进而会使得整个内窥镜的体积较大。因此，在体积和空间较为狭小的手术场景下，目前的手术机器人已无法满足手术需求。
发明内容
本申请提供了一种2D图像转换方法及装置，可用于解决现有的手术机器人存在的内窥镜体积较大，无法满足体积和空间较为狭小的场景下的手术需求的问题。
第一方面，本申请实施例提供一种2D图像转换方法，应用于手术机器人，所述手术机器人包括图像采集装置和图像显示装置；所述方法包括：
获取所述图像采集装置采集的待处理2D图像；
获取所述待处理2D图像的深度信息，所述深度信息用于反映图像中各个像素点所对应的实际目标对象与所述图像采集装置之间的距离；
根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据；
根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像；
将所述左眼图像和所述右眼图像输入到所述图像显示装置中进行显示，其中，所述左眼图像和所述右眼图像在所述图像显示装置中为各自独立且同时显示。
结合第一方面，在第一方面的一种可实现方式中，在生成具有视差的左眼图像和右眼图像之后，所述方法还包括：
分别对所述左眼图像和所述右眼图像中的预设区域进行加强显示，以及对其他信息进行显示；所述其他信息包括菜单信息和提示信息。
结合第一方面，在第一方面的一种可实现方式中，所述获取所述待处理2D图像的深度信息，包括：
利用轮廓线追踪法获所述待处理2D图像的深度信息。
结合第一方面，在第一方面的一种可实现方式中，所述利用轮廓线追踪法获取所述待处理2D图像的深度信息，包括：
根据所述待处理2D图像的图像信息，检测所述待处理2D图像是否为关键帧；所述图像信息包括亮度和色度；
如果所述待处理2D图像为关键帧，则利用迭代算法获取所述待处理2D图像中的目标对象的轮廓线；
根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息。
结合第一方面，在第一方面的一种可实现方式中，还包括：
如果所述待处理2D图像不为关键帧，则根据所述待处理2D图像的前一帧图像，利用退火算法获取所述待处理2D图像中的目标对象的轮廓线。
结合第一方面，在第一方面的一种可实现方式中，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
利用光流法对各个待处理2D图像中的目标对象的轮廓线进行轮廓线追踪，得到所述待处理2D图像的深度信息。
结合第一方面，在第一方面的一种可实现方式中，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
如果所述待处理2D图像为关键帧，则利用预设的深度值对所述待处理2D图像中的目标对象的轮廓线进行处理，生成所述待处理2D图像的深度信息；
或者，如果所述待处理2D图像不为关键帧，则利用运动估计法根据关键帧图像的深度信息进行推测，得到所述待处理2D图像的深度信息。
结合第一方面，在第一方面的一种可实现方式中，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
利用预先构建的深度信息提取模型对所述待处理2D图像中的目标对象的轮廓线进行深度信息提取，得到所述待处理2D图像的深度信息；所述深度信息提取模型包括决策树模型或者神经网络模型，所述深度信息提取模型是利用已标注深度值的样本集进行训练的。
结合第一方面，在第一方面的一种可实现方式中，
所述根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据，包括：
通过以下公式确定物理视差数据：
其中，d为物理视差数据，表示物理距离，D为双眼观察位置与所述图像显示装置之间的距离，B为用户双眼之间的距离，z是眼睛与实际目标对象在人脑中所成虚像的距离，z＝kh+D，其中，h为所述深度信息，k为实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例。
结合第一方面，在第一方面的一种可实现方式中，所述根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像，包括：
根据所述物理视差数据，以及图像显示装置上单个像素的水平物理尺寸，确定像素视差数据；
根据所述像素视差数据对所述待处理2D图像中每个像素点的坐标值进行变换，生成具有视差的左眼图像和右眼图像。
结合第一方面，在第一方面的一种可实现方式中，所述根据所述物理视差数据，以及图像显示装置上单个像素的水平物理尺寸，确定像素视差数据，包括：
通过以下公式确定像素视差数据：
dp＝d/S
其中，dp为像素视差数据，d为所述物理视差数据，S为图像显示装置上单个像素的水平物理尺寸。
第二方面，本申请实施例提供一种2D图像转换装置，应用于手术机器人，所述手术机器人包括图像采集装置和图像显示装置；所述2D图像转换装置连接在所述图像采集装置和所述图像显示装置之间，并且被配置为执行以下步骤：
获取所述图像采集装置采集的待处理2D图像；
获取所述待处理2D图像的深度信息，所述深度信息用于反映图像中各个像素点所对应的实际目标对象与所述图像采集装置之间的距离；
根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据；
根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像；
将所述左眼图像和所述右眼图像输入到所述图像显示装置中进行显示，其中，所述左眼图像和所述右眼图像在所述图像显示装置中为各自独立且同时显示。
结合第二方面，在第二方面的一种可实现方式中，所述图像显示装置包括相互独立的左眼显示屏和右眼显示屏，所述左眼显示屏用于显示所述左眼图像，所述右眼显示屏用于显示所述右眼图像。
本申请实施例提供一种2D图像转换方法及装置，在2D图像转换方法中，对于待处理2D图像，获取深度信息后，再结合用户双眼之间的距离，以及双眼、图像显示装置之间的几何位置关系，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据，将物理视差数据转化为像素视差数据后，根据像素视差数据对待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像，并将左眼图像和右眼图像输入到图像显示装置进行各自独立且同时显示。整个方法可以将2D图像转换为两幅具有视差的图像，并通过同时观看能够在用户脑海中形成3D效果，从而在满足显示效果需求的基础上，使得图像采集装置可以仅为普通的单目摄像头，相较于双目摄像头而言，体积减小，进而使得图像采集装置的体积也可以进一步缩小，能够更好地满足体积和空间较为狭小的场景下的手术需求。
附图说明
图1为本申请实施例提供的一种2D图像转换方法的工作流程示意图；
图2为本申请实施例中用户观察位置、图像显示装置和被观察对象虚像之间的几何关系示意图；
图3为本申请实施例提供的一种手术机器人的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了解决现有的手术机器人存在的内窥镜体积较大，无法满足体积和空间较为狭小的场景下的手术需求的问题，本申请实施例提供一种2D图像转换方法。下面结合附图，通过各个实施例，对本申请所提供的方案进行介绍说明。
本申请实施例提供一种2D图像转换方法，该2D图像转换方法应用于手术机器人。具体地，该手术机器人包括图像采集装置和图像显示装置。图像采集装置用于采集待处理2D视频，图像显示装置用于显示转换后的视频。参见图1所示的工作流程示意图，本申请实施例提供的一种2D图像转换方法包括以下步骤：
101：获取图像采集装置采集的待处理2D图像。
本申请实施例中，待处理2D图像可以为待处理2D视频中任意一帧2D图像，也可以为单独的2D图像，只要符合2D格式即可，本申请实施例对此不做具体限定。需要说明的是，本申请实施例中，以待处理2D图像为待处理2D视频中任意一帧2D图像为例，对后续方案进行继续说明。
图像采集装置可以为具备2D图像的采集功能的普通单目摄像头，本申请实施例对图像采集装置的具体类型不作限定。
102：获取待处理2D图像的深度信息。
其中，深度信息用于反映图像中各个像素点所对应的实际目标对象与图像采集装置之间的距离。
获取待处理2D图像的深度信息的方式有多种。在一个实施例中，可以具体利用轮廓线追踪法获取待处理2D图像的深度信息。
进一步地，利用轮廓线追踪法获取待处理2D图像的深度信息，具体包括如下步骤：
步骤一，根据待处理2D图像的图像信息，检测待处理2D图像是否为关键帧。如果待处理2D图像为关键帧，则执行步骤二，如果待处理2D图像不为关键帧，则执行步骤三。
其中，图像信息包括亮度和色度。
具体地，关键帧是指对象运动变化中关键动作所处的那一帧，相当于二维动画中的原画。关键帧与关键帧之间的非关键帧可以由软件创建添加，通常情况下，非关键帧也可以叫做过渡帧或者中间帧。
步骤二，利用迭代算法获取待处理2D图像中的目标对象的轮廓线。
步骤三，根据待处理2D图像的前一帧图像，利用退火算法获取待处理2D图像中的目标对象的轮廓线。
如此，本申请实施例中对于关键帧和非关键帧采用不同的轮廓线处理方法，可以极大地提高图像处理效率，减小图像处理的延时性。
步骤四，根据待处理2D图像中的目标对象的轮廓线，得到待处理2D图像的深度信息。
具体地，步骤四中，根据待处理2D图像中的目标对象的轮廓线，得到待处理2D图像的深度信息的方式有多种。
在一个示例中，可以利用光流法对各个待处理2D图像中的目标对象的轮廓线进行轮廓线追踪，得到待处理2D图像的深度信息。其中，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。
在另一个示例中，如果待处理2D图像为关键帧，则利用预设的深度值对待处理2D图像中的目标对象的轮廓线进行处理，生成待处理2D图像的深度信息。或者，如果待处理2D图像不为关键帧，则利用运动估计法根据关键帧图像的深度信息进行推测，得到待处理2D图像的深度信息。其中，预设的深度值可以根据经验和实际情况进行设定，本申请实施例对此不做具体限定。
在又一个示例中，可以利用预先构建的深度信息提取模型对待处理2D图像中的目标对象的轮廓线进行深度信息提取，得到待处理2D图像的深度信息。其中，深度信息提取模型可以包括决策树模型或者神经网络模型，深度信息提取模型是利用已标注深度值的样本集进行训练的。在训练后，可以得到样本特征与深度值的对应关系，从而当识别到一帧画面的时候可以很快计算出其深度信息。
在其他示例中，也可以采用其他方式根据待处理2D图像中的目标对象的轮廓线，得到待处理2D图像的深度信息，本申请实施例对此不做限定。
如此，本申请实施例可以快速获取到待处理2D图像的深度信息，从而可以极大地减少图像处理的延迟，提升处理效率。
在其他实施例中，也可以具体采用其他方式获取待处理2D图像的深度信息，比如相移法，本申请实施例对此不做具体限定。
103：根据深度信息、用户双眼之间的距离、双眼观察位置与图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据。
其中，视差是从有一定距离的两个点上观察同一个目标所产生的看到不同信息的差异。
具体地，可以通过以下公式(1)确定物理视差数据：
公式(1)中，d为物理视差数据，表示物理距离，D为双眼观察位置与图像显示装置之间的距离，B为用户双眼之间的距离，z是眼睛与实际目标对象在人脑中所成虚像的距离，z＝kh+D，其中，h为深度信息，k为实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例。
下面对上述公式(1)的推导过程进行介绍。
图2为本申请实施例中用户观察位置、图像显示装置和被观察对象虚像之间的几何关系示意图。如图2所示，用户双眼之间的距离B，以及双眼观察位置与图像显示装置Q之间的距离D均是固定值，C为实际目标对象在人脑中所成的虚像，z是双眼与实际目标对象在人脑中所成虚像的距离，被观察物体的虚拟位置在图像显示装置Q上会成两个像，左像M距离中心水平距离为xl，右像N距离中心水平距离为xr，物理视差数据d＝xl-xr。根据三角形相似，(xl-xr)/B＝(D-z)/z，所以xl-xr＝B×(D-z)/z，则d＝xl-xr＝B×(D-z)/z。
如此，采用上述方式，根据深度信息可以快速确定物理视差数据，通过光学结构使左右眼看到画面在空间上重合，不仅较为快捷，且准确性较高。
104：根据物理视差数据对待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像。
具体地，可以通过以下方式生成具有视差的左眼图像和右眼图像：
第一步，根据物理视差数据，以及图像显示装置上单个像素的水平物理尺寸，确定像素视差数据。
具体地，像素视差数据用于表示两幅画面显示同一个被观察物体的像素视差。具体可以过以下公式(2)确定像素视差数据：
dp＝d/S 公式(2)
公式(2)中，dp为像素视差数据，d为物理视差数据，S为图像显示装置上单个像素的水平物理尺寸。由于图像显示装置的物理尺寸和显示分辨率是固定的，所以S＝W(phy)/W(pix)也是固定的。
结合公式(1)和公式(2)，像素视差数据可以通过以下公式(3)表示：
第二步，根据像素视差数据对待处理2D图像中每个像素点的坐标值进行变换，生成具有视差的左眼图像和右眼图像。
示例性地，在对待处理2D图像中每个像素点的坐标值进行变换得到左眼图像后，将左眼图像整体水平移动dp个像素即可得到右眼图像。同理，如先确定了右眼图像的情况下将右眼图像按相反方向水平移动dp个像素即可得到左眼图像，由此可得到具有视差的两幅独立的2D画面。
在执行步骤104之后，且执行步骤105之前，本申请实施例提供的2D图像转换方法还包括：分别对左眼图像和右眼图像中的预设区域进行加强显示，以及对其他信息进行显示。
其中，其他信息包括菜单信息和提示信息。预设区域可以根据需要和实际情况进行指定。
如此，采用上述方式，可以得到显示质量更优的图像。
105：将左眼图像和右眼图像输入到图像显示装置中进行显示。
其中，左眼图像和右眼图像在图像显示装置中为各自独立且同时显示。
如此，本申请实施例提供一种2D图像转换方法，可以将2D图像转换为两幅具有视差的图像，并通过同时观看能够在用户脑海中形成3D效果，从而在满足显示效果需求的基础上，使得图像采集装置可以仅为普通的单目摄像头，相较于双目摄像头而言，体积减小，进而使得图像采集装置的体积也可以进一步缩小，能够更好地满足体积和空间较为狭小的场景下的手术需求。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
本申请实施例提供的装置具有实现上述2D图像转换方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。本申请实施例提供的装置应用于手术机器人。图3示例性示出了本申请实施例提供的一种手术机器人的结构示意图。如图3所示，该手术机器人包括图像采集装置301和图像显示装置303。本申请实施例提供的2D图像转换装置302连接在图像采集装置301和图像显示装置303之间，并且2D图像转换装置302被配置为执行以下步骤：
第一步，获取图像采集装置301采集的待处理2D图像。
第二步，获取待处理2D图像的深度信息，深度信息用于反映图像中各个像素点所对应的实际目标对象与图像采集装置301之间的距离。
第三步，根据深度信息、用户双眼之间的距离、双眼观察位置与图像显示装置303之间的距离，以及实际目标对象与图像采集装置301之间距离和通过图像显示装置303观察生成的实际目标对象的虚拟位置距离之间的比例，确定物理视差数据。
第四步，根据物理视差数据对待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像。
第五步，将左眼图像和右眼图像输入到图像显示装置303中进行显示，其中，左眼图像和右眼图像在图像显示装置303中为各自独立且同时显示。
在一种可实现方式中，图像显示装置303包括相互独立的左眼显示屏和右眼显示屏，左眼显示屏用于显示左眼图像，右眼显示屏用于显示右眼图像。
具体地，左眼显示屏包括第一透镜组件和第一观察窗。右眼显示屏包括第二透镜组件和第二观察窗。左眼图像通过第一透镜组件呈现在第一观察窗，右眼图像通过第二透镜组件呈现在第二观察窗，第一观察窗与第二观察窗之间的距离能够根据用户的双眼距离进行调节。这样，可以使得医生无需佩戴3D眼镜，直接通过两个观察窗进行观察，从而裸眼即可呈现3D视觉效果。
如此，本申请实施例提供的一种2D图像转换装置，可以将2D图像转换为两幅具有视差的图像，并通过同时观看能够在用户脑海中形成3D效果，从而在满足显示效果需求的基础上，使得图像采集装置可以仅为普通的单目摄像头，相较于双目摄像头而言，体积减小，进而使得图像采集装置的体积也可以进一步缩小，能够更好地满足体积和空间较为狭小的场景下的手术需求。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
Claims (12)
1.一种2D图像转换方法，应用于手术机器人，其特征在于，所述手术机器人包括图像采集装置和图像显示装置；所述方法包括：
获取所述图像采集装置采集的待处理2D图像；
获取所述待处理2D图像的深度信息，所述深度信息用于反映图像中各个像素点所对应的实际目标对象与所述图像采集装置之间的距离；
根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据；
根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像；
将所述左眼图像和所述右眼图像输入到所述图像显示装置中进行显示，其中，所述左眼图像和所述右眼图像在所述图像显示装置中为各自独立且同时显示；
所述根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据，包括：
通过以下公式确定物理视差数据：
其中，d为物理视差数据，表示物理距离，D为双眼观察位置与所述图像显示装置之间的距离，B为用户双眼之间的距离，z是眼睛与实际目标对象在人脑中所成虚像的距离，z＝kh+D，其中，h为所述深度信息，k为实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例。
2.根据权利要求1所述的方法，其特征在于，在生成具有视差的左眼图像和右眼图像之后，所述方法还包括：
分别对所述左眼图像和所述右眼图像中的预设区域进行加强显示，以及对其他信息进行显示；所述其他信息包括菜单信息和提示信息。
3.根据权利要求1所述的方法，其特征在于，所述获取所述待处理2D图像的深度信息，包括：
利用轮廓线追踪法获取所述待处理2D图像的深度信息。
4.根据权利要求3所述的方法，其特征在于，所述利用轮廓线追踪法获取所述待处理2D图像的深度信息，包括：
根据所述待处理2D图像的图像信息，检测所述待处理2D图像是否为关键帧；所述图像信息包括亮度和色度；
如果所述待处理2D图像为关键帧，则利用迭代算法获取所述待处理2D图像中的目标对象的轮廓线；
根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
如果所述待处理2D图像不为关键帧，则根据所述待处理2D图像的前一帧图像，利用退火算法获取所述待处理2D图像中的目标对象的轮廓线。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
利用光流法对各个待处理2D图像中的目标对象的轮廓线进行轮廓线追踪，得到所述待处理2D图像的深度信息。
7.根据权利要求5所述的方法，其特征在于，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
如果所述待处理2D图像为关键帧，则利用预设的深度值对所述待处理2D图像中的目标对象的轮廓线进行处理，生成所述待处理2D图像的深度信息；
或者，如果所述待处理2D图像不为关键帧，则利用运动估计法根据关键帧图像的深度信息进行推测，得到所述待处理2D图像的深度信息。
8.根据权利要求5所述的方法，其特征在于，所述根据所述待处理2D图像中的目标对象的轮廓线，得到所述待处理2D图像的深度信息，包括：
利用预先构建的深度信息提取模型对所述待处理2D图像中的目标对象的轮廓线进行深度信息提取，得到所述待处理2D图像的深度信息；所述深度信息提取模型包括决策树模型或者神经网络模型，所述深度信息提取模型是利用已标注深度值的样本集进行训练的。
9.根据权利要求8所述的方法，其特征在于，所述根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像，包括：
根据所述物理视差数据，以及图像显示装置上单个像素的水平物理尺寸，确定像素视差数据；
根据所述像素视差数据对所述待处理2D图像中每个像素点的坐标值进行变换，生成具有视差的左眼图像和右眼图像。
10.根据权利要求9所述的方法，其特征在于，所述根据所述物理视差数据，以及图像显示装置上单个像素的水平物理尺寸，确定像素视差数据，包括：
通过以下公式确定像素视差数据：
dp＝d/S
其中，dp为像素视差数据，d为所述物理视差数据，S为图像显示装置上单个像素的水平物理尺寸。
11.一种2D图像转换装置，应用于手术机器人，其特征在于，所述手术机器人包括图像采集装置和图像显示装置；所述2D图像转换装置连接在所述图像采集装置和所述图像显示装置之间，并且被配置为执行以下步骤：
获取所述图像采集装置采集的待处理2D图像；
获取所述待处理2D图像的深度信息，所述深度信息用于反映图像中各个像素点所对应的实际目标对象与所述图像采集装置之间的距离；
根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据；
根据所述物理视差数据对所述待处理2D图像进行处理，生成具有视差的左眼图像和右眼图像；
将所述左眼图像和所述右眼图像输入到所述图像显示装置中进行显示，其中，所述左眼图像和所述右眼图像在所述图像显示装置中为各自独立且同时显示；
所述根据所述深度信息、用户双眼之间的距离、双眼观察位置与所述图像显示装置之间的距离，以及实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离之间的比例，确定物理视差数据，包括：
通过以下公式确定物理视差数据：
其中，d为物理视差数据，表示物理距离，D为双眼观察位置与所述图像显示装置之间的距离，B为用户双眼之间的距离，z是眼睛与实际目标对象在人脑中所成虚像的距离，z＝kh+D，其中，h为所述深度信息，k为实际目标对象与图像采集装置之间距离和通过图像显示装置观察生成的实际目标对象的虚拟位置与图像显示装置的距离距离之间的比例。
12.根据权利要求11所述的装置，其特征在于，所述图像显示装置包括相互独立的左眼显示屏和右眼显示屏，所述左眼显示屏用于显示所述左眼图像，所述右眼显示屏用于显示所述右眼图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210800251.2A CN115190286B (zh) | 2022-07-06 | 2022-07-06 | 一种2d图像转换方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210800251.2A CN115190286B (zh) | 2022-07-06 | 2022-07-06 | 一种2d图像转换方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115190286A CN115190286A (zh) | 2022-10-14 |
| CN115190286B true CN115190286B (zh) | 2024-02-27 |
Family
ID=83517284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210800251.2A Active CN115190286B (zh) | 2022-07-06 | 2022-07-06 | 一种2d图像转换方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115190286B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104786A (zh) * | 2009-12-14 | 2011-06-22 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN102223553A (zh) * | 2011-05-27 | 2011-10-19 | 山东大学 | 一种二维视频到三维视频的自动转换方法 |
| CN102547356A (zh) * | 2010-12-27 | 2012-07-04 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN107465911A (zh) * | 2016-06-01 | 2017-12-12 | 东南大学 | 一种深度信息提取方法及装置 |
| CN108712643A (zh) * | 2018-04-27 | 2018-10-26 | 苏州新光维医疗科技有限公司 | 二维图像转换成三维图像的方法、装置及三维成像系统 |
| CN216692729U (zh) * | 2021-04-21 | 2022-06-07 | 王技陶 | 一种室内测绘小车 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011139281A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 三次元画像生成装置、三次元画像表示装置、三次元画像生成方法およびプログラム |
-
2022
- 2022-07-06 CN CN202210800251.2A patent/CN115190286B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104786A (zh) * | 2009-12-14 | 2011-06-22 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN102547356A (zh) * | 2010-12-27 | 2012-07-04 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN102223553A (zh) * | 2011-05-27 | 2011-10-19 | 山东大学 | 一种二维视频到三维视频的自动转换方法 |
| CN107465911A (zh) * | 2016-06-01 | 2017-12-12 | 东南大学 | 一种深度信息提取方法及装置 |
| CN108712643A (zh) * | 2018-04-27 | 2018-10-26 | 苏州新光维医疗科技有限公司 | 二维图像转换成三维图像的方法、装置及三维成像系统 |
| CN216692729U (zh) * | 2021-04-21 | 2022-06-07 | 王技陶 | 一种室内测绘小车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115190286A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| US8063930B2 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| JPH07287761A (ja) | 画像処理装置及び画像処理方法 | |
| WO2017141511A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| JPWO2010140332A1 (ja) | 立体画像表示装置 | |
| JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
| JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
| KR101270025B1 (ko) | 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치 | |
| US11463676B2 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| TWI589150B (zh) | ３ｄ自動對焦顯示方法及其系統 | |
| JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
| KR100439341B1 (ko) | 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법 | |
| KR101212223B1 (ko) | 촬영장치 및 깊이정보를 포함하는 영상의 생성방법 | |
| CN115190286B (zh) | 一种2d图像转换方法及装置 | |
| JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| WO2021184533A1 (zh) | 一种自动优化3d立体感的方法、系统及介质 | |
| JPH07296195A (ja) | 画像処理装置及び方法 | |
| JP5891554B2 (ja) | 立体感提示装置および方法ならびにぼけ画像生成処理装置，方法およびプログラム | |
| TW201509360A (zh) | 單鏡頭內視鏡立體視覺化系統及其方法 | |
| CN115190284B (zh) | 一种图像处理方法 | |
| JP2019185283A (ja) | ３次元モデル生成装置及びそのプログラム、並びに、ｉｐ立体像表示システム | |
| JP7336871B2 (ja) | 全天周映像処理装置及びプログラム | |
| JP5485102B2 (ja) | コミュニケーション装置、コミュニケーション方法、及びプログラム | |
| CN112085777A (zh) | 六自由度vr眼镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |