CN111739359A - 增强现实的课件生成系统 - Google Patents

增强现实的课件生成系统 Download PDF

Info

Publication number
CN111739359A
CN111739359A CN202010613647.7A CN202010613647A CN111739359A CN 111739359 A CN111739359 A CN 111739359A CN 202010613647 A CN202010613647 A CN 202010613647A CN 111739359 A CN111739359 A CN 111739359A
Authority
CN
China
Prior art keywords
projection
image
courseware
target object
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010613647.7A
Other languages
English (en)
Inventor
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yixue Education Technology Co Ltd
Original Assignee
Shanghai Yixue Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yixue Education Technology Co Ltd filed Critical Shanghai Yixue Education Technology Co Ltd
Priority to CN202010613647.7A priority Critical patent/CN111739359A/zh
Publication of CN111739359A publication Critical patent/CN111739359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了增强现实的课件生成系统，该增强现实的课件生成系统摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块，其通过对目标对象进行摄像以得到在观看投影于屏幕上的课件信息过程中目标对象的双目影像，接着对该双目影像进行计算分析以确定目标对象的实时视线范围，再根据该实时视线范围调整该课件信息投影模块的投影参数，从而使得该系统能够准确地根据目标对象的实时视线范围变化来调整课件的投影位置，以确保目标对象始终能够观看到完成的投影课件，并且大大提高课件投影的增强现实性、和改善教学质量与教学智能化程度。

Description

增强现实的课件生成系统
技术领域
本发明涉及智能教育的技术领域，特别涉及增强现实的课件生成系统。
背景技术
在教学过程中，通常需要借助投影设备来将课件投影至屏幕上，从而实现课件的增强现实显示。现有技术的教学投影方式都只是要求将课件精确地对准屏幕投影即可，但是在实际教学过程中，学生的视线范围会由于学生的坐姿或者学生的注意力集成程度而发生变化，这就会导致学生无法全程的观看与视线范围相匹配的投影课件，从而降低课件投影的增强现实性和降低教学质量。
发明内容
针对现有技术存在的缺陷，本发明提供增强现实的课件生成系统，该增强现实的课件生成系统摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块，其通过对目标对象进行摄像以得到在观看投影于屏幕上的课件信息过程中目标对象的双目影像，接着对该双目影像进行计算分析以确定目标对象的实时视线范围，再根据该实时视线范围调整该课件信息投影模块的投影参数，从而使得该系统能够准确地根据目标对象的实时视线范围变化来调整课件的投影位置，以确保目标对象始终能够观看到完成的投影课件，并且大大提高课件投影的增强现实性、和改善教学质量与教学智能化程度。
本发明提供增强现实的课件生成系统，其特征在于：
所述增强现实的课件生成系统包括摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块；其中，
所述摄像机模块用于对目标对象进行摄像，从而拍摄得到在观看投影于屏幕上的课件信息过程中所述目标对象的双目影像；
所述视线范围确定模块用于对所述双目影像进行计算分析，从而确定所述目标对象的实时视线范围；
所述课件信息投影模块用于将图像形式的课件信息投影在所述屏幕上；
所述投影状态调整模块用于根据所述实时视线范围，调整所述课件信息投影模块的投影参数；
进一步，所述摄像机模块包括双目摄像头单元、红外追踪单元和摄像调整单元；其中，
所述双目摄像头单元包括相对于所述目标对象设置在不同位置处的两个摄像头，其用于拍摄获得关于所述目标对象的所述双目影像；
所述红外追踪单元用于对所述目标对象发射红外线，并根据所述目标对象反射的红外线，对所述目标对象进行追踪定位；
所述摄像调整单元用于根据所述红外追踪单元对所述目标对象的追踪定位结果，调整所述双目摄像头单元的拍摄参数，其中，所述拍摄参数包括拍摄方向和/或拍摄焦距长度；
进一步，所述双目摄像头单元还包括同步拍摄触发器，所述同步拍摄触发器用于同时向所述两个摄像头发送拍摄动作触发指令，从而使所述两个摄像头能够对所述目标对象进行同步拍摄；
或者，
所述红外追踪单元包括红外线发射器、红外线接收器和位置确定器；其中，
所述红外线发射器用于向所述目标对象扫描发射红外线；
所述红外线接收器用于接收到达所述目标对象并被所述目标对象反射的所述红外线；
所述位置确定器用于根据所述红外线接收器接收到的所述红外线的强度变化状态，计算得到所述目标对象的实时位置；
进一步，所述视线范围确定模块包括图像帧提取单元、双目视差计算单元和视线范围计算单元；其中，
所述图像帧提取单元用于从所述双目影像中提取在同一时刻关于所述目标对象的双目图像帧；
所述双目视差计算单元用于计算所述双目图像帧中包含的两个不同方位图像之间的图像视差；
所述视线范围计算单元用于根据所述图像视差计算所述目标对象的实际视线范围；
进一步，所述课件信息投影模块包括投影图像源单元和投影镜头单元；其中，
所述投影图像源单元用于提供与所述课件信息对应的待投影图像，其中，所述投影图像源单元为液晶显示器或者LED显示器；
所述投影镜头单元用于将所述待投影图像投影成像至所述屏幕上；
进一步，所述投影状态调整模块包括图像投影位姿调整单元和投影光学参数调整单元；其中，
所述图像投影位姿调整单元用于根据所述实时视线范围，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的位姿，其中，所述位姿包括所述图像形式的课件信息相对于所述屏幕的旋转方位；
所述投影光学参数调整单元用于根据所述实时视线范围，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的投影大小、投影分辨率和投影亮度中的至少一者；
进一步，所述图像投影位姿调整单元包括投影位姿计算子单元，所述投影位姿计算子单元用于计算所述图像形式的课件信息相对于所述屏幕的所述位姿，其过程具体为，
S1、以所述实时视线范围对应的视线矩形平面区域的四个边界顶点为标记点，根据下面公式(1)确定世界坐标系(O1-XYZ)与摄像机坐标系(O-XpYpZp)之间的变换关系，
Figure BDA0002562979130000041
在上述公式(1)中，(xp，yp，zp)表示任一待计算点在所述摄像机坐标系中的坐标，(xh，yh，0)表示所述任一待计算点在所述世界坐标系中的坐标，
Figure BDA0002562979130000042
表示控制所述图像形式的课件信息进行投影方向旋转的矩阵，qij表示所述矩阵的元素，i＝1、2、3，j＝1、2、3，(b1，b2，b3)表示已知平移向量B，b1、b2、b3分别为所述平移向量的元素，符号T表示转置运算；
S2、结合上述公式(1)与光学投影原理，得到下面公式(2)所表示的方程组，
Figure BDA0002562979130000043
在上述公式(2)中，u表示所述投影机模块的投影物距，v表示所述投影机模块的投影像距、f表示所述投影机模块的焦距，并且所述矩阵为酉矩阵，根据正交分解定理能确定
Figure BDA0002562979130000044
Figure BDA0002562979130000045
S3、对上述(2)对应的方程组进行解算，从而计算得到所述矩阵对应的具体数学形式；
所述图像投影位姿调整单元再根据所述矩阵，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的位姿；
进一步，所述图像投影位姿调整单元还包括图像投影位置优化子单元，所述图像投影位置优化子单元用于对投影在所述屏幕上的所述图像形式的课件信息进行投影位置的优化调整，其过程具体为，
T1、根据下面公式(3)形成一投影位置优化调整函数
Figure BDA0002562979130000051
在上述公式(3)中，x表示投影位置X方向横坐标点信息，I(x)表示投影输入的图像尺寸信息，T(x)表示投影变换后的图像尺寸信息，W(x；B)表示投影所进行的图像变换，B表示所述预先已知的平移向量；
T2、根据下面公式(4)计算所述预先已知的平移向量B的梯度
Figure BDA0002562979130000052
Figure BDA0002562979130000053
在上述公式(4)中，H表示海塞矩阵、且
Figure BDA0002562979130000054
T3、所述图像投影位置优化子单元再根据所述梯度
Figure BDA0002562979130000055
对投影在所述屏幕上的所述图像形式的课件信息进行平移，即根据所述梯度
Figure BDA0002562979130000056
确定投影图像在投影面上的横轴方向和/或纵轴方向上偏离理想投影位置的偏离值，再根据所述偏离值对所述图像形式的课件信息进行横轴方向和/或纵轴方向的平移，从而实现所述投影位置的优化调整。
相比于现有技术，该增强现实的课件生成系统摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块，其通过对目标对象进行摄像以得到在观看投影于屏幕上的课件信息过程中目标对象的双目影像，接着对该双目影像进行计算分析以确定目标对象的实时视线范围，再根据该实时视线范围调整该课件信息投影模块的投影参数，从而使得该系统能够准确地根据目标对象的实时视线范围变化来调整课件的投影位置，以确保目标对象始终能够观看到完成的投影课件，并且大大提高课件投影的增强现实性、和改善教学质量与教学智能化程度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的增强现实的课件生成系统的整体结构示意图。
图2为本发明提供的增强现实的课件生成系统中摄像机模块的结构示意图。
图3为本发明提供的增强现实的课件生成系统中视线范围确定模块的结构示意图。
图4为本发明提供的增强现实的课件生成系统中课件信息投影模块的结构示意图。
图5为本发明提供的增强现实的课件生成系统中投影状态调整模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的增强现实的课件生成系统的整体结构示意图。该增强现实的课件生成系统包括摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块；其中，
该摄像机模块用于对目标对象进行摄像，从而拍摄得到在观看投影于屏幕上的课件信息过程中该目标对象的双目影像；
该视线范围确定模块用于对该双目影像进行计算分析，从而确定该目标对象的实时视线范围；
该课件信息投影模块用于将图像形式的课件信息投影在该屏幕上；
该投影状态调整模块用于根据该实时视线范围，调整该课件信息投影模块的投影参数。
该增强现实的课件生成系统不同于以往的课件投影系统只能进行投影位置固定投影或者手动调整投影位置的工作方式，其能够通过拍摄目标对象的双目影像并以此确定目标对象的实时视线范围，再根据该实时视线范围调整图像形式的课件信息的投影位姿和/或投影位置等参数，从而实现课件投影的智能化调整以及改善课件投影教学的增强现实感。
参阅图2，为本发明实施例提供的增强现实的课件生成系统中摄像机模块的整体结构示意图。该摄像机模块包括双目摄像头单元、红外追踪单元和摄像调整单元；其中，
该双目摄像头单元包括相对于该目标对象设置在不同位置处的两个摄像头，其用于拍摄获得关于该目标对象的该双目影像；
该红外追踪单元用于对该目标对象发射红外线，并根据该目标对象反射的红外线，对该目标对象进行追踪定位；
该摄像调整单元用于根据该红外追踪单元对该目标对象的追踪定位结果，调整该双目摄像头单元的拍摄参数，其中，该拍摄参数包括拍摄方向和/或拍摄焦距长度。
优选地，该双目摄像头单元还包括同步拍摄触发器，该同步拍摄触发器用于同时向该两个摄像头发送拍摄动作触发指令，从而使该两个摄像头能够对该目标对象进行同步拍摄。
优选地，该红外追踪单元包括红外线发射器、红外线接收器和位置确定器；其中，
该红外线发射器用于向该目标对象扫描发射红外线；
该红外线接收器用于接收到达该目标对象并被该目标对象反射的该红外线；
该位置确定器用于根据该红外线接收器接收到的该红外线的强度变化状态，计算得到该目标对象的实时位置。
由于摄像机模块能否拍摄到目标对象的完整影像会影响后续对目标对象实际视线范围的计算精确性，为了确保摄像机模块对目标对象的拍摄完整性和可调性，通过红外追踪定位的方式来确定目标对象的实时位置，再适应性地调整摄像头的拍摄方向和/或拍摄焦距长度，从而保证该摄像机模块始终能够获得关于目标对象的完整的和清晰的影像。
参阅图3，为本发明实施例提供的增强现实的课件生成系统中视线范围确定模块的整体结构示意图。该视线范围确定模块包括图像帧提取单元、双目视差计算单元和视线范围计算单元；其中，
该图像帧提取单元用于从该双目影像中提取在同一时刻关于该目标对象的双目图像帧；
该双目视差计算单元用于计算该双目图像帧中包含的两个不同方位图像之间的图像视差；
该视线范围计算单元用于根据该图像视差计算该目标对象的实际视线范围。
由于该双目影像是关于目标对象在不同方位上的两个不同的影像，其中包含有该目标对象观看屏幕上的投影课件的视线方向范围信息，这样通过计算该双目影像中对应的双目图像帧之间的图像视差信息能够快速地和精确地确定该目标对象的实际视线范围，从而保证该实际视线范围的真实性和有效性。
参阅图4，为本发明实施例提供的增强现实的课件生成系统中课件信息投影模块的整体结构示意图。该课件信息投影模块包括投影图像源单元和投影镜头单元；其中，
该投影图像源单元用于提供与该课件信息对应的待投影图像，其中，该投影图像源单元为液晶显示器或者LED显示器；
该投影镜头单元用于将该待投影图像投影成像至该屏幕上。
采用液晶显示器或者LED显示器作为投影图像源能够便于进行课件信息的图像形式转换和丰富该待投影图像的色彩丰富性和色饱和度。
参阅图5，为本发明实施例提供的增强现实的课件生成系统中投影状态调整模块的整体结构示意图。该投影状态调整模块包括图像投影位姿调整单元和投影光学参数调整单元；其中，
该图像投影位姿调整单元用于根据该实时视线范围，调整该课件信息投影模块将该图像形式的课件信息投影至该屏幕上的位姿，其中，该位姿包括该图像形式的课件信息相对于该屏幕的旋转方位；
该投影光学参数调整单元用于根据该实时视线范围，调整该课件信息投影模块将该图像形式的课件信息投影至该屏幕上的投影大小、投影分辨率和投影亮度中的至少一者。
优选地，该图像投影位姿调整单元包括投影位姿计算子单元，该投影位姿计算子单元用于计算该图像形式的课件信息相对于该屏幕的该位姿，其过程具体为，
S1、以该实时视线范围对应的视线矩形平面区域的四个边界顶点为标记点，根据下面公式(1)确定世界坐标系(O1-XYZ)与摄像机坐标系(O-XpYpZp)之间的变换关系，
Figure BDA0002562979130000091
在上述公式(1)中，(xp，yp，zp)表示任一待计算点在该摄像机坐标系中的坐标，(xh，yh，0)表示该任一待计算点在该世界坐标系中的坐标，
Figure BDA0002562979130000101
表示控制该图像形式的课件信息进行投影方向旋转的矩阵，qij表示该矩阵的元素，i＝1、2、3，j＝1、2、3，(b1，b2，b3)表示已知平移向量B，b1、b2、b3分别为该平移向量的元素，符号T表示转置运算；
S2、结合上述公式(1)与光学投影原理，得到下面公式(2)所表示的方程组，
Figure BDA0002562979130000102
在上述公式(2)中，u表示该投影机模块的投影物距，v表示该投影机模块的投影像距、f表示该投影机模块的焦距，并且该矩阵为酉矩阵，根据正交分解定理能确定
Figure BDA0002562979130000103
Figure BDA0002562979130000104
S3、对上述(2)对应的方程组进行解算，从而计算得到该矩阵对应的具体数学形式；
该图像投影位姿调整单元再根据该矩阵，调整该课件信息投影模块将该图像形式的课件信息投影至该屏幕上的位姿。
优选地，该图像投影位姿调整单元还包括图像投影位置优化子单元，该图像投影位置优化子单元用于对投影在该屏幕上的该图像形式的课件信息进行投影位置的优化调整，其过程具体为，
T1、根据下面公式(3)形成一投影位置优化调整函数
Figure BDA0002562979130000105
在上述公式(3)中，x表示投影位置X方向横坐标点信息，I(x)表示投影输入的图像尺寸信息，T(x)表示投影变换后的图像尺寸信息，W(x；B)表示投影所进行的图像变换，B表示该预先已知的平移向量；
T2、根据下面公式(4)计算该预先已知的平移向量B的梯度
Figure BDA0002562979130000111
Figure BDA0002562979130000112
在上述公式(4)中，H表示海塞矩阵、且
Figure BDA0002562979130000113
T3、该图像投影位置优化子单元再根据该梯度
Figure BDA0002562979130000114
对投影在该屏幕上的该图像形式的课件信息进行平移，即根据该梯度
Figure BDA0002562979130000115
确定投影图像在投影面上的横轴方向和/或纵轴方向上偏离理想投影位置的偏离值，再根据该偏离值对该图像形式的课件信息进行横轴方向和/或纵轴方向的平移，从而实现该投影位置的优化调整。
下面表格为该图像投影位置优化子单元进行投影位置的优化调整过程中对应的投影位置识别范围、投影位置偏差和优化处理时间的对照表
组别 识别范围(厘米) 偏差(厘米) 处理时间(f<sub>ps</sub>)
1 4-5 2.56 1.33
2 3-8 2.14 1.42
3 6-8 2.34 1.83
4 5-9 3.25 1.98
5 7-8 3.51 2.51
从上面表格可知，该图像投影位置优化子单元能够在不同数值对应的投影位置识别范围内进行精度匹配的位置偏差调整，并且其优化处理时间都非常短，这有利于实现快速的位置偏差调整，从而避免在位置偏差调整过程中出现投影失真的情况。
此外，上述投影位姿计算子单元和图像投影位置优化子单元的投影调整过程能够有效地减少进行投影调整所需要的投影识别标定点，从而能够加速相应的投影识别计算过程，并且还能适用于如空间交互构图的数学教学以及空间设计制图的土木机械教学等不同学科的课件投影教学，在投影过程中还能够实现无画面卡顿投影，以此改善用户的体验；相比于传统投影处理方法，其提供了内容丰富和表达形式多样的课件投影形式，同时也提高了系统的投影调整响应速度，并大大改善教学质量与教学智能化程度。
从上述实施例的内容可知，该增强现实的课件生成系统摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块，其通过对目标对象进行摄像以得到在观看投影于屏幕上的课件信息过程中目标对象的双目影像，接着对该双目影像进行计算分析以确定目标对象的实时视线范围，再根据该实时视线范围调整该课件信息投影模块的投影参数，从而使得该系统能够准确地根据目标对象的实时视线范围变化来调整课件的投影位置，以确保目标对象始终能够观看到完成的投影课件，并且大大提高课件投影的增强现实性、和改善教学质量与教学智能化程度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.增强现实的课件生成系统，其特征在于：
所述增强现实的课件生成系统包括摄像机模块、视线范围确定模块、课件信息投影模块和投影状态调整模块；其中，
所述摄像机模块用于对目标对象进行摄像，从而拍摄得到在观看投影于屏幕上的课件信息过程中所述目标对象的双目影像；
所述视线范围确定模块用于对所述双目影像进行计算分析，从而确定所述目标对象的实时视线范围；
所述课件信息投影模块用于将图像形式的课件信息投影在所述屏幕上；
所述投影状态调整模块用于根据所述实时视线范围，调整所述课件信息投影模块的投影参数。
2.如权利要求1所述的增强现实的课件生成系统，其特征在于：
所述摄像机模块包括双目摄像头单元、红外追踪单元和摄像调整单元；其中，
所述双目摄像头单元包括相对于所述目标对象设置在不同位置处的两个摄像头，其用于拍摄获得关于所述目标对象的所述双目影像；
所述红外追踪单元用于对所述目标对象发射红外线，并根据所述目标对象反射的红外线，对所述目标对象进行追踪定位；
所述摄像调整单元用于根据所述红外追踪单元对所述目标对象的追踪定位结果，调整所述双目摄像头单元的拍摄参数，其中，所述拍摄参数包括拍摄方向和/或拍摄焦距长度。
3.如权利要求2所述的增强现实的课件生成系统，其特征在于：
所述双目摄像头单元还包括同步拍摄触发器，所述同步拍摄触发器用于同时向所述两个摄像头发送拍摄动作触发指令，从而使所述两个摄像头能够对所述目标对象进行同步拍摄；
或者，
所述红外追踪单元包括红外线发射器、红外线接收器和位置确定器；其中，
所述红外线发射器用于向所述目标对象扫描发射红外线；
所述红外线接收器用于接收到达所述目标对象并被所述目标对象反射的所述红外线；
所述位置确定器用于根据所述红外线接收器接收到的所述红外线的强度变化状态，计算得到所述目标对象的实时位置。
4.如权利要求1所述的增强现实的课件生成系统，其特征在于：
所述视线范围确定模块包括图像帧提取单元、双目视差计算单元和视线范围计算单元；其中，
所述图像帧提取单元用于从所述双目影像中提取在同一时刻关于所述目标对象的双目图像帧；
所述双目视差计算单元用于计算所述双目图像帧对应的双目图像视差；
所述视线范围计算单元用于根据所述双目图像视差计算所述目标对象的实际视线范围。
5.如权利要求1所述的增强现实的课件生成系统，其特征在于：
所述课件信息投影模块包括投影图像源单元和投影镜头单元；其中，
所述投影图像源单元用于提供与所述课件信息对应的待投影图像，其中，
所述投影图像源单元为液晶显示器或者LED显示器；
所述投影镜头单元用于将所述待投影图像投影成像至所述屏幕上。
6.如权利要求1所述的增强现实的课件生成系统，其特征在于：
所述投影状态调整模块包括图像投影位姿调整单元和投影光学参数调整单元；其中，
所述图像投影位姿调整单元用于根据所述实时视线范围，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的位姿，其中，所述位姿包括所述图像形式的课件信息相对于所述屏幕的旋转方位；
所述投影光学参数调整单元用于根据所述实时视线范围，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的投影大小、投影分辨率和投影亮度中的至少一者。
7.如权利要求6所述的增强现实的课件生成系统，其特征在于
所述图像投影位姿调整单元包括投影位姿计算子单元，所述投影位姿计算子单元用于计算所述图像形式的课件信息相对于所述屏幕的所述位姿，其过程具体为，
S1、以所述实时视线范围对应的视线矩形平面区域的四个边界顶点为标记点，根据下面公式(1)确定世界坐标系(O1-XYZ)与摄像机坐标系(O-XpYpZp)之间的变换关系，
Figure FDA0002562979120000031
在上述公式(1)中，(xp，yp，zp)表示任一待计算点在所述摄像机坐标系中的坐标，(xh，yh，0)表示所述任一待计算点在所述世界坐标系中的坐标，
Figure FDA0002562979120000032
表示控制所述图像形式的课件信息进行投影方向旋转的矩阵，qij表示所述矩阵的元素，i＝1、2、3，j＝1、2、3，(b1，b2，b3)表示一个预先已知的平移向量B，b1、b2、b3分别为所述平移向量的元素，符号T表示转置运算；
S2、结合上述公式(1)与光学投影原理，得到下面公式(2)所表示的方程组，
Figure FDA0002562979120000041
在上述公式(2)中，u表示所述投影机模块的投影物距，v表示所述投影机模块的投影像距、f表示所述投影机模块的焦距，并且所述矩阵为酉矩阵，根据正交分解定理能确定
Figure FDA0002562979120000042
Figure FDA0002562979120000043
S3、对上述(2)对应的方程组进行解算，从而计算得到所述矩阵对应的具体数学形式；
所述图像投影位姿调整单元再根据所述矩阵，调整所述课件信息投影模块将所述图像形式的课件信息投影至所述屏幕上的位姿。
8.如权利要求7所述的增强现实的课件生成系统，其特征在于：
所述图像投影位姿调整单元还包括图像投影位置优化子单元，所述图像投影位置优化子单元用于对投影在所述屏幕上的所述图像形式的课件信息进行投影位置的优化调整，其过程具体为，
T1、根据下面公式(3)形成一投影位置优化调整函数
Figure FDA0002562979120000044
在上述公式(3)中，x表示投影位置X方向横坐标点信息，I(x)表示投影输入的图像尺寸信息，T(x)表示投影变换后的图像尺寸信息，W(x；B)表示投影所进行的图像变换，B表示所述预先已知的平移向量；
T2、根据下面公式(4)计算所述预先已知的平移向量B的梯度
Figure FDA0002562979120000045
Figure FDA0002562979120000051
在上述公式(4)中，H表示海塞矩阵、且
Figure FDA0002562979120000052
T3、所述图像投影位置优化子单元再根据所述梯度
Figure FDA0002562979120000053
对投影在所述屏幕上的所述图像形式的课件信息进行平移，即根据所述梯度
Figure FDA0002562979120000054
确定投影图像在投影面上的横轴方向和/或纵轴方向上偏离理想投影位置的偏离值，再根据所述偏离值对所述图像形式的课件信息进行横轴方向和/或纵轴方向的平移，从而实现所述投影位置的优化调整。
CN202010613647.7A 2020-06-30 2020-06-30 增强现实的课件生成系统 Pending CN111739359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010613647.7A CN111739359A (zh) 2020-06-30 2020-06-30 增强现实的课件生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010613647.7A CN111739359A (zh) 2020-06-30 2020-06-30 增强现实的课件生成系统

Publications (1)

Publication Number Publication Date
CN111739359A true CN111739359A (zh) 2020-10-02

Family

ID=72653727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010613647.7A Pending CN111739359A (zh) 2020-06-30 2020-06-30 增强现实的课件生成系统

Country Status (1)

Country Link
CN (1) CN111739359A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435347A (zh) * 2020-11-23 2021-03-02 济南浪潮高新科技投资发展有限公司 一种增强现实的电子书阅读系统及方法
CN113064485A (zh) * 2021-03-17 2021-07-02 广东电网有限责任公司 一种用于培训考核的监督方法及系统
CN113362659A (zh) * 2021-06-17 2021-09-07 上海松鼠课堂人工智能科技有限公司 用于多媒体教学的动态投影控制方法与系统
CN113888907A (zh) * 2021-09-30 2022-01-04 潍坊学院 移动投影式精品课录像视线引导系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050179868A1 (en) * 2004-02-13 2005-08-18 Angstrom Inc. Three-dimensional display using variable focusing lens
EP1669928A2 (en) * 2004-12-10 2006-06-14 Radiological Imaging Technology, Inc. Optimizing image alignment
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN204539353U (zh) * 2014-12-29 2015-08-05 深圳超多维光电子有限公司 医疗图像立体显示系统
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106447613A (zh) * 2016-09-27 2017-02-22 西安蒜泥电子科技有限责任公司 一种基于图像局部配准的全景去虚影方法及系统
US20170206713A1 (en) * 2014-12-23 2017-07-20 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理系统及其制作方法
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法
CN109035932A (zh) * 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学系统
CN109246414A (zh) * 2018-09-27 2019-01-18 青岛理工大学 一种投影式增强现实图像生成方法及系统
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
CN109729341A (zh) * 2017-10-27 2019-05-07 三星电子株式会社 用于校准三维（3d）显示设备的参数的方法和设备
CN110009952A (zh) * 2019-04-12 2019-07-12 上海乂学教育科技有限公司 基于增强现实的自适应学习移动终端及学习方法
CN209572101U (zh) * 2019-04-24 2019-11-01 杭州赛鲁班网络科技有限公司 基于增强现实的教学分享系统
CN110769245A (zh) * 2018-07-27 2020-02-07 华为技术有限公司 一种校准方法及相关设备
CN110825234A (zh) * 2019-11-11 2020-02-21 江南大学 一种面向工业场景的投影式增强现实跟踪显示方法和系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050179868A1 (en) * 2004-02-13 2005-08-18 Angstrom Inc. Three-dimensional display using variable focusing lens
CN1918511A (zh) * 2004-02-13 2007-02-21 立体播放有限公司 使用可变焦距透镜的三维显示
EP1669928A2 (en) * 2004-12-10 2006-06-14 Radiological Imaging Technology, Inc. Optimizing image alignment
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
US20170206713A1 (en) * 2014-12-23 2017-07-20 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN107003734A (zh) * 2014-12-23 2017-08-01 美达公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
CN204539353U (zh) * 2014-12-29 2015-08-05 深圳超多维光电子有限公司 医疗图像立体显示系统
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106447613A (zh) * 2016-09-27 2017-02-22 西安蒜泥电子科技有限责任公司 一种基于图像局部配准的全景去虚影方法及系统
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理系统及其制作方法
CN109729341A (zh) * 2017-10-27 2019-05-07 三星电子株式会社 用于校准三维（3d）显示设备的参数的方法和设备
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法
CN110769245A (zh) * 2018-07-27 2020-02-07 华为技术有限公司 一种校准方法及相关设备
CN109035932A (zh) * 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学系统
CN109246414A (zh) * 2018-09-27 2019-01-18 青岛理工大学 一种投影式增强现实图像生成方法及系统
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
CN110009952A (zh) * 2019-04-12 2019-07-12 上海乂学教育科技有限公司 基于增强现实的自适应学习移动终端及学习方法
CN209572101U (zh) * 2019-04-24 2019-11-01 杭州赛鲁班网络科技有限公司 基于增强现实的教学分享系统
CN110825234A (zh) * 2019-11-11 2020-02-21 江南大学 一种面向工业场景的投影式增强现实跟踪显示方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王蕾等: "基于梯度互信息的光学影像和LIDAR强度图配准", 《地理空间信息》 *
田娟秀等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 *
郑文彬等: "动目标成像跟踪算法研究", 《华东船舶工业学院学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435347A (zh) * 2020-11-23 2021-03-02 济南浪潮高新科技投资发展有限公司 一种增强现实的电子书阅读系统及方法
CN113064485A (zh) * 2021-03-17 2021-07-02 广东电网有限责任公司 一种用于培训考核的监督方法及系统
CN113362659A (zh) * 2021-06-17 2021-09-07 上海松鼠课堂人工智能科技有限公司 用于多媒体教学的动态投影控制方法与系统
CN113888907A (zh) * 2021-09-30 2022-01-04 潍坊学院 移动投影式精品课录像视线引导系统
CN113888907B (zh) * 2021-09-30 2023-07-18 潍坊学院 移动投影式精品课录像视线引导系统

Similar Documents

Publication Publication Date Title
CN111739359A (zh) 增强现实的课件生成系统
US10194135B2 (en) Three-dimensional depth perception apparatus and method
CN106500852B (zh) 红外与可见光图像配准与融合的系统与方法
JP5843751B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
WO2017121058A1 (zh) 一种全光信息采集系统
CN100527165C (zh) 一种以动态投影为背景的实时目标识别方法
JP4769079B2 (ja) カメラ情報解析装置
CN107452031B (zh) 虚拟光线跟踪方法及光场动态重聚焦显示系统
WO2015085956A1 (zh) 一种基于投影图像的处理方法及装置
US20210044725A1 (en) Camera-specific distortion correction
CN108388341B (zh) 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
CN109822224B (zh) 一种激光打标方法和打标装置
CN104090689B (zh) 一种移动终端及其交互式投影的方法和系统
CN107009962B (zh) 一种基于姿态识别的全景观测方法
CN109996048A (zh) 一种基于结构光的投影校正方法及其系统
CN110033407A (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
KR20200129657A (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
CN103413305B (zh) 一种单幅图像的快速去雾方法、装置和图像处理系统
CN103324022A (zh) 三维照相模块与手持装置
CN110086982A (zh) 一种图像透视矫正方法及装置
CN107977998B (zh) 一种基于多视角采样的光场校正拼接装置及方法
CN110942475B (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法
CN117218320B (zh) 基于混合现实的空间标注方法
CN103903274B (zh) 一种小半径大曲率畸变曲面投影校正融合的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 200237 9 / F and 10 / F, building 2, No. 188, Yizhou Road, Xuhui District, Shanghai

Applicant after: Shanghai squirrel classroom Artificial Intelligence Technology Co.,Ltd.

Address before: 200237 9 / F and 10 / F, building 2, No. 188, Yizhou Road, Xuhui District, Shanghai

Applicant before: SHANGHAI YIXUE EDUCATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221111

AD01 Patent right deemed abandoned