CN102880288A - 一种3d显示的人机交互的方法、装置以及设备 - Google Patents
一种3d显示的人机交互的方法、装置以及设备 Download PDFInfo
- Publication number
- CN102880288A CN102880288A CN2012102965448A CN201210296544A CN102880288A CN 102880288 A CN102880288 A CN 102880288A CN 2012102965448 A CN2012102965448 A CN 2012102965448A CN 201210296544 A CN201210296544 A CN 201210296544A CN 102880288 A CN102880288 A CN 102880288A
- Authority
- CN
- China
- Prior art keywords
- rendering
- user action
- machine interaction
- man
- coordinates value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出了一种3D显示的人机交互的方法，包括：S1.通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；S2.识别所述的用户动作三维坐标值是否在预设的3D图像三维激活范围内；S3.激活3D图像的动作信息并反馈给处理器。本发明还公开了一种3D显示的人机交互的装置以及设备。本发明的一种3D显示的人机交互的方法、装置以及设备，能实时跟踪用户与3D显示的视频画面，自动实现同步动作，实现更逼真、更自然的人机交互过程。
Description
技术领域
本发明涉及3D显示领域，特别涉及一种3D显示的人机交互的方法、装置以及设备。
背景技术
人机交互技术(Human-ComputerInteraction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。
“3D”里的“D”，是英文单词Dimension(线度、维)的首字母。3D指的就是三维空间。与普通2D画面显示相比，3D技术可以使画面变得立体逼真，图像不再局限于屏幕平面，仿佛能够走出屏幕外面，让观众有身临其境的感觉。
尽管对于相对于传统的电视机而言，3D电视能够呈现出来的图像让人叹为观止，但仍不能有效实现逼真的互动，人们正在不断的探索将人机交互与3D显示相接合的技术。
发明内容
本发明提出一种3D显示的人机交互的方法、装置以及设备，解决了现有技术中3D播放不能逼真与用户互动的问题。
本发明的技术方案是这样实现的：
本发明公开了一种3D显示的人机交互的方法，包括：
S1.通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
S2.识别所述的用户动作三维坐标值是否在3D图像三维激活范围内，若是，进入步骤S3，若否，返回步骤S1；
S3.激活3D图像的动作信息并反馈给处理器。
在本发明所述的3D显示的人机交互的方法中，所述的步骤S1中所述的处理器读取摄像头数据并处理包括利用多摄像头采集的视差图像分析深度距离信息。
在本发明所述的3D显示的人机交互的方法中，所述的步骤S2，具体包括：
S21.不断实时更新提取用户动作三维坐标值，同步提取3D图像的坐标值；
S22.将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在3D图像三维激活范围内。
在本发明所述的3D显示的人机交互的方法中，所述的激活动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
本发明公开了一种3D显示的人机交互的装置，用于实现上述的方法，包括：
用户动作三维坐标值提取单元，用于通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
用户动作三维坐标值识别单元，用于识别所述的用户动作三维坐标值是否在3D图像三维激活范围内；
3D图像激活单元，用于激活3D图像的动作信息并反馈给处理器。
在本发明所述的3D显示的人机交互的装置中，所述的用户动作三维坐标值识别单元，进一步包括：
用户动作三维坐标值更新单元，用于不断实时更新摄像头拍摄的用户动作三维坐标值，同步提取3D图像的坐标值；
用户动作三维坐标值比较单元，用于将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在3D图像三维激活范围内。
在本发明所述的3D显示的人机交互的装置中，所述的激活动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
本发明公开了一种3D显示的人机交互的设备，包括用于拍摄用户动作的至少两个摄像头、用于暂存用户动作数据的存储器，处理器控制单元、3D显示终端，其中，所述的摄像头将摄取的用户动作数据输送至所述的存储器进行存储，所述的存储器，3D显示终端均分别连接于所述的处理器控制单元，所述的处理器控制单元具有上述的3D显示的人机交互的装置。
在本发明所述的3D显示的人机交互的设备中，所述的3D显示的人机交互的设备还包括用于响应声音信息的麦克风和/或扬声器。
在本发明所述的3D显示的人机交互的设备中，所述的3D显示终端包括LCD/LED显示屏。
实施本发明的一种3D显示的人机交互的方法、装置以及设备，具有以下有益的技术效果：
用户跟随3D的视频画面，自动实现同步动作，实现更逼真、更自然的人机交互过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种3D显示的人机交互的第一实施例的方法流程图；
图2是本发明一种3D显示的人机交互的第二实施例的方法流程图；
图3是本发明一种3D显示的人机交互的装置的第一实施例的功能方框图；
图4是本发明一种3D显示的人机交互的装置的第二实施例的功能方框图；
图5为本发明一种3D显示的人机交互的设备功能方框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明的3D显示的人机交互的方法的第一实施例，一种3D显示的人机交互的方法，包括：
S1.通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
其中，为了获得用户三维的空间坐标(x、y、z)以获得更进一步的立体效果，本技术方案中的处理器读取摄像头数据并处理包括利用多摄像头采集的视差图像分析深度距离信息。
提取一定时段内的连续视频帧，以当前帧作为结束帧，建立运动掩模，通过运动矢量计算用户动作于显示终端的3D图像动作坐标值。
S2.识别所述的用户动作三维坐标值是否在预设的3D图像三维激活范围内，若是，进入步骤S3，若否，返回步骤S1；
S3.激活3D图像的动作信息并反馈给处理器。
为了实现屏幕外用户与屏幕物体的互动，我们采用两种方式实现步骤S3：
第一种情况，初始激活3D图像的动作信息，可以称之为：初始互动，屏幕内的物体首先预测用户的动作，采用对应的措施，以打网球为例，如当系统获知用户位于出屏端左侧时，系统发出激活相应的模块的命令，使屏幕内的网球向右边飞出，以避开用户；
第二种情况，连续激活3D图像的动作信息，可以称之为：连续互动，即当屏幕内的物体“飞出”屏幕，依据用户的动作作出后续的响应，该响应可以是预设的模块命令，仍以网球来举例，打网球的3D图像播放，当网球从屏幕向用户“飞”来，根据本技术方案，用户用肢体或手掌响应迎面“飞”的网球时，系统感受到了用户的反应，立即启动预设的3D图像的激活运动信息，网球根据用户的肢体的动作，或弹开、或返回，实现人机交互的逼真效果。
同时，我们还设计预设的3D图像声音信息，如上述的打网球，如果返回的网球触到“屏幕内”不同的物体，如树、球栏、地面，发出不同的声音，增加用户身临其境的更逼真的效果。
激活动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
请参阅图2，为了实现更逼真更同步的互动，本发明提供3D显示的人机交互的方法的第二实施例，与实施例一大部分相同，不同之处在于：步骤S2由以下步骤组成：
S21.不断实时更新提取用户动作三维坐标值，同步提取预设的3D图像的坐标值；
S22.将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在预设的3D图像三维激活范围内。
本领域的技术人员应认识到，本技术方案的一种3D显示的人机交互的方法可以用软件兼硬件的方式实现，本软件可以存在于U盘、光盘、硬盘、RAM、ROM等中，凡是基于本技术方案的构思以及等同的变换，均是本技术方案保护范围。
请参阅图3，本发明的3D显示的人机交互的装置的第一实施例，用于实现上述的方法，包括：
用户动作三维坐标值提取单元10，用于通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
其中，为了获得用户三维的空间坐标(x、y、z)以获得更进一步的立体效果，本技术方案中的处理器读取摄像头数据并处理包括利用多摄像头采集的视差图像分析深度距离信息。
用户动作三维坐标值识别单元20，用于识别所述的用户动作三维坐标值是否在预设的3D图像三维激活范围内；
3D图像激活单元30，用于激活3D图像的动作信息并反馈给处理器。
请参阅图4，为了实现更逼真更同步的互动，本发明的3D显示的人机交互的装置的第二实施例，用于实现上述的方法，与图3中的实施例大部分相同，不同之处在于，包括：用户动作三维坐标值识别单元20，进一步包括：
用户动作三维坐标值更新单元201，用于不断实时更新摄像头拍摄的用户动作三维坐标值，同步提取预设的3D图像的坐标值；
用户动作三维坐标值比较单元202，用于将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在预设的3D图像三维激活范围内。
在以上的3D显示的人机交互的装置中，激活动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
请参阅图5，本发明公开了一种3D显示的人机交互的设备，包括用于拍摄用户动作的至少两个摄像头100、用于暂存用户动作数据的存储器200，处理器控制单元300、3D显示终端400，其中，摄像头100将摄取的用户动作数据输送至存储器200进行存储，存储器200，3D显示终端400均分别连接于处理器控制单元300，处理器控制单元300具有上述的3D显示的人机交互的装置。
为了显示更逼真的效果，3D显示的人机交互的装置还包括用于响应声音信息的麦克风500和/或扬声器600，麦克风500和/或扬声器600可安置于用户附近，以方便用户。
3D显示终端400包括LCD/LED显示屏。
较佳地，摄像头100一般应采用两个以上较好，以便拍出立体的效果。
本3D显示的人机交互的设备工作过程为：摄像头100采集用户的动作坐标，输入至处理器控制单元300，与3D显示终端400的正在播放的3D图像坐标进行比较，若动作坐标处于处理器控制单元300的预设的范围之内，处理器控制单元300响应人机交互的效果，3D显示终端400出现相应的动作和/或声音信息，让用户更身临其境。
实施本发明的一种3D显示的人机交互的方法、装置以及设备，具有以下有益的技术效果：
用户跟随3D的视频画面，自动实现同步动作，实现更逼真、更自然的人机交互过程。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种3D显示的人机交互的方法，其特征在于，包括：
S1.通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
S2.识别所述的用户动作三维坐标值是否在3D图像三维激活范围内，若是，进入步骤S3，若否，返回步骤S1；
S3.激活3D图像的动作信息并反馈给处理器。
2.根据权利要求1所述的3D显示的人机交互的方法，其特征在于，所述的步骤S1中所述的处理器读取摄像头数据并处理包括利用多摄像头采集的视差图像分析深度距离信息。
3.根据权利要求1所述的3D显示的人机交互的方法，其特征在于，所述的步骤S2，具体包括：
S21.不断实时更新提取用户动作三维坐标值，同步提取3D图像的坐标值；
S22.将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在3D图像三维激活范围内。
4.根据权利要求1或2或3所述的3D显示的人机交互的方法，其特征在于，所述的激活3D图像的动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
5.一种3D显示的人机交互的装置，用于实现权利要求1所述的方法，其特征在于，包括：
用户动作三维坐标值提取单元，用于通过至少两个摄像头拍摄3D显示终端前的用户动作，处理器读取摄像头数据并处理，提取用户动作三维坐标值；
用户动作三维坐标值识别单元，用于识别所述的用户动作三维坐标值是否在的3D图像三维坐标激活范围内；
3D图像激活单元，用于激活3D图像的动作信息并反馈给处理器。
6.根据权利要求5所述的3D显示的人机交互的装置，其特征在于，所述的用户动作三维坐标值识别单元，进一步包括：
用户动作三维坐标值更新单元，用于不断实时更新摄像头拍摄的用户动作三维坐标值，同步提取3D图像的坐标值；
用户动作三维坐标值比较单元，用于将所述的3D图像的坐标值与用户动作三维坐标值进行比较，判断用户动作三维坐标值是否在3D图像三维激活范围内。
7.根据权利要求5所述的3D显示的人机交互的装置，其特征在于，所述的激活3D图像的动作信息包括3D图像运动信息和/或3D图像声音和/或光影信息。
8.一种3D显示的人机交互的设备，包括用于拍摄用户动作的至少两个摄像头、用于暂存用户动作数据的存储器，处理器控制单元、3D显示终端，其中，所述的摄像头将摄取的用户动作数据输送至所述的存储器进行存储，所述的存储器，3D显示终端均分别连接于所述的处理器控制单元，其特征在于，所述的处理器控制单元具有权利要求5所述的3D显示的人机交互的装置。
9.根据权利要求8所述的3D显示的人机交互的设备，其特征在于，所述的3D显示的人机交互的设备还包括用于响应声音信息的麦克风和/或扬声器。
10.根据权利要求8所述的3D显示的人机交互的设备，其特征在于，所述的3D显示终端包括LCD/LED显示屏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210296544.8A CN102880288B (zh) | 2012-08-20 | 2012-08-20 | 一种3d显示的人机交互的方法、装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210296544.8A CN102880288B (zh) | 2012-08-20 | 2012-08-20 | 一种3d显示的人机交互的方法、装置以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880288A true CN102880288A (zh) | 2013-01-16 |
| CN102880288B CN102880288B (zh) | 2016-04-27 |
Family
ID=47481650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210296544.8A Active CN102880288B (zh) | 2012-08-20 | 2012-08-20 | 一种3d显示的人机交互的方法、装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102880288B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631380A (zh) * | 2013-12-03 | 2014-03-12 | 武汉光谷信息技术股份有限公司 | 一种人机交互数据的处理方法及其控制系统 |
| CN106600672A (zh) * | 2016-11-29 | 2017-04-26 | 上海金陵电子网络股份有限公司 | 一种基于网络的分布式同步渲染系统和方法 |
| CN107137928A (zh) * | 2017-04-27 | 2017-09-08 | 杭州哲信信息技术有限公司 | 实时互动动画三维实现方法及系统 |
| CN107734385A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 视频播放方法、装置及电子装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202196347U (zh) * | 2011-04-27 | 2012-04-18 | 德信互动科技（北京）有限公司 | 平板电脑 |
| CN102508546A (zh) * | 2011-10-31 | 2012-06-20 | 冠捷显示科技（厦门）有限公司 | 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法 |
-
2012
- 2012-08-20 CN CN201210296544.8A patent/CN102880288B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202196347U (zh) * | 2011-04-27 | 2012-04-18 | 德信互动科技（北京）有限公司 | 平板电脑 |
| CN102508546A (zh) * | 2011-10-31 | 2012-06-20 | 冠捷显示科技（厦门）有限公司 | 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631380A (zh) * | 2013-12-03 | 2014-03-12 | 武汉光谷信息技术股份有限公司 | 一种人机交互数据的处理方法及其控制系统 |
| CN106600672A (zh) * | 2016-11-29 | 2017-04-26 | 上海金陵电子网络股份有限公司 | 一种基于网络的分布式同步渲染系统和方法 |
| CN106600672B (zh) * | 2016-11-29 | 2019-09-10 | 上海金陵电子网络股份有限公司 | 一种基于网络的分布式同步渲染系统和方法 |
| CN107137928A (zh) * | 2017-04-27 | 2017-09-08 | 杭州哲信信息技术有限公司 | 实时互动动画三维实现方法及系统 |
| CN107734385A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 视频播放方法、装置及电子装置 |
| CN107734385B (zh) * | 2017-09-11 | 2021-01-12 | Oppo广东移动通信有限公司 | 视频播放方法、装置及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102880288B (zh) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10636215B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| US9996979B2 (en) | Augmented reality technology-based handheld viewing device and method thereof | |
| CN107392783B (zh) | 基于虚拟现实的社交方法及装置 | |
| CN106730815B (zh) | 一种易实现的体感互动方法及系统 | |
| CN105320262A (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| CN111324253B (zh) | 虚拟物品交互方法、装置、计算机设备及存储介质 | |
| WO2021109376A1 (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
| CN113228625A (zh) | 支持复合视频流的视频会议 | |
| CN110555507B (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
| CN110942501B (zh) | 虚拟形象切换方法、装置、电子设备及存储介质 | |
| CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
| US11423627B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| JP2022188081A (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN110427227B (zh) | 虚拟场景的生成方法、装置、电子设备及存储介质 | |
| CN204406327U (zh) | 基于三维体感摄影机的肢体康复模拟仿真训练系统 | |
| US20220398816A1 (en) | Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements | |
| CN102880288B (zh) | 一种3d显示的人机交互的方法、装置以及设备 | |
| CN109739353A (zh) | 一种基于手势、语音、视线追踪识别的虚拟现实交互系统 | |
| CN110568931A (zh) | 交互方法、设备、系统、电子设备及存储介质 | |
| CN111383642A (zh) | 基于神经网络的语音应答方法、存储介质以终端设备 | |
| CN202854704U (zh) | 一种3d显示的人机交互的设备 | |
| US20230386147A1 (en) | Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements | |
| CN204883058U (zh) | 一种虚拟头盔显示器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice |
Addressee: Yang Yajun Document name: Notification of Passing Examination on Formalities |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160206 Address after: 518000 Guangdong city of Shenzhen province Nanshan District Xili town Xueyuan Road No. 1001 Nanshan Chi Park C2 building 20 floor B Applicant after: SHENZHEN WEISHANG REALM DISPLAY TECHNOLOGY CO., LTD. Address before: 518000, Shenzhen, Guangdong, Futian District Tian An Innovation Technology Plaza A405 Applicant before: Shenzhen 3DVstar Display Technology Co., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180629 Address after: 224000 C9, the intelligent terminal Pioneer Park, Yan Long Street, Yancheng City, Jiangsu. Patentee after: Yancheng easy fast science and Technology Co., Ltd. Address before: 518000 B, 20 C2, Nanshan Zhiyuan garden, 1001, Xun Li Road, Xili Town, Nanshan District, Shenzhen, Guangdong Patentee before: SHENZHEN WEISHANG REALM DISPLAY TECHNOLOGY CO., LTD. |
|
| TR01 | Transfer of patent right |