CN110248136A - 一种实时音视频通信中标记传输的装置及方法 - Google Patents

Abstract

本发明涉及一种实时音视频通信中标记传输的装置及方法，发起方激活显示屏的触摸功能，能够响应手指的按压，识别手指按压部位的屏幕坐标；通过摄像头采集周边的影音信息，转换成电信号；通过编码标准进行压缩编码为编码信息；对编码信息进行解码还原；实时拾取到的标记坐标(含相对坐标)发送接收方，接收方根据解析的坐标位置，通过标记叠加处理模块标注在显示屏上；解析接收方的标记坐标发送模块的标记坐标信息；在指定的屏幕坐标位置显示标记符号；实时音视频的双方均可对视频中的动态图像中的某部位或者某物体进行即时标记、定位和跟踪，并且即时传送给对方，使对方按照标记跟踪或获取该物体，从而实现各自特殊的目的要求。

Description

一种实时音视频通信中标记传输的装置及方法

技术领域

本发明属于信息共享技术领域，具体为一种实时音视频通信中标记传输的装置及方法。

背景技术

即时通信(Instant messaging)，是通过互联网实现点对点的实时信息传输，包括文本、图像、语音、视频和文件等信息。通过实时在线交互，可以为人们提供语音/视频聊天、传送文件、发送E-mail、多人聊天、在线感知(Presence awareness)等。

如发明专利公开号CN101175051B公开了一种即时通信方法，服务器接收客户端设备发送的第一用户查看第二用户的共享好友信息的请求，将第二用户的共享好友信息发送到所述客户端设备。

视频通信，通过连接计算机的摄像头实时采集用户的形象及周边环境，使通信双方能看到彼此的形象，增强了沟通的效果。

视频通信的具体过程：视频发送终端采集影音信息，进行编码后将影音信息编码数据传输至视频接收终端，视频接收终端对影音信息编码数据进行解码并显示。

然而，在视频通信中，由于带宽等各种限制，并不能对彼此影音信息进行实时地参与，比如：视频终端的双方进行视频聊天时，只能被动地进行音视频的交流，不能对显示中的图像进行干预。

发明专利公开号CN106936699A公开了一种信息分享方法、装置和系统，可以获取需要进行分享的网络信息的标注信息，根据该标注信息生成关于该网络信息的分享链接，并将该分享链接发送给被分享终端，由被分享终端根据该标注信息确定网络信息的显示进度，并根据显示进度对该网络信息进行显示。

该发明中的所谓的标注信息，也只是为了生成分享链接，被分享终端也只是被动地接受网络信息，且该信息不是实时的，被分享终端可以在允许的留言区、评论区进行评论，不能实时对该信息进行评论和意见反馈，信息的发布人也不能实时地进行交流。

目前流行的智能终端应用中，视频聊天功能和拍摄功能为不同的两个功能，两者不能同时工作，需要激活不同的功能App。

其中，拍摄功能可以拍摄，在拍摄过程中，可以点击屏幕，对被拍摄物进行聚焦，也可以录屏和截屏形成照片，或者保存该照片，但是如果将该照片传送给其他人时，需要打开能够发送照片的其他app，再进行发送。

视频聊天功能可以聊天，也可以录屏和截屏形成照片并另行发送，但也不能实时地对该视频中的物体进行标记定位跟踪，不能满足用户的流畅性需求。

发明内容

本发明的目的在于解决背景技术中的问题，提供一种实时音视频通信中标记传输的装置及方法。

本发明采用的技术方案如下：

一种实时音视频通信中标记传输的装置及方法，包括智能终端装置一和智能终端装置二，所述智能终端装置一和智能终端装置二的内部均设有摄像头、智能控制处理器和显示屏，所述摄像头包括传感器采集模块和音视频编码模块，其中传感器采集模块，通过摄像头采集周边的影音信息，将影音信息转换成电信号，所述音视频编码模块将该电信号通过编码标准进行压缩编码为编码信息，所述显示屏包括触摸激活模块，用于激活显示屏的触摸功能，能够响应手指的按压，识别手指按压部位的屏幕坐标，所述智能处理器包括标记坐标发送模块、标记坐标接收模块、音视频解码模块、标记叠加处理模块，其中音视频解码模块，用于对音视频编码模块发送的编码信息进行解码还原，实现音视频实时通信，所述标记坐标发送模块，用于将实时拾取到的标记坐标进行发送接收方，由接收方的标记坐标接收模块根据解析的坐标位置，通过标记叠加处理模块标注在显示屏上，所述标记坐标接收模块用于解析接收方的标记坐标发送模块的标记坐标信息，所述标记叠加处理模块用于在指定的屏幕坐标位置显示标记符号。

优选的，所述智能处理器还标记定位模块、标记锁定模块标记解锁模块和标记维护模块，其中标记定位模块用于移动标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记，所述标记锁定模块用于确立要聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，一旦确认屏幕画面锁定，寻物标记成功，所述标记解锁模块用于解除寻物标记成功后的锁屏作态，重新进入寻物标记状态，所述标记维护模块用于标记类型的选取、创建、修改和删除，给用户提供一种个性化的维护手段。

优选的，所述影音信息为该装置摄像头捕捉到的音视频声光信号，和/或，接收方的相同装置摄像头捕捉到的音视频声光信号。

优选的，所述标记坐标信息为包括截屏图片的标记、动态视频的定位标记、实时锁定影音信息的跟踪标记。

优选的，所述标记符号为具有颜色的箭头、旗帜、方框。

本发明还公开了一种实时视频中标记传输的方法，其特征在于：包括如下步骤：

步骤1，甲方呼叫乙方，乙方同意进行实时视频；

步骤2，甲方激活标记显示，在显示屏上显示标记符号；

步骤3，甲方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；

步骤4，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤5，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤6，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

所述的一种实时视频中标记传输的方法，还包括如下步骤：

步骤71，乙方激活标记显示，在显示屏上显示标记符号；

步骤72，乙方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；

步骤73，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤74，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤75，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

所述的一种实时视频中标记传输的方法，还包括步骤8，用于对该标记符号和该影音信息标记进行修改或者删除。

优选的，所述影音信息为甲方摄像头捕捉到的音视频声光信号，和/或，乙方摄像头捕捉到的音视频声光信号。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明的效果在于，实时音视频的双方均可对视频中的动态图像中的某部位或者某物体进行即时标记、定位和跟踪，并且即时传送给对方显示该标记并通过标记跟踪该物体或物质，特别适用于定位锁定跟踪对方视频中的某一物品，帮助对方寻物识别，适用于物品繁多且难用语言准确描述情况；也适用于语言障碍用户，在视频聊天中，无法进行语言交流时候，又不会手语的情况下，对图像中的物体进行不同含义的标记定位锁定跟踪。可在远程医疗、交通运输、智能家居、垃圾分类、古玩鉴赏等领域广泛应用。

附图说明

图1为本发明装置的模块图；

图2为本发明标记传输的方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1：

参照图1-2，一种实时音视频通信中标记传输的装置及方法，包括智能终端装置一和智能终端装置二，智能终端装置一和智能终端装置二的内部均设有摄像头、智能控制处理器和显示屏，摄像头包括传感器采集模块和音视频编码模块，其中传感器采集模块，通过摄像头采集周边的影音信息，将影音信息转换成电信号，音视频编码模块将该电信号通过编码标准进行压缩编码为编码信息，显示屏包括触摸激活模块，用于激活显示屏的触摸功能，能够响应手指的按压，识别手指按压部位的屏幕坐标，智能处理器包括标记坐标发送模块、标记坐标接收模块、音视频解码模块、标记叠加处理模块，其中音视频解码模块，用于对音视频编码模块发送的编码信息进行解码还原，实现音视频实时通信，标记坐标发送模块，用于将实时拾取到的标记坐标进行发送接收方，由接收方的标记坐标接收模块根据解析的坐标位置，通过标记叠加处理模块标注在显示屏上，标记坐标接收模块用于解析接收方的标记坐标发送模块的标记坐标信息，标记叠加处理模块用于在指定的屏幕坐标位置显示标记符号。

智能处理器还标记定位模块、标记锁定模块标记解锁模块和标记维护模块，其中标记定位模块用于移动标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记，标记锁定模块用于确立要聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，一旦确认屏幕画面锁定，寻物标记成功，标记解锁模块用于解除寻物标记成功后的锁屏作态，重新进入寻物标记状态，标记维护模块用于标记类型的选取、创建、修改和删除，给用户提供一种个性化的维护手段。

影音信息为该装置摄像头捕捉到的音视频声光信号，和/或，接收方的相同装置摄像头捕捉到的音视频声光信号。

标记坐标信息为包括截屏图片的标记、动态视频的定位标记、实时锁定影音信息的跟踪标记。

标记符号为具有颜色的箭头、旗帜、方框。

本发明还公开了一种实时音视频通信中标记传输的方法，见图2，包括如下步骤：

步骤1，智能终端一向智能终端二发起会话；

步骤2，建立音视频通信；

步骤3，激活触摸功能；

步骤4，启动定位功能；

步骤5，启动锁定功能；

步骤6，选择解除锁定功能。

本发明还公开了一种实时音视频通信中标记传输的方法，包括如下步骤：

步骤1，甲方呼叫乙方，乙方同意进行实时音视频；

步骤2，甲方激活触摸屏标记显示功能，标记跟随手指滑动，在显示屏上显示标记符号；该标记符号进行修改或者删除；

步骤3，甲方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；该影音信息标记进行修改或者删除；

步骤4，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤5，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤6，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

本发明的另外一种实时视频中标记传输的方法，还包括如下步骤：

步骤61，乙方激活标记显示，在显示屏上显示标记符号；

步骤62，乙方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；该影音信息为甲方摄像头捕捉到的视频，和/或，乙方摄像头捕捉到的视频。

步骤63，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤64，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤65，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

也就是说，甲乙双方或单方将影音信息标记处理为编码信息发送给对方，双方的功能相同。

实施例2：

当本发明与智能终端合二为一时，智能控制处理器可以集成在智能终端的控制处理单元，或者，作为智能终端的一个应用app,摄像头和显示屏也利用智能手机自带的摄像头和显示屏。

本发明的具体的实时视频中标记传输的方法，包括如下步骤：

发起方(甲方)通过点击显示器上的app，比如：微信，蓝信，钉钉，寻寻觅觅，蜜蜜等，激活显示屏中的视频聊天应用，呼叫接受方(乙方)，接受方同意后，进行音视频聊天；

发起方或者接受方均可以激活屏幕触摸功能，显示屏中出现标记；该标记可以为具有颜色的箭头、旗帜、方框或者其他任何可识别图案；将该标记移动定位或锁定或跟踪于对应的影音信息中的某一部位或者某一物体；点击该标记，激活确认发送模块和放弃发送模块，选择发送，也可点击一下显示屏激活确认发送模块进行发送；或者点击放弃，比如用手指摩擦一下显示屏，激活放弃发送模块。该标记实时传送到接受方一端时，接受方即时显示该标记，同时也可以对该标记进行确认或者修改，并能够动态跟踪锁定显示该标记所对应的物体，也可以静态显示该标记所标记的图像，即图片。

本发明为一种实时视频中标记传输的方法和装置，也适用于语言障碍用户，在视频聊天中，无法进行语言交流时候，又不会手语的情况下，对图像中的物体进行不同含义的标记定位锁定跟踪。

实施例3：

本发明的智能终端装置一和智能终端装置二可以装载5G网络，通过5G的高速数据传输，可以实现智能终端装置一和智能终端装置二的实时数据交换，在探井或海洋搜索等领域中，智能终端装置一可以对探井或海洋搜索中进行拍摄，并将拍摄数据输送至智能终端装置二，同时可以将视频中物品标记定位，然后将标记的数据输送至智能终端装置二，实现了通过智能终端装置二便可以间接获取智能终端装置一工作地点的信息。

在网络店铺中，智能终端装置一可以配合VR设备，智能终端装置二可以连接智能终端装置二VR设备搭载的虚拟空间，使用智能终端装置一可以通过5G网络连接智能终端装置二，然后标记VR设备中的模拟商品，智能终端装置一可以将标记的信息输送至智能终端装置二，使智能终端装置二可以在远端选择VR设备中的模拟商品，可以实现网上购物的同时有实体店的感受，尤其适合服装领域。

实施例4：

在医疗领域中，智能终端装置一可以设置在手术中，用作智能医疗摄像头，智能医疗摄像头可以将手术现场的实时监测，并输送至智能终端装置二，智能终端装置二可以共享给相应的医生，如果手术过程中发现困难或者突发情况，可以通过智能终端装置一求助智能终端装置二，然后智能终端装置二可以通过智能终端装置一对手术现场进行科学指导，保证手术可以正常进行，通过此方法可以大大提高手术的成功率。

智能终端装置一还可以设置成手带式设置在病房中或者养老院中，智能终端装置一可以监测穿戴者的心率、血压以及体温等生命特征，并将这些信息实时输送至智能终端装置二，智能终端装置二可以由护士或者养老院工作人员穿戴，如果穿戴者发生他突发情况，护士或者养老院工作人员便可受到信息，并及时赶往现场，保证意外发生降到最低。

实施例5：

在交通运输中，智能终端装置一设置为交通运输终端的监控设备，智能终端装置二设置为交通运输后台的管理设备，智能终端装置二装载5G无线网络，可以保证各个智能终端装置一数据的接收，如果交通运输发生事故，交通警察可以通过智能终端装置二获取现场的实时情况，派遣对应的交通警察数量，然后根据智能终端装置一提供的路况以最快的速度赶往现场。

在自动驾驶的时候，智能终端装置二可以根据交通的实时数据，避开交通堵塞或者交通出现问题的路程，节约行驶的时间。

实施例6：

在未来智能家用品领域中，智能终端装置一可以装在灯具、家用电器、家用机器人、甚至是门窗中，家主可以通过智能终端装置二控制智能终端装置一，提前打开对应的家用电器或其他家用品，通过智能终端装置二还可以起到防盗作用，当装载智能终端装置一的门窗被强行破坏时或通过其他智能工具打开时，家主可以通过智能终端装置二实时获取信息，然后及时报警，使财产不易损失。

实施例7：

在未来城市家庭垃圾分类中，可以帮助智能终端装置一的用户如何进行垃圾分类识别，智能终端装置一设置为家庭垃圾分类的监控设备，运行APP程序(垃圾分类识别软件)，智能终端装置二设置为城市垃圾分类图像识别后台服务中心设备，启动智能终端装置一中安装的APP软件，通过搭载的5G无线网络与智能终端装置二进行连接，运用该专利技术标记识别的垃圾物件，将标记坐标和图像上传至智能终端装置二，运用智能终端装置二强大的后台处理中心进行图像识别，智能终端装置二将识别结果(声音、图像或文字)反馈到智能终端装置一，用于用户进行垃圾分类。

实施例8：

在未来古玩字画鉴赏领域中，可以帮助智能终端装置一的用户进行古玩字画鉴赏，智能终端装置一设置为用户监控设备，运行APP程序(古玩字画鉴赏软件)，智能终端装置二设置为字画古玩鉴赏图像识别后台服务中心设备或为字画古玩鉴专家，启动智能终端装置一中安装的APP软件，通过搭载的5G无线网络与智能终端装置二进行连接，运用该专利技术标记识别古玩字画，将标记坐标和图像上传至智能终端装置二，运用智能终端装置二强大的后台处理中心或行业专家进行图像识别，智能终端装置二将识别结果(声音、图像或文字)反馈到智能终端装置一，用于用户进行古玩字画鉴赏。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种实时音视频通信中标记传输的装置，包括智能终端装置一和智能终端装置二，其特征在于，所述智能终端装置一和智能终端装置二的内部均设有摄像头、智能控制处理器和显示屏，所述摄像头包括传感器采集模块和音视频编码模块，其中传感器采集模块，通过摄像头采集周边的影音信息，将影音信息转换成电信号，所述音视频编码模块将该电信号通过编码标准进行压缩编码为编码信息，所述显示屏包括触摸激活模块，用于激活显示屏的触摸功能，能够响应手指的按压，识别手指按压部位的屏幕坐标，所述智能处理器包括标记坐标发送模块、标记坐标接收模块、音视频解码模块、标记叠加处理模块，其中音视频解码模块，用于对音视频编码模块发送的编码信息进行解码还原，实现音视频实时通信，所述标记坐标发送模块，用于将实时拾取到的标记坐标进行发送接收方，由接收方的标记坐标接收模块根据解析的坐标位置，通过标记叠加处理模块标注在显示屏上，所述标记坐标接收模块用于解析接收方的标记坐标发送模块的标记坐标信息，所述标记叠加处理模块用于在指定的屏幕坐标位置显示标记符号。

2.如权利要求1中的所述实时视频中标记传输的装置，其特征在于，所述智能处理器还标记定位模块、标记锁定模块标记解锁模块和标记维护模块，其中标记定位模块用于移动标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记，所述标记锁定模块用于确立要聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，一旦确认屏幕画面锁定，寻物标记成功，所述标记解锁模块用于解除寻物标记成功后的锁屏作态，重新进入寻物标记状态，所述标记维护模块用于标记类型的选取、创建、修改和删除，给用户提供一种个性化的维护手段。

3.如权利要求1中的所述实时视频中标记传输的装置，其特征在于，所述影音信息为该装置摄像头捕捉到的音视频声光信号，和/或，接收方的相同装置摄像头捕捉到的音视频声光信号。

4.如权利要求1中的所述实时视频中标记传输的装置，其特征在于，所述标记坐标信息为包括截屏图片的标记、动态视频的定位标记、实时锁定影音信息的跟踪标记。

5.如权利要求1中的所述实时视频中标记传输的装置，其特征在于，所述标记符号为具有颜色的箭头、旗帜、方框。

6.一种实时视频中标记传输的方法，其特征在于，包括如下步骤：

步骤1，甲方呼叫乙方，乙方同意进行实时视频；

步骤2，甲方激活标记显示，在显示屏上显示标记符号；

步骤3，甲方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；

步骤4，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤5，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤6，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

7.如权利要求5所述的实时视频中标记传输的方法，其特征在于，还包括如下步骤：

步骤71，乙方激活标记显示，在显示屏上显示标记符号；

步骤72，乙方激活标记定位，移动该标记符号，使该标记符号聚焦、和/或定位、和/或锁定、和/或跟踪显示屏的影音信息的某一部位或某一物体，形成影音信息标记；

步骤73，甲方获取该影音信息标记周边的局部图像进行编码，同时获取该影音信息标记的相对坐标位置；

步骤74，甲方实时发送步骤4的局部图像编码信息或相对坐标位置；

步骤75，乙方接收步骤5中的局部图像编码信息并解码还原，用于图像识别应用；同时接收相对坐标位置并转换成乙方屏幕的相对坐标位置。

8.如权利要求6或7所述的实时视频中标记传输的方法，其特征在于，还包括步骤8，用于对该标记符号和该影音信息标记进行修改或者删除。

9.如权利要求6或7所述的实时视频中标记传输的方法，其特征在于，所述影音信息为甲方摄像头捕捉到的音视频声光信号，和/或，乙方摄像头捕捉到的音视频声光信号。