CN110177250A - 一种用于在视频通话过程中提供采购信息的方法与设备 - Google Patents

一种用于在视频通话过程中提供采购信息的方法与设备 Download PDF

Info

Publication number
CN110177250A
CN110177250A CN201910360821.9A CN201910360821A CN110177250A CN 110177250 A CN110177250 A CN 110177250A CN 201910360821 A CN201910360821 A CN 201910360821A CN 110177250 A CN110177250 A CN 110177250A
Authority
CN
China
Prior art keywords
information
video
target item
user equipment
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910360821.9A
Other languages
English (en)
Inventor
杨创彬
程翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN201910360821.9A priority Critical patent/CN110177250A/zh
Publication of CN110177250A publication Critical patent/CN110177250A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请的目的是提供一种用于在视频通话过程中提供采购信息的方法,该方法包括:接收第一用户设备发送的视频通话过程中的视频信息;从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。本申请简化了用户的购物操作。

Description

一种用于在视频通话过程中提供采购信息的方法与设备
技术领域
本申请涉及通信领域,尤其涉及一种用于在视频通话过程中提供采购信息的技术。
背景技术
随着宽带网络建设和移动互联网的飞速发展,移动性、社交媒体以及视频通信正在显著地改变着人们的沟通和协作方式。作为当前变革的重要组成部分,视频通信领域高速发展,并成为了用户在网上进行沟通的主要方式。视频通话是一种线上社交场景,在用户通话过程中,若一方用户对通话中其他用户的视频界面场景中出现的物品感兴趣,想要购买,通常只能直接询问正在通话中的其他用户,然后基于被告知的信息,自行去线上或线下采购,这种采购方式并不便捷;若用户在通话中不方便询问其他用户,或是通话中的其他用户也不了解物品信息或物品的采购信息,用户的这种采购需求就更加难以被满足。
发明内容
本申请的一个目的是提供一种用于在视频通话过程中提供采购信息的方法与设备。
根据本申请的一个方面,提供了一种用于在视频通话过程中提供采购信息的方法,应用于网络设备端,,该方法包括:
接收第一用户设备发送的视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
根据本申请的另一个方面,提供了一种用于在视频通话过程中提供采购信息的方法,应用于第二用户设备端,,该方法包括:
接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。
根据本申请的一个方面,提供了一种用于在视频通话过程中提供采购信息的网络设备,该设备包括:
第一一模块,用于接收第一用户设备发送的视频通话过程中的视频信息;
第一二模块,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
第一三模块,用于将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
根据本申请的另一个方面,提供了一种用于在视频通话过程中提供采购信息的第二用户设备,该设备包括:
第二一模块,用于接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;
第二二模块,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。
根据本申请的一个方面,提供了一种用于在视频通话过程中提供采购信息的方法,该方法包括:
网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
所述网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备;
所述第二用户设备接收对应网络设备发送的所述视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,并在所述第二用户设备的视频通话应用的窗口中呈现所述视频信息。
根据本申请的又一个方面,提供了一种在用户设备端用于在视频通话过程中提供采购信息的方法,该方法包括:
接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
根据本申请的又一个方面,提供了一种用于在视频通话过程中提供采购信息的用户设备,该设备包括:
第三一模块,用于接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;
第三二模块,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
第三三模块,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
根据本发明的一个方面,提供了一种用于在视频通话过程中提供采购信息的网络设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行:
接收第一用户设备发送的视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
根据本发明的另一个方面,提供了一种用于在视频通话过程中提供采购信息的第二用户设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行:
接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。
根据本发明的又一个方面,提供了一种用于在视频通话过程中提供采购信息的用户设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行:
接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
根据本发明的一个方面,提供了存储指令的计算机可读介质,所述指令在被执行时使得系统进行:
接收第一用户设备发送的视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
根据本发明的另一个方面,提供了存储指令的计算机可读介质,所述指令在被执行时使得系统进行:
接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。
根据本发明的又一个方面,提供了存储指令的计算机可读介质,所述指令在被执行时使得系统进行:
接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
与现有技术相比,本申请中网络设备根据第一用户设备(对端)发送的视频通话过程中的视频信息,从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息(例如,购买链接),并发送至第二用户设备端进行呈现,避免了第二用户设备端的用户在视频中看见心仪的物品后,自行去线上或线下进行采购的这种情况,使得用户购买物品更加的便捷,提升用户的体验。同时,用户可直接在第二用户设备端的视频界面中获取目标物品的物品信息或者采购信息,满足了用户的采购需求,提升了用户的购物体验,同时能简化了用户购买物品的操作,在此基础上,在视频通话结束后,用户可在视频通话应用的相应窗口中获取视频通话过程中被识别到的目标商品,给与用户直观的物品列表呈现,同时提升了屏幕的利用率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请的一个系统拓扑图;
图2示出根据本申请一个实施例的一种在网络设备端用于在视频通话过程中提供采购信息的方法流程图;
图3示出根据本申请又一个实施例的一种在第二用户设备端用于在视频通话过程中提供采购信息的方法流程图;
图4示出根据本申请另一个实施例的一种在用户设备端用于在视频通话过程中提供采购信息的方法流程图;
图5示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的系统方法图;
图6示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的网络设备的设备示意图;
图7示出根据本申请又一个实施例的一种用于在视频通话过程中提供采购信息的第二用户设备的设备示意图;
图8示出根据本申请另一个实施例的一种用于在视频通话过程中提供采购信息的用户设备的设备示意图;
图9示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的系统的设备示意图;
图10示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了本申请的一个典型场景,第一用户持有第一用户设备与持有第二用户设备的第二用户正在进行视频通话(例如,通过带有视频会话功能的应用或者用户设备自带的视频会话应用),其中,所述用户设备包括但不限于手机、平板和笔记本电脑等(具有触摸屏幕的)计算设备,第一用户设备将视频过程中的第一用户设备端的视频信息发送至网络设备,网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息(例如,该目标物品的描述信息或购买链接等),例如,网络设备从第一用户设备发送的视频信息的当前视频帧中确定物品A和物品B、以及物品A和物品B分别对应的购买链接,随后,网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。第二用户设备接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,并在第二用户设备的视频通话应用的窗口中呈现所述视频信息。例如,第二用户设备在呈现视频信息的同时,在视频界面上呈现视频信息中的当前视频帧中物品A和物品B分别对应的物品采购信息的访问指示信息,其中,所述访问指示信息可叠加呈现在视频帧中物品A和物品B的上,用于供第二用户获取物品A和物品B分别对应的物品采购信息,同时,第二用户设备将物品A和物品B对应的物品采购信息(例如,该目标物品的描述信息或购买链接等)添加至与所述视频信息对应的物品列表中,并呈现在视频界面的相应位置(例如,右下角),为后续第二用户查看提供了便利。
参照图1示出的系统,本申请还提供了一种在网络设备端用于在视频通话过程中提供采购信息的方法,以下将从图2进行阐述。
图2示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的方法,应用于网络设备端,,该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中,网络设备接收第一用户设备发送的视频通话过程中的视频信息;在步骤S12中,网络设备从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;在步骤S13中,网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
具体地,在步骤S11中,网络设备接收第一用户设备发送的视频通话过程中的视频信息。例如,第一用户设备与第二用户设备进行视频通话(例如,通过带有视频会话功能的应用或者用户设备自带的视频会话应用),第一用户设备将视频过程中的第一用户设备端的视频信息发送至对应的网络设备,其中,所述视频信息包括第一用户设备端通过摄像装置采集到的信息。
在步骤S12中,网络设备从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息。例如,所述视频信息中包括组成该视频的一个或者多个视频帧,网络设备确定当前视频帧,并从当前视频帧中确定目标物品及所述目标物品对应的物品采购信息。在一些实施例中,所述步骤S12包括步骤S121(未示出)和步骤S122(未示出),在步骤S121中,网络设备从所述视频信息的视频帧中识别目标物品;在步骤S122中,网络设备确定所述目标物品对应的物品采购信息。在网络设备识别出当前视频帧中的目标物品的情况下,为后续确定目标物品对应的物品采购信息提供基础。在一些实施例中,所述步骤S121包括步骤S1211(未示出)和步骤S1212(未示出),在步骤S1211中,网络设备从所述视频信息的视频帧中提取一个或多个候选物品图像;在步骤S1212中,网络设备根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。例如,网络设备可通过预先训练的深度学习模型从所述视频信息的视频帧中提取一个或多个候选物品图像,或者,网络设备可采用边缘检测算法(例如,差分边缘检测、Sobel边缘检测算法、Reborts边缘检测算法)等对图像进行分割,从而从所述视频信息的视频帧中提取一个或多个候选物品图像。为后续网络设备根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。提供了基础。在一些实施例中,在步骤S1212中,网络设备根据所述一个或多个候选物品图像中每一个候选物品图像,在物品信息库中匹配查询,以获得与该候选物品图像相匹配的候选物品;根据所述候选物品图像与对应的候选物品的匹配度信息,从一个或多个候选物品图像所对应的一个或多个候选物品中确定目标物品。例如,以所述一个或多个候选物品图像中的一个候选物品图像为例,网络设备在物品信息库中将该候选物品图像进行匹配查询,确定与该候选物品图像对应的一个或者多个候选物品,若该候选物品图像与对应的一个或者多个候选物品的匹配度信息大于预设匹配度阈值,网络设备从该候选物品图像所对应的一个或多个候选物品中确定目标物品。当然,本领域技术人员应能理解上述一个候选物品图像仅为举例,其他候选物品信息在此以引用方式包含于此。基于准确的查询匹配确定对应的目标物品,为后续确定所述目标物品对应的物品采购信息提供了基础。
在一些实施例中,在步骤S122中,网络设备根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的物品采购信息。其中,所述标识信息包括网络设备确定的该目标物品的物品名称信息或者物品logo(商标)信息。在一些实施例中,在步骤S122中,网络设备根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的一个或多个候选物品采购信息;根据所述目标物品在所述视频帧中对应的图像信息与所述候选物品采购信息中物品图像的匹配度信息,从所述一个或多个候选物品采购信息中优选确定所述目标物品对应的物品采购信息。例如,网络设备确定关于目标物品的物品名称信息或者物品logo(商标)信息,并根据物品名称信息或者物品logo(商标)信息在物品采购信息库进行匹配查询,获取与该目标物品对应的一个或者多个候选物品采购信息(例如,该目标物品的描述信息或购买链接等),随后,若该目标物品在所述视频帧中对应的图像信息与所述一个或者多个候选物品采购信息中一个或者多个物品图像的匹配度信息大于预设第二匹配度阈值信息,网络设备从所述一个或多个候选物品采购信息中优选确定所述目标物品对应的物品采购信息。通过准确的查询匹配确定与目标物品对应的物品采购信息,为后续用户获取该信息提供了便利,提升了用户的使用体验。
在步骤S13中,网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。在网络设备确认与所述视频信息相关的所述目标物品对应的物品采购信息的情况下,为后续接收上述信息的一个或者多个第二用户设备进行呈现上述信息提供了基础。在一些实施例中,在步骤S13中,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。例如,网络设备根据接收到的第一用户设备发送的视频通话过程中的视频信息确定该视频信息中当前视频帧中的目标物品,并在当前视频帧中根据目标物品所在位置标注对应的物品位置信息(例如,网络设备通过预设的深度学习的分割模型确定对应的物品位置信息,其中,标注区域为目标物品的宽高区域,或目标物品的轮廓区域),并根据所述目标物品确定对应的物品采购信息。随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。在这种情形下,为后续第二用户设备在目标物品的物品位置区域呈现所述目标物品对应的物品采购信息提供了基础,同时也方便后续用户在物品位置区域对物品采购信息进行访问操作,提升了用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接,随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的购买链接发送至与所述第一用户设备进行视频通话的第二用户设备。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
图3示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的方法,应用于第二用户设备端,,该方法包括步骤S21和步骤S22。在步骤S21中,第二用户设备接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;在步骤S22中,第二用户设备在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
具体地,在步骤S21中,第二用户设备接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息。例如,网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息,其中,所述物品采购信息包括所述目标物品的描述信息或购买链接等。随后,网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。在一些实施例中,在步骤S21中,第二用户设备接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品位置信息及物品购买信息;其中,所述访问指示信息在所述对应视频帧中的叠加位置与所述物品位置信息相匹配。例如,网络设备根据接收到的第一用户设备发送的视频通话过程中的视频信息确定该视频信息中当前视频帧中的目标物品,并在当前视频帧中根据目标物品所在位置标注对应的物品位置信息,并根据所述目标物品确定对应的物品采购信息,同时,网络设备确定用于访问物品采购信息的访问指示信息与所述物品位置信息相邻或者重合。随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备,第二用户设备上呈现视频信息以及当前视频帧中目标物品对应的物品位置信息及物品购买信息,给与参与视频的用户直观的购买视觉,提升用户的购物体验。
在步骤S22中,第二用户设备在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。其中,所述访问指示信息包括但不限于覆盖目标物品的物品标注区域(例如,所述物品标注区域可供用户访问所述物品采购信息)以及其他提示标记(例如,靠近所述目标物品或指向该目标物品的“物品介绍”、“购买”按钮等)。给与参与视频的用户直观的购买视觉,提升用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接,随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的购买链接发送至与所述第一用户设备进行视频通话的第二用户设备。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
在一些实施例中,所述方法还包括步骤S23(未示出),在步骤S23中,当获取用户对所述访问指示信息的触发操作,第二用户设备在所述视频通话应用的窗口中显示所述物品采购信息。其中,所述触发操作包括但不限于在第二用户设备屏幕中对访问指示信息的点击、滑动等操作。例如,基于用户对所述访问指示信息(例如,购买按钮)的点击操作,第二用户设备的视频通话界面中呈现与所述目标物品对应的该物品的描述信息或购买链接。在这种情形下,为后续用户访问该购买链接提供了基础,提升用户的购物体验。
在一些实施例中,所述方法还包括步骤S24(未示出),在步骤S24中,第二用户设备将所述目标物品添加至与所述视频信息对应的物品列表,以更新所述物品列表。例如,在网络设备在视频信息的当前视频帧中识别出目标物品以及所述目标物品对应的物品采购信息后,将所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备,第二用户设备将所述目标物品以及对应的物品采购信息添加至与所述视频信息对应的物品列表,在一些实施例中,在用户进行视频通话的过程中,第二用户设备接收网络设备识别出的目标物品以及所述目标物品对应的物品采购信息,基于第二用户设备端第二用户的在视频界面中对目标物品的选取操作,(例如,第二用户仅将感兴趣的物品直接选中),第二用户设备将目标物品以及对应的物品采购信息添加至与所述视频信息对应的物品列表。为后续用户查看识别出的、感兴趣的目标物品提供便利,优化了用户的购物体验,同时,使得用户不错过任何一个目标物品,提升了用户的使用体验。
在一些实施例中,所述方法还包括步骤S25(未示出),在步骤S25中,当所述视频通话过程结束,第二用户设备在所述视频通话应用的窗口中叠加显示所述物品列表或所述物品列表对应购买入口信息。其中,物品列表包括物品的图像信息以及物品的描述信息。例如,当所述视频通话过程结束后,第二用户设备接收网络设备在视频通过整个过程中识别出的目标物品及所述目标物品对应的物品采购信息,并将所识别出的全部目标物品汇总至物品列表,将目标物品对应的物品采购信息汇总成所述物品列表对应购买入口信息,并呈现视频通话应用的窗口中,提高了屏幕利用率的同时,为后续用户在物品列表中进行购物访问提供了便利,优化了用户的购物体验。
图4示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的方法,该方法包括步骤S31、步骤S32和步骤S33,在步骤S31中,用户设备接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;在步骤S32中,用户设备从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;在步骤S33中,用户设备在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
具体地,在步骤S31中,用户设备接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息。例如,用户设备与第一用户设备正在进行视频通话(例如,通过带有视频会话功能的应用或者用户设备自带的视频会话应用),第一用户设备端使用摄像装置拍摄当前视频信息,并将该视频信息发送至网络设备,网络设备接收该视频信息,并将该视频信息发送至与第一用户设备端用户视频通话的用户设备。
在步骤S32中,用户设备从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息。例如,所述视频信息中包括组成该视频的一个或者多个视频帧,用户设备确定当前视频帧,并从当前视频帧中确定目标物品及所述目标物品对应的物品采购信息。用户设备从所述视频信息的视频帧中识别目标物品,并确定所述目标物品对应的物品采购信息。在用户设备识别出当前视频帧中的目标物品的情况下,为后续确定目标物品对应的物品采购信息提供基础。用户设备从所述视频信息的视频帧中提取一个或多个候选物品图像,并根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。例如,用户设备可通过预先训练的深度学习模型从所述视频信息的视频帧中提取一个或多个候选物品图像,或者,用户设备可采用边缘检测算法(例如,差分边缘检测、Sobel边缘检测算法、Reborts边缘检测算法)等对图像进行分割,从而从所述视频信息的视频帧中提取一个或多个候选物品图像。为后续用户设备根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。提供了基础。随后,用户设备根据所述一个或多个候选物品图像中每一个候选物品图像,在本地物品信息库中匹配查询,以获得与该候选物品图像相匹配的候选物品;根据所述候选物品图像与对应的候选物品的匹配度信息,从一个或多个候选物品图像所对应的一个或多个候选物品中确定目标物品。例如,以所述一个或多个候选物品图像中的一个候选物品图像为例,用户设备在本地物品信息库中将该候选物品图像进行匹配查询,确定与该候选物品图像对应的一个或者多个候选物品,若该候选物品图像与对应的一个或者多个候选物品的匹配度信息大于预设匹配度阈值,用户设备从该候选物品图像所对应的一个或多个候选物品中确定目标物品。基于准确的查询匹配确定对应的目标物品,为后续确定所述目标物品对应的物品采购信息提供了基础。
在步骤S33中,用户设备在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。例如,所述第二用户设备包括接收所述接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息的用户设备。其中,所述访问指示信息包括但不限于覆盖目标物品的物品标注区域(例如,所述物品标注区域可供用户访问所述物品采购信息)以及其他提示标记(例如,靠近所述目标物品或指向该目标物品的“物品介绍”、“购买”按钮等)。给与参与视频的用户直观的购买视觉,提升用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备将当前视频信息发送至第二用户设备,第二用户设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
图5示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的系统方法,其中,该其中,该方法包括:
网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
所述网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备;
所述第二用户设备接收对应网络设备发送的所述视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,并在所述第二用户设备的视频通话应用的窗口中呈现所述视频信息。
上文主要从设备的角度对本申请实施例提供的方法进行了举例介绍,相对应的,本申请还提供了能够执行上述各方法对应的设备,该设备包括能够执行上述各方法示例中各个步骤的单元或模块,这些单元或模块可以通过硬件、软件或软硬结合的方式来实现,本申请并不限定。下面结合图6进行介绍。
图6示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的网络设备,该设备包括第一一模块11、第一二模块12和第一三模块13。第一一模块11,用于接收第一用户设备发送的视频通话过程中的视频信息;第一二模块12,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;第一三模块13,用于将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
具体地,第一一模块11,用于接收第一用户设备发送的视频通话过程中的视频信息。例如,第一用户设备与第二用户设备进行视频通话(例如,通过带有视频会话功能的应用或者用户设备自带的视频会话应用),第一用户设备将视频过程中的第一用户设备端的视频信息发送至对应的网络设备,其中,所述视频信息包括第一用户设备端通过摄像装置采集到的信息。
第一二模块12,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息。例如,所述视频信息中包括组成该视频的一个或者多个视频帧,网络设备确定当前视频帧,并从当前视频帧中确定目标物品及所述目标物品对应的物品采购信息。在一些实施例中,所述第一二模块12包括第一二一模块121(未示出)和第一二二模块122(未示出),第一二一模块121,用于从所述视频信息的视频帧中识别目标物品;第一二二模块122,用于确定所述目标物品对应的物品采购信息。在网络设备识别出当前视频帧中的目标物品的情况下,为后续确定目标物品对应的物品采购信息提供基础。在一些实施例中,所述第一二一模块121包括第一二一一模块1211(未示出)和第一二一二模块1212(未示出),第一二一一模块1211,用于从所述视频信息的视频帧中提取一个或多个候选物品图像;第一二一二模块1212,用于根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。例如,网络设备可通过预先训练的深度学习模型从所述视频信息的视频帧中提取一个或多个候选物品图像,或者,网络设备可采用边缘检测算法(例如,差分边缘检测、Sobel边缘检测算法、Reborts边缘检测算法)等对图像进行分割,从而从所述视频信息的视频帧中提取一个或多个候选物品图像。为后续网络设备根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。提供了基础。在一些实施例中,第一二一二模块1212,用于根据所述一个或多个候选物品图像中每一个候选物品图像,在物品信息库中匹配查询,以获得与该候选物品图像相匹配的候选物品;根据所述候选物品图像与对应的候选物品的匹配度信息,从一个或多个候选物品图像所对应的一个或多个候选物品中确定目标物品。例如,以所述一个或多个候选物品图像中的一个候选物品图像为例,网络设备在物品信息库中将该候选物品图像进行匹配查询,确定与该候选物品图像对应的一个或者多个候选物品,若该候选物品图像与对应的一个或者多个候选物品的匹配度信息大于预设匹配度阈值,网络设备从该候选物品图像所对应的一个或多个候选物品中确定目标物品。当然,本领域技术人员应能理解上述一个候选物品图像仅为举例,其他候选物品信息在此以引用方式包含于此。基于准确的查询匹配确定对应的目标物品,为后续确定所述目标物品对应的物品采购信息提供了基础。
在一些实施例中,第一二二模块122,用于根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的物品采购信息。其中,所述标识信息包括网络设备确定的该目标物品的物品名称信息或者物品logo(商标)信息。在一些实施例中,第一二二模块122,用于根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的一个或多个候选物品采购信息;根据所述目标物品在所述视频帧中对应的图像信息与所述候选物品采购信息中物品图像的匹配度信息,从所述一个或多个候选物品采购信息中优选确定所述目标物品对应的物品采购信息。例如,网络设备确定关于目标物品的物品名称信息或者物品logo(商标)信息,并根据物品名称信息或者物品logo(商标)信息在物品采购信息库进行匹配查询,获取与该目标物品对应的一个或者多个候选物品采购信息(例如,该目标物品的描述信息或购买链接等),随后,若该目标物品在所述视频帧中对应的图像信息与所述一个或者多个候选物品采购信息中一个或者多个物品图像的匹配度信息大于预设第二匹配度阈值信息,网络设备从所述一个或多个候选物品采购信息中优选确定所述目标物品对应的物品采购信息。通过准确的查询匹配确定与目标物品对应的物品采购信息,为后续用户获取该信息提供了便利,提升了用户的使用体验。
第一三模块13,用于将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。在网络设备确认与所述视频信息相关的所述目标物品对应的物品采购信息的情况下,为后续接收上述信息的一个或者多个第二用户设备进行呈现上述信息提供了基础。在一些实施例中,第一三模块13,用于将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。例如,网络设备根据接收到的第一用户设备发送的视频通话过程中的视频信息确定该视频信息中当前视频帧中的目标物品,并在当前视频帧中根据目标物品所在位置标注对应的物品位置信息(例如,网络设备通过预设的深度学习的分割模型确定对应的物品位置信息,其中,标注区域为目标物品的宽高区域,或目标物品的轮廓区域),并根据所述目标物品确定对应的物品采购信息。随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。在这种情形下,为后续第二用户设备在目标物品的物品位置区域呈现所述目标物品对应的物品采购信息提供了基础,同时也方便后续用户在物品位置区域对物品采购信息进行访问操作,提升了用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接,随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的购买链接发送至与所述第一用户设备进行视频通话的第二用户设备。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
图7示出根据本申请一个实施例的一种在用于在视频通话过程中提供采购信息的第二用户设备,该设备包括第二一模块21和第二二模块22。第二一模块21,用于接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;第二二模块22,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
具体地,第二一模块21,用于接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息。例如,网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息,其中,所述物品采购信息包括所述目标物品的描述信息或购买链接等。随后,网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。在一些实施例中,第二一模块21,用于接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品位置信息及物品购买信息;其中,所述访问指示信息在所述对应视频帧中的叠加位置与所述物品位置信息相匹配。例如,网络设备根据接收到的第一用户设备发送的视频通话过程中的视频信息确定该视频信息中当前视频帧中的目标物品,并在当前视频帧中根据目标物品所在位置标注对应的物品位置信息,并根据所述目标物品确定对应的物品采购信息,同时,网络设备确定用于访问物品采购信息的访问指示信息与所述物品位置信息相邻或者重合。随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备,第二用户设备上呈现视频信息以及当前视频帧中目标物品对应的物品位置信息及物品购买信息,给与参与视频的用户直观的购买视觉,提升用户的购物体验。
第二二模块22,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。其中,所述访问指示信息包括但不限于覆盖目标物品的物品标注区域(例如,所述物品标注区域可供用户访问所述物品采购信息)以及其他提示标记(例如,靠近所述目标物品或指向该目标物品的“物品介绍”、“购买”按钮等)。给与参与视频的用户直观的购买视觉,提升用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接,随后,网络设备将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的购买链接发送至与所述第一用户设备进行视频通话的第二用户设备。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
在一些实施例中,所述设备还包括第二三模块23(未示出),第二三模块23,用于当获取用户对所述访问指示信息的触发操作,在所述视频通话应用的窗口中显示所述物品采购信息。其中,所述触发操作包括但不限于在第二用户设备屏幕中对访问指示信息的点击、滑动等操作。例如,基于用户对所述访问指示信息(例如,购买按钮)的点击操作,第二用户设备的视频通话界面中呈现与所述目标物品对应的该物品的描述信息或购买链接。在这种情形下,为后续用户访问该购买链接提供了基础,提升用户的购物体验。
在一些实施例中,所述设备还包括第二四模块24(未示出),第二四模块24,用于将所述目标物品添加至与所述视频信息对应的物品列表,以更新所述物品列表。例如,在网络设备在视频信息的当前视频帧中识别出目标物品以及所述目标物品对应的物品采购信息后,将所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备,第二用户设备将所述目标物品以及对应的物品采购信息添加至与所述视频信息对应的物品列表,在一些实施例中,在用户进行视频通话的过程中,第二用户设备接收网络设备识别出的目标物品以及所述目标物品对应的物品采购信息,基于第二用户设备端第二用户的在视频界面中对目标物品的选取操作,(例如,第二用户仅将感兴趣的物品直接选中),第二用户设备将目标物品以及对应的物品采购信息添加至与所述视频信息对应的物品列表。为后续用户查看识别出的、感兴趣的目标物品提供便利,优化了用户的购物体验,同时,使得用户不错过任何一个目标物品,提升了用户的使用体验。
在一些实施例中,所述设备还包括第二五模块25(未示出),第二五模块25,用于当所述视频通话过程结束,在所述视频通话应用的窗口中叠加显示所述物品列表或所述物品列表对应购买入口信息。其中,物品列表包括物品的图像信息以及物品的描述信息。例如,当所述视频通话过程结束后,第二用户设备接收网络设备在视频通过整个过程中识别出的目标物品及所述目标物品对应的物品采购信息,并将所识别出的全部目标物品汇总至物品列表,将目标物品对应的物品采购信息汇总成所述物品列表对应购买入口信息,并呈现视频通话应用的窗口中,提高了屏幕利用率的同时,为后续用户在物品列表中进行购物访问提供了便利,优化了用户的购物体验。
图8示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的用户设备该设备包括第三一模块31、第三二模块32和第三三模块33,第三一模块31,用于接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;第三二模块32,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;第三三模块33,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
具体地,第三一模块31,用于接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息。例如,用户设备与第一用户设备正在进行视频通话(例如,通过带有视频会话功能的应用或者用户设备自带的视频会话应用),第一用户设备端使用摄像装置拍摄当前视频信息,并将该视频信息发送至网络设备,网络设备接收该视频信息,并将该视频信息发送至与第一用户设备端用户视频通话的用户设备。
第三二模块32,用于从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息。例如,所述视频信息中包括组成该视频的一个或者多个视频帧,用户设备确定当前视频帧,并从当前视频帧中确定目标物品及所述目标物品对应的物品采购信息。用户设备从所述视频信息的视频帧中识别目标物品,并确定所述目标物品对应的物品采购信息。在用户设备识别出当前视频帧中的目标物品的情况下,为后续确定目标物品对应的物品采购信息提供基础。用户设备从所述视频信息的视频帧中提取一个或多个候选物品图像,并根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。例如,用户设备可通过预先训练的深度学习模型从所述视频信息的视频帧中提取一个或多个候选物品图像,或者,用户设备可采用边缘检测算法(例如,差分边缘检测、Sobel边缘检测算法、Reborts边缘检测算法)等对图像进行分割,从而从所述视频信息的视频帧中提取一个或多个候选物品图像。为后续用户设备根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。提供了基础。随后,用户设备根据所述一个或多个候选物品图像中每一个候选物品图像,在本地物品信息库中匹配查询,以获得与该候选物品图像相匹配的候选物品;根据所述候选物品图像与对应的候选物品的匹配度信息,从一个或多个候选物品图像所对应的一个或多个候选物品中确定目标物品。例如,以所述一个或多个候选物品图像中的一个候选物品图像为例,用户设备在本地物品信息库中将该候选物品图像进行匹配查询,确定与该候选物品图像对应的一个或者多个候选物品,若该候选物品图像与对应的一个或者多个候选物品的匹配度信息大于预设匹配度阈值,用户设备从该候选物品图像所对应的一个或多个候选物品中确定目标物品。基于准确的查询匹配确定对应的目标物品,为后续确定所述目标物品对应的物品采购信息提供了基础。
第三三模块33,用于在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。例如,所述第二用户设备包括接收所述接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息的用户设备。其中,所述访问指示信息包括但不限于覆盖目标物品的物品标注区域(例如,所述物品标注区域可供用户访问所述物品采购信息)以及其他提示标记(例如,靠近所述目标物品或指向该目标物品的“物品介绍”、“购买”按钮等)。给与参与视频的用户直观的购买视觉,提升用户的购物体验。
例如,用户A持有第一用户设备(例如,手机A)与持有第二用户设备(例如,手机B)的用户B正在进行视频通话,第一用户设备将通过摄像装置拍摄到的视频信息发送至对应的网络设备,网络设备将当前视频信息发送至第二用户设备,第二用户设备根据视频信息中当前视频帧确定该视频帧中的目标物品(例如,台灯,靠枕)以及与该目标物品对应的物品位置信息,并基于查询匹配确定与该目标物品对应的购买链接。第二用户设备的视频界面中呈现当前目标物品被标注购买链接的画面。
图9示出根据本申请一个实施例的一种用于在视频通话过程中提供采购信息的系统设备其中,该其中,该系统包括:
网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
所述网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备;
所述第二用户设备接收对应网络设备发送的所述视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,并在所述第二用户设备的视频通话应用的窗口中呈现所述视频信息。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图10示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图10所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (16)

1.一种用于在视频通话过程中提供采购信息的方法,应用于网络设备端,其中,该方法包括:
接收第一用户设备发送的视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备。
2.根据权利要求1所述的方法,其中,所述从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息,包括:
从所述视频信息的视频帧中识别目标物品;
确定所述目标物品对应的物品采购信息。
3.根据权利要求2所述的方法,其中,所述确定所述目标物品对应的物品采购信息,包括:
根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的物品采购信息。
4.根据权利要求3所述的方法,其中,所述确定所述目标物品对应的物品采购信息,包括:
根据所述目标物品的标识信息在物品采购信息库进行匹配查询,以获得所述目标物品对应的一个或多个候选物品采购信息;
根据所述目标物品在所述视频帧中对应的图像信息与所述候选物品采购信息中物品图像的匹配度信息,从所述一个或多个候选物品采购信息中优选确定所述目标物品对应的物品采购信息。
5.根据权利要求2至4中任一项所述的方法,其中,所述从所述视频信息的视频帧中识别目标物品,包括:
从所述视频信息的视频帧中提取一个或多个候选物品图像;
根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品。
6.根据权利要求5所述的方法,其中,所述根据所述候选物品图像在物品信息库中的匹配查询结果信息确定目标物品,包括:
根据所述一个或多个候选物品图像中每一个候选物品图像,在物品信息库中匹配查询,以获得与该候选物品图像相匹配的候选物品;
根据所述候选物品图像与对应的候选物品的匹配度信息,从一个或多个候选物品图像所对应的一个或多个候选物品中确定目标物品。
7.根据权利要求1至6中任一项所述的方法,其中,所述将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备,包括:
将所述视频信息、所述目标物品在对应视频帧中的物品位置信息及所述目标物品对应的物品采购信息发送至与所述第一用户设备进行视频通话的第二用户设备。
8.一种用于在视频通话过程中提供采购信息的方法,应用于第二用户设备端,其中,该方法包括:
接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加用于呈现所述物品采购信息的访问指示信息。
9.根据权利要求8所述的方法,其中,所述方法还包括:
当获取用户对所述访问指示信息的触发操作,在所述视频通话应用的窗口中显示所述物品采购信息。
10.根据权利要求8或9所述的方法,其中,所述方法还包括:
将所述目标物品添加至与所述视频信息对应的物品列表,以更新所述物品列表。
11.根据权利要求10所述的方法,其中,所述方法包括:
当所述视频通话过程结束,在所述视频通话应用的窗口中叠加显示所述物品列表或所述物品列表对应购买入口信息。
12.根据权利要求8至10中任一项所述的方法,其中,所述接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,包括:
接收对应网络设备发送的视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品位置信息及物品购买信息;
其中,所述访问指示信息在所述对应视频帧中的叠加位置与所述物品位置信息相匹配。
13.一种用于在视频通话过程中提供采购信息的方法,其中,该方法包括:
接收网络设备发送的第一用户设备端用户在视频通话过程中的视频信息;
从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
在第二用户设备的视频通话应用的窗口中呈现所述视频信息,其中,所述视频信息的对应视频帧中叠加有用于呈现所述物品采购信息的访问指示信息。
14.一种用于在视频通话过程中提供采购信息的方法,其中,该方法包括:
网络设备接收第一用户设备发送的视频通话过程中的视频信息,并从所述视频信息的视频帧中确定目标物品及所述目标物品对应的物品采购信息;
所述网络设备将所述视频信息及所述目标物品对应的物品采购信息发送至在与所述第一用户设备进行视频通话的第二用户设备;
所述第二用户设备接收对应网络设备发送的所述视频通话过程中的视频信息,以及所述视频信息的视频帧中目标物品对应的物品采购信息,并在所述第二用户设备的视频通话应用的窗口中呈现所述视频信息。
15.一种用于在视频通话过程中提供采购信息的设备,其特征在于,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至13中任一项所述的方法。
16.一种包括指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至13中任一项所述方法的操作。
CN201910360821.9A 2019-04-30 2019-04-30 一种用于在视频通话过程中提供采购信息的方法与设备 Pending CN110177250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910360821.9A CN110177250A (zh) 2019-04-30 2019-04-30 一种用于在视频通话过程中提供采购信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910360821.9A CN110177250A (zh) 2019-04-30 2019-04-30 一种用于在视频通话过程中提供采购信息的方法与设备

Publications (1)

Publication Number Publication Date
CN110177250A true CN110177250A (zh) 2019-08-27

Family

ID=67690535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910360821.9A Pending CN110177250A (zh) 2019-04-30 2019-04-30 一种用于在视频通话过程中提供采购信息的方法与设备

Country Status (1)

Country Link
CN (1) CN110177250A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944139A (zh) * 2019-11-29 2020-03-31 维沃移动通信有限公司 一种显示控制方法及电子设备
CN115486088A (zh) * 2021-03-30 2022-12-16 京东方科技集团股份有限公司 信息交互方法、计算机可读存储介质、通信终端

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271507A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd テレビ電話端末を用いた広告提供方法及び該広告提供方法に用いるテレビ電話端末、並びにプログラムを格納した媒体
US20090022473A1 (en) * 2007-07-22 2009-01-22 Cope Tyler Andrew Video signal content indexing and linking to information sources
CN103888423A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 信息处理方法和信息处理设备
CN103986845A (zh) * 2013-02-07 2014-08-13 联想(北京)有限公司 信息处理方法和信息处理设备
US20150106856A1 (en) * 2013-10-16 2015-04-16 VidRetal, Inc. Media player system for product placements
US20160005097A1 (en) * 2014-07-07 2016-01-07 Yahoo! Inc. On-line product related recommendations
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技(上海)有限公司 基于视频的商品推荐方法及装置
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
US20160353157A1 (en) * 2014-01-07 2016-12-01 Alcatel Lucent Providing information about an object in a digital video sequence
CN106254925A (zh) * 2016-08-01 2016-12-21 乐视控股(北京)有限公司 基于视频识别的目标对象提取方法、设备以及系统
CN106792006A (zh) * 2017-01-17 2017-05-31 南通同洲电子有限责任公司 基于视频的商品推送系统和方法
US20180241930A1 (en) * 2017-02-22 2018-08-23 Salesforce.Com, Inc. Method, apparatus, and system for communicating information of selected objects of interest displayed in a video-chat application
CN108629224A (zh) * 2017-03-15 2018-10-09 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN109636512A (zh) * 2018-11-29 2019-04-16 苏宁易购集团股份有限公司 一种通过视频实现购物过程的方法及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271507A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd テレビ電話端末を用いた広告提供方法及び該広告提供方法に用いるテレビ電話端末、並びにプログラムを格納した媒体
US20090022473A1 (en) * 2007-07-22 2009-01-22 Cope Tyler Andrew Video signal content indexing and linking to information sources
CN103888423A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 信息处理方法和信息处理设备
CN103986845A (zh) * 2013-02-07 2014-08-13 联想(北京)有限公司 信息处理方法和信息处理设备
US20150106856A1 (en) * 2013-10-16 2015-04-16 VidRetal, Inc. Media player system for product placements
US20160353157A1 (en) * 2014-01-07 2016-12-01 Alcatel Lucent Providing information about an object in a digital video sequence
US20160005097A1 (en) * 2014-07-07 2016-01-07 Yahoo! Inc. On-line product related recommendations
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技(上海)有限公司 基于视频的商品推荐方法及装置
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
CN106254925A (zh) * 2016-08-01 2016-12-21 乐视控股(北京)有限公司 基于视频识别的目标对象提取方法、设备以及系统
CN106792006A (zh) * 2017-01-17 2017-05-31 南通同洲电子有限责任公司 基于视频的商品推送系统和方法
US20180241930A1 (en) * 2017-02-22 2018-08-23 Salesforce.Com, Inc. Method, apparatus, and system for communicating information of selected objects of interest displayed in a video-chat application
CN108629224A (zh) * 2017-03-15 2018-10-09 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN109636512A (zh) * 2018-11-29 2019-04-16 苏宁易购集团股份有限公司 一种通过视频实现购物过程的方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944139A (zh) * 2019-11-29 2020-03-31 维沃移动通信有限公司 一种显示控制方法及电子设备
CN115486088A (zh) * 2021-03-30 2022-12-16 京东方科技集团股份有限公司 信息交互方法、计算机可读存储介质、通信终端

Similar Documents

Publication Publication Date Title
US20220382385A1 (en) Augmented reality hand gesture recognition systems
CN104836715B (zh) 在移动设备上运行的多个应用之间共享数据的方法和装置
EP3742323A1 (en) Blockchain generating method, and related device and system
JP7441311B2 (ja) ブロック処理方法、ブロックチェーンに基づくデータ検索方法および装置
CN108958780A (zh) 一种用于呈现寄宿程序的更新信息的方法与设备
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
WO2022089209A1 (zh) 一种图片评论的处理方法、装置、电子设备和存储介质
CN110321048A (zh) 三维全景场景信息处理、交互方法及装置
CN103226783B (zh) 一种实物超距感知漫游购物的实现方法
CN108874585A (zh) 文件备份方法、装置及系统
CN110336733A (zh) 一种呈现表情包的方法与设备
CN108038177A (zh) 一种用于提供标签页的方法与设备
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
CN110174980A (zh) 一种在会话窗口呈现信息的方法与设备
CN110288331A (zh) 一种用于提供资源分配信息的方法与设备
CN109978708A (zh) 控制社交分享信息在社交空间的呈现状态的方法与设备
CN109656364A (zh) 一种用于在用户设备上呈现增强现实内容的方法与设备
CN110177250A (zh) 一种用于在视频通话过程中提供采购信息的方法与设备
CN109614554A (zh) 一种用于提供线下社交信息的方法与设备
CN110263077A (zh) 一种获取移动终端中文件的方法、移动终端及存储介质
CN110515692A (zh) 一种用于启动阅读应用的方法与设备
CN109147001A (zh) 一种用于呈现虚拟指甲的方法与设备
CN109660940A (zh) 一种生成信息的方法与设备
CN109684557A (zh) 一种用于提供线下社交信息的方法与设备
CN105466415B (zh) 一种商店定位方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190827