CN112703524A - 提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器 - Google Patents

提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器 Download PDF

Info

Publication number
CN112703524A
CN112703524A CN201980060021.3A CN201980060021A CN112703524A CN 112703524 A CN112703524 A CN 112703524A CN 201980060021 A CN201980060021 A CN 201980060021A CN 112703524 A CN112703524 A CN 112703524A
Authority
CN
China
Prior art keywords
display device
content
user
identification information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060021.3A
Other languages
English (en)
Inventor
陈柄角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namo Net Co ltd
Original Assignee
Namo Net Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namo Net Co ltd filed Critical Namo Net Co ltd
Publication of CN112703524A publication Critical patent/CN112703524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置，包含：第1摄影部，通过显示装置上的第1摄像机拍摄商品；第2摄影部，通过上述显示装置上的第2摄像机拍摄用户面部；测量部，测量上述显示装置的角度；传送部，将上述拍摄的商品相关信息及上述拍摄的用户面部相关信息传送到服务器；接收部，从上述服务器接收与分析得出的上述商品相关信息及上述用户面部相关信息中的至少一种相关的识别信息；接收部，输出与上述识别信息相关的内容，上述输出部基于上述测量的显示装置的角度，调整上述内容的输出位置。

Description

提供与商品相关的增强现实、虚拟现实或混合现实内容的显 示装置、方法及服务器
技术领域
本发明涉及提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器。
背景技术
增强现实(AR，Augmented Reality)是指在真实图像或背景上叠加三维虚拟图像合成一个图像的技术。增强现实的优点在于，通过提供现实和虚拟的混合图像，可以为用户提供比现实环境更好的现实感和附加信息。
关于这种增强现实服务，现有技术的韩国公开专利第2017-0054146号公开了一种提供增强现实的方法。
近来，推出了利用增强现实的各种服务。但是，这些现有服务需要使用智能手机或头戴式显示器(HMD，Head mounted Display)。
即，由于现有服务必须使用智能手机或HMD，因此商业化服务并不多。
发明内容
发明所要解决的问题
本发明的目的是提供一种提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，通过拍摄商品将商品相关的内容通过增强现实、虚拟现实或混合现实输出，让用户能够直观地掌握有关该商品的外观和详细信息。
本发明的目的是提供一种提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，通过拍摄用户的面部来识别用户，在多个商品相关内容中利用识别出的用户信息来确定要提供给用户的最佳内容(contents)。
本发明的目的是提供一种提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，基于用户的视线调整显示装置的角度，并且根据调整好的显示装置的角度，调整内容的输出位置，以适合用户查看内容。
然而，本实施例想要实现的技术问题不限于如上所述的技术问题，可能存在其他技术问题。
用于解决问题的方案
作为解决上述技术问题的方案，本发明的一实施例提供了一种显示装置，包含：第1摄影部，通过显示装置上的第1摄像机拍摄商品；第2摄影部，通过上述显示装置上的第2摄像机拍摄用户面部；测量部，测量上述显示装置的角度；传送部，将上述拍摄的商品相关信息及上述拍摄的用户面部相关信息传送到服务器；接收部，从上述服务器接收与分析得出的上述商品相关信息及上述用户面部相关信息中至少一种相关的识别信息；输出部，输出与上述识别信息相关的内容。上述输出部基于上述测量的显示装置的角度，调整上述内容的输出位置。
本发明的另一实施例提供了一种提供内容的方法，包含：通过显示装置上的第1摄像机拍摄商品的步骤，通过上述显示装置上的第2摄像机拍摄用户面部的步骤，测量上述显示装置的角度的步骤，将上述拍摄的商品相关信息及上述拍摄的用户面部相关信息传送到服务器的步骤，从上述服务器接收与分析得出的上述商品相关信息及上述用户面部相关信息中至少一种相关的识别信息的步骤；及输出上述识别信息相关内容的步骤。输出上述内容的步骤中，基于上述测量的显示装置的角度，调整上述内容的输出位置的步骤。
本发明的又一实施例提供了一种服务器，包含：接收部，从显示装置接收通过上述显示装置拍摄的商品信息及用户面部信息；分析部，对接收的上述商品信息及用户面部信息进行分析；提取部，基于上述已分析的商品信息来提取商品识别信息，基于上述已分析的用户面部信息来提取用户识别信息；传送部，将上述提取到的包含商品识别信息及用户识别信息的识别信息传送到上述显示装置。基于上述识别信息，在所述显示装置输出上述商品相关的内容，基于上述显示装置所测量的显示装置的角度，调整上述内容的输出位置。
上述解决问题的技术方案仅是示例性的，不应被理解为本发明的限定。除了上述示例性的实施例之外，在附图和本发明的详细说明中可能还存在其他实施例。
发明效果
可以提供一种用于提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，根据本发明的上述问题解决方案中的任意一个，通过拍摄商品将该商品有关的内容以增强现实输出，让用户能够直观地掌握有关该商品的外观和详细信息。
可以提供一种用于提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，通过拍摄用户面部来识别用户，在多个商品相关内容中利用识别出的用户信息确定要提供给用户的最佳内容。
可以提供一种用于提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器，基于用户的视线调整显示装置的角度，并且根据调整好的显示装置的角度，调整内容的输出位置，以适合用户查看。
可以提供一种用于提供与商品相关内容的显示装置和方法，根据商品的状态来提供与内容的场景相对应的内容。
附图说明
图1是根据本发明一实施例的内容提供系统的结构图。
图2a和图2b是示出根据本发明一实施例的显示装置的示意图。
图3是根据本发明一实施例的显示装置的结构图。
图4a至图4e是用于说明根据本发明的一实施例的，在显示装置提供与商品相关内容的过程的示意图。
图5是根据本发明一实施例的显示装置中提供与商品相关的内容的方法的流程图。
图6是根据本发明一实施例的服务器的结构图。
图7是根据本发明一实施例的显示装置提供与商品相关内容的方法的流程图。
具体实施方式
下面结合附图详细说明本发明的实施例，以使本领域普通技术人员可以轻松地实施本发明。然而，本发明可以以各种不同的形式来实现，不限于在此说明中的实施例。在附图中，为更清楚地描述本发明省略了与说明无关的部分，并且在整个说明书中相似的部分使用了相似的附图标记。
在整个说明书中，当某部件描述为与另一部件“连接”时，它不仅指“直接连接”的情况，而且还包含其间插入另一元件的“电连接”的情况。另外，除非有相反的明确说明，否则当部分“包含”某个组件时，不代表排除其他组件，意味着可以进一步包含其他组件，应理解为没有事先排除一个或者一个以上的其他特征、数字、步骤、操作、构成要素、部件或者这些要素的组合的存在或者附加的可能性。
在本说明书中，术语“部”包含通过硬件实现的单元(unit)、通过软件实现的单元以及使用两者实现的单元。此外，一个单元可以通过利用两个以上的硬件来实现，或者两个以上的单元可以通过一个硬件来实现。
在本说明书中，描述为由终端或装置执行的某些操作或功能可以由连接到终端或装置的服务器代替执行。同样，描述为由服务器执行的某些操作或功能也可以由连接到服务器的终端或装置执行。
下面结合附图详细说明本发明的一实施例。
图1是根据本发明一实施例的内容提供系统的结构图。参照图1，内容提供系统1可以包含显示装置110和服务器120。示例性地示出了显示装置110和服务器120可以由内容提供系统1控制的组件。
图1的内容提供系统1的每个组件通常通过网络连接。例如，如图1所示，显示装置110可以同时或以一定时间间隔连接到服务器120。
网络是指可以在诸如终端和服务器的每个节点之间进行信息交换的连接结构，包含局域网(LAN：Local Area Network)、广域网(WAN：Wide Area Network)和因特网(WWW:World Wide Web)、有线和无线数据网络、电话网络、有线和无线电视网络等。无线数据网络的举例包含3G、4G、5G、3GPP(3rd Generation Partnership Project)、LTE(Long TermEvolution)、WIMAX(World Interoperability for Microwave Access)、Wi-Fi、蓝牙通信、红外通信和超声波通信、可见光通信(VLC：Visible Light Communication)、LiFi等，但不限于此。
显示装置110可通过设置在显示装置110上的第1摄像机111来拍摄商品100。
显示装置110可通过设置在显示装置110上的第2摄像机112来拍摄用户面部。
显示装置110可以测量显示装置110的角度。
显示装置110可以将拍摄到的商品100相关信息及拍摄的用户面部相关信息传送到服务器120。
显示装置110可以从服务器120接收与分析得出的商品100相关信息和用户面部相关信息等相关的识别信息。在此，识别信息可以包含：包含会员信息、过去购买记录、偏好商品和偏好信息等的用户识别信息，以及包含商品100的标识符的商品识别信息。
显示装置110可以基于用户识别信息及商品识别信息来确定要输出的内容。例如，显示装置110可以在商品100的多个内容中基于过去购买记录、偏好商品和偏好信息来确定最佳内容。
显示装置110可以随着商品100的状态改变而改变要输出的内容。
显示装置110可以输出与识别信息相关的内容。此时，显示装置110可以基于测量的显示装置110的角度来调整内容的输出位置。例如，显示装置110可以基于测量出的显示装置110的角度及从第2摄影部112拍摄到的用户面部的图像得出的用户位置来调整内容的输出位置。
显示装置110可以从用户接收针对所显示的内容的触摸命令或语音命令。
显示装置110可以通过数据库存储每个商品的多种内容。例如，多种内容可以包含关于促销的内容、关于广告的内容、关于功能的内容、增强现实的内容等。
这样的显示装置110位于陈列有多个商品的陈列台上的多个商品的前方，在轨道130上通过设置在显示装置110上的移动机构，向多个商品中的任意一个的前方移动。
服务器120可以从显示装置110接收拍摄的商品相关信息和拍摄的用户面部相关信息。
服务器120可以通过分析接收到的商品相关信息及用户面部相关信息来提取相关的识别信息。此时，识别信息可以包含：包含会员信息、过去购买记录、偏好商品和偏好信息的用户识别信息，以及包含商品标识符的商品识别信息。
服务器120可以将提取的识别信息传送到显示装置110。
图2a和图2b是示出根据本发明一实施例的显示装置的示意图。此时，显示装置110位于陈列有多个商品的陈列台的多个商品的前方。
图2a是根据本发明一实施例的显示装置的主视图。参照图2a，显示装置110可以包含第1摄像机111、第2摄像机112、显示模块113、麦克风114和移动机构115。
第1摄像机111设置在显示装置110的背面，可以拍摄位于显示装置110背面的商品100。
第2摄像机112设置在显示装置110的前面，可以拍摄观看显示装置110的用户的面部。
显示模块113可以通过显示面板输出与商品100相关的内容。
显示模块113配备有触摸传感器，可以从用户接收对输出内容的触摸输入。
麦克风114可以从用户接收对输出内容的语音输入。
移动机构115可以使显示装置110移动到多个商品中的任意一个的前方。例如，显示装置110可以由用户通过移动机构115在轨道130上移动到多个商品中的任意一个的前方。
图2b是根据本发明一实施例的显示装置的侧视图。参照图2a和图2b，显示装置110可以进一步包含铰链(hinge)116。在此，铰链116可以是电子式或机械式铰链。
铰链116可以使显示装置110的倾斜度被手动或自动调节。这是因为用户的视线角度会根据每个用户的身高差异而不同，从而通过铰链116手动或自动调节显示装置110的倾斜度，使得用户的视线位于显示装置110的正面。
例如，当显示装置110的倾斜度处在第1角度(例如，0°)时，用户可以通过铰链116使得显示装置110的倾斜度调节117至第2角度(例如，60°)，以便适合凝视显示装置110的正面。
图3是根据本发明一实施例的显示装置的结构图。参照图3，显示装置110包含第1摄影部310、第2摄影部320、测量部330、传送部340、接收部350和内容确定部360、输出部370、输入部380及数据库390。
第1摄影部310可以通过设置在显示装置110的第1摄像机111拍摄商品100。在此，第1摄像机111被安装在显示装置110的背面，因此第1摄影部310可以通过安装在显示装置110背面的第1摄像机111拍摄商品100的正面。
第2摄影部320可以通过设置在显示装置110的第2摄像机112拍摄用户的面部。在此，第2摄像机112被安装在显示装置110的正面，因此第2摄影部320可以通过安装在显示装置110正面的第2摄像机112拍摄用户的面部。
测量部330可以测量显示装置110的角度。例如，测量部330可以在调节显示装置110的画面至用户视线对应的倾斜度后，测量显示装置110的角度，在此，显示装置110的角度可为陈列台和显示装置110的显示面板之间形成的角度。
测量部330可以基于显示面板由铰链116(参照图2)支撑的位置来测量显示装置110的角度。
传送部340可以将拍摄到的商品相关信息及拍摄到的用户面部相关信息传送到服务器120。在此，关于拍摄到的商品相关信息及拍摄到的用户面部相关信息可以是商品图像和面部图像。
接收部350可以从服务器120接收分析得出的商品100相关信息及用户面部相关信息中至少一种相关识别信息。在此，识别信息可以包含：包含会员信息、过去购买记录、偏好商品和偏好信息的用户识别信息，以及包含商品100标识符的商品识别信息。
内容确定部360可以基于用户识别信息和商品识别信息来确定要输出的内容。
例如，内容确定部360可以在商品100的多个内容中，基于过去购买记录、偏好商品和偏好信息(例如，偏好颜色、偏好设计等)等来确定最佳内容。
例如，内容确定部360可以随着商品100的状态改变而改变要输出的内容。在此，商品100的状态改变可以包含商品100的形状的改变、功能的改变等。
例如，当商品100具有的门处于关闭时(例如，当用户没有打开商品100时)，内容确定部360可将商品100的外观或基本功能相关的内容确定为最佳内容。相反，当商品100具有的门处于打开时(例如，当用户打开商品100时)，内容确定部360可将商品100的内部结构、操作过程、内部功能等相关的内容确定为最佳内容。
输出部370可以输出与识别信息相关的内容。此时，输出部370可以基于所测量的显示装置110的角度来调整内容的输出位置。
例如，输出部370基于测量的显示装置110的角度和从第2摄影部112拍摄到的用户面部的图像导出的用户观看位置来调整内容的输出位置。
即，显示装置110从第2摄影部112拍摄到的用户面部的图像导出用户的观看位置(包含用户的视线角度)，考虑显示装置110的角度和用户的观看位置来调整内容的输出位置。
这是因为每个用户的身高存在差异，考虑每个用户的视线角度，调整内容的输出位置，以适合用户观看内容，使得内容在每个用户的视线对应的位置被输出。特别地，如后续将说明的，由于本发明的内容包含增强现实内容，因此，在确定投影在显示装置110上的商品100上所输出的增强现实内容的输出位置时，必须考虑用户的视线角度。
输入部380可以从用户接收针对所显示内容的触摸命令或语音命令。例如，输入部380可以通过显示器具有的触摸传感器，从用户接收针对显示的内容的触摸命令。另一个示例，输入部380可以通过麦克风从用户接收针对显示的内容的语音命令。在此，触摸命令或语音命令可以包含根据内容场景的下一个操作命令、商品100的每个功能的详细说明的命令、广告或促销(Promotion)输出命令等。
数据库390可以存储每个商品的多种内容。例如，多种内容可以包含关于促销的内容、关于广告的内容、关于功能的内容等。这些多种内容可以表现为增强现实、虚拟现实或混合现实的内容。其优点在于，将商品相关的信息通过增强现实、虚拟现实或混合现实的内容提供给用户，让用户直观地确认商品相关信息。
图4a至图4e是用于说明根据本发明的一实施例的，在显示装置提供与商品相关内容的过程的示意图。
图4a是用于说明根据本发明的一实施例在显示装置中基于用户识别信息推荐商品型号的过程的示意图。参照图4a，当显示装置110通过显示装置110上设置的摄像机，在没有拍摄到商品而仅拍摄到用户的脸部时，可以输出用户识别信息相关的内容(例如，推荐商品、推荐型号等)。用户识别信息可以包含，例如，会员号、过去购买记录、偏好商品、偏好信息等。
显示装置110可以基于用户识别信息将内容输出到显示装置110。例如，显示装置110在屏幕的第1区域400中输出用户信息，在屏幕的第2区域410中输出聊天窗口，并且在屏幕的第三区域420中输出相关内容。可以在第1区域400中输出，例如年龄、购买的商品和感兴趣的商品之类的用户信息。可以在第2区域410中输出用于聊天机器人(chatbot)与用户之间聊天的聊天窗口。例如，当聊天机器人询问“您需要什么商品？”后，如用户回答“请推荐电饭锅”时，则聊天机器人可以发出一条消息，说“推荐如右图所示。”。可以在第三区域420中输出与用户想要的商品相关的推荐型号(例如，用户偏爱的颜色的型号)。
图4b至图4e是根据本发明的一实施例从显示装置输出与商品相关的促销内容的示意图。
显示装置110可以输出与商品100相关的内容。例如，显示装置110位于轨道130上并在展示多个商品的展示架上的多个商品的前方，并且在轨道130上由用户通过设置移动机构将其移动到多个商品中的任意一个的前方。输出在移动到的位置拍摄到的商品100相关的增强现实、虚拟现实或混合现实的内容。另一个示例，显示装置110可以输出用户从图4a输出的推荐模型中选择的模型相关的增强现实、虚拟现实或混合现实内容。
在下文中，将对以下情况进行说明，显示装置110通过摄像机拍摄商品和用户面部，用于输出与商品和用户面部的识别信息相关的内容。
参照图4b，显示装置110可以输出与商品外观相关的内容。例如，显示装置110可以输出与商品100有关的增强现实、虚拟现实或混合现实的内容。例如，显示装置110为了让用户确认整个商品的外观，可以将商品100的外观360度旋转输出。
参照图4c，显示装置110可以输出与商品功能相关的增强现实、虚拟现实或混合现实的内容。例如，显示装置110可以通过从用户接收的触摸命令或语音命令，得到输出商品100的功能相关内容的命令，并且输出与该功能有关的增强现实、虚拟现实或混合现实内容。功能可以包含例如，商品100的型号名称、尺寸、重量、功耗、容量等。
参照图4d，显示装置110通过触摸命令或语音命令接收用户输出的与商品100的内部结构相关的内容，并输出与内部结构相关的增强现实、虚拟现实或混合现实的内容。相反，当用户控制商品100时(例如，当打开商品100时)，显示装置110可以输出与内部结构有关的增强现实、虚拟现实或混合现实内容。
参照图4e，显示装置110通过触摸命令或语音命令接收用户输出的与商品100的操作相关的内容，并输出与操作相关的增强现实、虚拟现实或混合现实的内容。例如，当通过显示装置110拍摄到的商品是电饭锅时，显示装置110可以输出与电饭锅的操作相关的增强现实、虚拟现实或混合现实的内容。
图5是根据本发明一实施例的显示装置提供与商品相关的增强现实、虚拟现实或混合现实内容的方法的流程图。在图5所示的显示装置110提供与商品相关的增强现实、虚拟现实或混合现实内容的方法包含，由图1至图4e所示的实施例的内容提供系统1按时间序列处理的所有步骤。因此，即使是在下面被省略的内容，仍应用于根据图1至图4e所示的实施例的显示装置110提供与商品相关的增强现实、虚拟现实或混合现实内容的方法中。
步骤S510，显示装置110可以通过设置在显示装置110上的第1摄像机111来拍摄商品100。
步骤S520，显示装置110可以通过设置在显示装置110上的第2摄像机112来拍摄用户面部。
步骤S530，显示装置110可以测量显示装置110的角度。
步骤S540，显示装置110可以将拍摄到的商品相关信息及拍摄到的用户面部相关信息传送到服务器120。
步骤S550，显示装置110可以从服务器120接收与分析得出的商品100的相关信息和用户面部相关的信息中的至少一种相关识别信息。
步骤S560，显示装置110可以输出与识别信息相关的内容。此时，内容包含增强现实、虚拟现实或混合现实内容等，并且显示装置110可以基于测量的显示装置110的角度来调整内容的输出位置。
在上述说明中，根据本发明的具体例子，步骤S510至S560可以进一步分成追加步骤，或者可以组合成更少的步骤。另外，必要时可以省略一些步骤，或者可以调换步骤的顺序。
图6是根据本发明一实施例的服务器的结构图。参照图6，服务器120可以包含接收部610、分析部620、提取部630和传送部640。
接收部610可以从显示装置110接收由显示装置110拍摄到的商品100的相关信息和用户面部的相关信息。
分析部620可以分析接收到的商品100的相关信息和用户面部的相关信息。例如，分析部620可以基于接收到的商品100的相关信息来分析商品100的轮廓线、颜色等。另一示例，分析部620可以基于接收到的用户面部的相关信息来分析用户的面部特征点。
提取部630可以基于分析得到的商品相关信息来提取商品识别信息，并且可以基于分析得到的用户面部相关信息来提取用户识别信息。
传送部640可以将包含提取到的商品识别信息和用户识别信息的识别信息发送到显示装置110。
图7是根据本发明一实施例的服务器对应的显示装置提供与商品相关的增强现实、虚拟现实或混合现实内容的方法的流程图。在图7所示的服务器120提供与商品相关的增强现实、虚拟现实或混合现实内容的方法包含，由图1至图6所示的实施例的内容提供系统1按时间序列处理的所有步骤。因此，即使是在下面被省略的内容，仍应用于根据图1至图6所示的实施例的服务器提供与商品相关的增强现实、虚拟现实或混合现实内容的方法中。
步骤S710，服务器120可以从显示装置110接收由显示装置110拍摄到的商品相关信息及用户面部相关信息。
步骤S720，服务器120可以分析接收到的商品相关信息及用户面部相关信息。
步骤S730，服务器120基于已分析的商品信息提取商品识别信息，基于已分析的用户面部信息提取用户识别信息。
步骤S740，服务器120将提取到的包含商品识别信息及用户识别信息的识别信息传送到上述显示装置110。
在上述说明中，根据本发明的具体例子，步骤S710至S740可以进一步分成追加步骤，或者可以组合成更少的步骤。另外，必要时可以省略一些步骤，或者可以调换步骤的顺序。
参考图1至图7说明的由显示装置和服务器提供与商品相关的增强现实、虚拟现实或混合现实内容的方法的实现形式，可以是存储在可被计算机执行的介质中的计算机程序，或者也可以是包含可以被计算机执行的指令的记录介质。另外，参考图1至图7说明的由显示装置和服务器提供与商品相关的增强现实、虚拟现实或混合现实内容的方法的实现形式，还可以是存储在可被计算机执行的介质中的计算机程序。
计算机可读介质是计算机可以访问的任何可用介质，包含易失性和非易失性介质、可移动和不可移动介质。另外，计算机可读介质可以包含计算机存储介质。计算机存储介质包含以用于存储例如计算机可读指令、数据结构、程序模块或其他数据类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
本发明的以上描述仅出于说明目的，本发明所属技术领域中具有通常知识的技术人员应该知道可以在不改变本发明的技术思想或基本特征的前提下可轻松地转换为其他形式。以上所述的实施例应理解为仅是示例性的而非限制性的。例如，被描述为单一类型的各组件可以以分布式的方式来实现，同样，被描述为分布式的组件也可以以组合的形式来实现。
本发明的范围不是由上面的详细说明而是由权利要求来确定，应理解为从权利要求的含义和范围以及它们的等同概念得出的所有变形或变更形式都包含在本发明的范围内。

Claims (20)

1.一种显示装置，其提供与商品相关的内容，其特征在于，所述显示装置包括：
第1摄影部，通过设置在所述显示装置上的第1摄像机来拍摄商品；
第2摄影部，通过设置在所述显示装置上的第2摄像机来拍摄用户面部；
测量部，测量所述显示装置的角度；
传送部，将拍摄的所述商品的相关信息及拍摄的所述用户面部的相关信息传送到服务器；
接收部，从所述服务器接收与分析得出的所述商品的相关信息及所述用户面部的相关信息中至少一种相关的识别信息；及
输出部，输出与上述识别信息相关的内容，
所述输出部基于测量的所述显示装置的角度，调整所述内容的输出位置。
2.根据权利要求1中所述的显示装置，其特征在于，还包括：
所述识别信息包括：
包含会员信息、过去购买记录、偏好商品和偏好信息中至少一个的用户识别信息；以及
包含商品标识符的商品识别信息。
3.根据权利要求2中所述的显示装置，其特征在于，还包括：
内容确定部，基于所述用户识别信息和所述商品识别信息来确定要输出的内容。
4.根据权利要求3中所述的显示装置，其特征在于，
所述内容确定部在所述商品的多个相关内容中，基于所述过去购买记录、偏好商品和偏好信息中的至少一个来确定最佳内容。
5.根据权利要求1中所述的显示装置，其特征在于，还包括：
数据库，存储每个商品的多种内容，
所述多种内容包含关于促销的内容、关于广告的内容、关于功能的内容中的至少一个。
6.根据权利要求5中所述的显示装置，其特征在于，
所述多种内容包含增强现实、虚拟现实或混合现实的内容。
7.根据权利要求3中所述的显示装置，其特征在于，
所述内容确定部随着所述商品的状态改变而改变所述要输出的内容。
8.根据权利要求1中所述的显示装置，其特征在于，还包括：
输入部，从用户接收针对所显示的内容的触摸命令或语音命令中至少一个。
9.根据权利要求1中所述的显示装置，其特征在于，
所述显示装置位于陈列有多个商品的陈列台的所述多个商品的前方，
所述显示装置还包括移动机构，所述移动机构将所述显示装置移动到所述多个商品中的任意一个的前方。
10.根据权利要求2中所述的显示装置，其特征在于，
所述输出部基于测量的所述显示装置的角度和从所述第2摄影部拍摄到的所述用户面部的图像导出的所述用户的位置，来调整所述内容的输出位置。
11.一种提供内容的方法，在显示装置上提供商品相关的内容，其特征在于，包括：
通过设置在所述显示装置上的第1摄像机拍摄商品的步骤；
通过设置在所述显示装置上的第2摄像机拍摄用户面部的步骤；
测量所述显示装置的角度的步骤；
将拍摄到的所述商品的相关信息及拍摄到的所述用户面部的相关信息传送到服务器的步骤；
从所述服务器接收与分析得出的所述商品的相关信息和所述用户面部的相关信息中的至少一种相关的识别信息的步骤；及
输出与所述识别信息相关的内容的步骤，
所述内容的输出步骤中，基于测量的所述显示装置的角度，来调整所述内容的输出位置。
12.根据权利要求11中所述的提供内容的方法，其特征在于，
所述识别信息包括：
包含会员信息、过去购买记录、偏好商品和偏好信息中至少一个的用户识别信息；以及
包含商品标识符的商品识别信息。
13.根据权利要求12中所述的提供内容的方法，其特征在于，还包括：
基于所述用户识别信息和所述商品识别信息来确定要输出的内容的步骤。
14.根据权利要求13中所述的提供内容的方法，其特征在于，
确定所述内容的步骤中，在所述商品的多个相关内容中，基于所述过去购买记录、偏好商品和偏好信息中至少一个来确定最佳内容。
15.根据权利要求11中所述的提供内容的方法，其特征在于，
在数据库中存储每个商品的多种内容，所述多种内容包含关于促销的内容、关于广告的内容、关于功能的内容中的至少一个。
16.根据权利要求15中所述的提供内容的方法，其特征在于，
所述多种内容包含增强现实、虚拟现实或混合现实的内容。
17.根据权利要求13中所述的提供内容的方法，其特征在于，
确定所述内容的步骤中，随着所述商品的状态改变而改变所述要输出的内容。
18.根据权利要求11中所述的提供内容的方法，其特征在于，还包括：
从用户接收针对所显示的内容的触摸命令或语音命令中至少一个的步骤。
19.根据权利要求11中所述的提供内容的方法，其特征在于，
输出所述内容的步骤中，基于测量的所述显示装置的角度和从所述第2摄影部拍摄到的所述用户面部的图像导出的所述用户的位置，来调整所述内容的输出位置。
20.一种服务器，其提供与商品相关的内容，其特征在于，包括：
接收部，从显示装置接收由所述显示装置拍摄到的商品的相关信息和用户面部的相关信息；
分析部，分析接收到的所述商品的相关信息和用户面部的相关信息；
提取部，基于分析得到的所述商品的相关信息来提取商品识别信息，基于分析得到的所述用户面部的相关信息来提取用户识别信息；
传送部，将包含提取到的所述商品识别信息和用户识别信息的识别信息发送到所述显示装置，
基于所述识别信息，在所述显示装置输出所述商品的相关内容；
基于所述显示装置所测量的所述显示装置的角度，调整所述内容的输出位置。
CN201980060021.3A 2018-09-14 2019-07-10 提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器 Pending CN112703524A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0109935 2018-09-14
KR1020180109935A KR102188929B1 (ko) 2018-09-14 2018-09-14 증강 현실, 가상 현실 또는 혼합 현실 컨텐츠를 제공하는 디스플레이 장치, 방법 및 서버
PCT/KR2019/008489 WO2020054957A1 (ko) 2018-09-14 2019-07-10 상품과 관련된 증강 현실, 가상 현실 또는 혼합 현실 컨텐츠를 제공하는 디스플레이 장치, 방법 및 서버

Publications (1)

Publication Number Publication Date
CN112703524A true CN112703524A (zh) 2021-04-23

Family

ID=69777900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060021.3A Pending CN112703524A (zh) 2018-09-14 2019-07-10 提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器

Country Status (3)

Country Link
KR (1) KR102188929B1 (zh)
CN (1) CN112703524A (zh)
WO (1) WO2020054957A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157112A1 (ja) * 2022-02-16 2023-08-24 日本電気株式会社 陳列支援システム、陳列支援方法、および記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417084B1 (ko) * 2020-12-02 2022-07-06 주식회사 픽스트리 멀티채널 미디어 송수신 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880974A (zh) * 2012-09-12 2013-01-16 江苏乐买到网络科技有限公司 一种用于向用户发送商品团购信息的系统
KR20130117303A (ko) * 2012-04-18 2013-10-25 삼성전자주식회사 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
KR20140065963A (ko) * 2012-11-22 2014-05-30 강원대학교산학협력단 증강현실 내비케이터
CN105096180A (zh) * 2015-07-20 2015-11-25 北京易讯理想科技有限公司 基于增强现实的商品信息显示方法及装置
KR20160023208A (ko) * 2014-08-21 2016-03-03 엘지전자 주식회사 미러 디스플레이 장치 및 그의 동작 방법
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技（上海）有限公司 一种交互式智能魔镜
CN107507017A (zh) * 2017-07-07 2017-12-22 阿里巴巴集团控股有限公司 一种线下导购方法和装置
CN108009891A (zh) * 2017-12-15 2018-05-08 杨智勇 基于富媒体显示商品信息的系统及货架及信息展示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105559A (ja) * 2007-10-22 2009-05-14 Nec Saitama Ltd 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器
KR101638631B1 (ko) * 2009-05-25 2016-07-11 엘지전자 주식회사 디스플레이장치 및 그의 시야각 조절 방법
JP5349554B2 (ja) * 2011-09-05 2013-11-20 東芝テック株式会社 情報処理装置及びプログラム
KR101602828B1 (ko) * 2014-09-01 2016-03-14 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
KR102335060B1 (ko) * 2015-11-09 2021-12-03 에스케이텔레콤 주식회사 증강 현실 제공 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130117303A (ko) * 2012-04-18 2013-10-25 삼성전자주식회사 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
CN102880974A (zh) * 2012-09-12 2013-01-16 江苏乐买到网络科技有限公司 一种用于向用户发送商品团购信息的系统
KR20140065963A (ko) * 2012-11-22 2014-05-30 강원대학교산학협력단 증강현실 내비케이터
KR20160023208A (ko) * 2014-08-21 2016-03-03 엘지전자 주식회사 미러 디스플레이 장치 및 그의 동작 방법
CN105096180A (zh) * 2015-07-20 2015-11-25 北京易讯理想科技有限公司 基于增强现实的商品信息显示方法及装置
CN107507017A (zh) * 2017-07-07 2017-12-22 阿里巴巴集团控股有限公司 一种线下导购方法和装置
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技（上海）有限公司 一种交互式智能魔镜
CN108009891A (zh) * 2017-12-15 2018-05-08 杨智勇 基于富媒体显示商品信息的系统及货架及信息展示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157112A1 (ja) * 2022-02-16 2023-08-24 日本電気株式会社 陳列支援システム、陳列支援方法、および記録媒体

Also Published As

Publication number Publication date
KR102188929B1 (ko) 2020-12-09
KR20200031216A (ko) 2020-03-24
WO2020054957A1 (ko) 2020-03-19

Similar Documents

Publication Publication Date Title
AU2019246856B2 (en) Devices, systems and methods of capturing and displaying appearances
KR102506341B1 (ko) 거울을 가상화하는 디바이스들, 시스템들 및 방법들
CN107239725B (zh) 一种信息展示方法、装置及系统
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US20140226900A1 (en) Methods for extracting objects from digital images and for performing color change on the object
US20140225977A1 (en) Devices, systems and methods of virtualizing a mirror
US20130229482A1 (en) Devices, systems and methods of capturing and displaying appearances
CN107911737A (zh) 媒体内容的展示方法、装置、计算设备及存储介质
KR20110136029A (ko) 가상 진열대를 이용한 증강현실 매장 운영 시스템
CN112703524A (zh) 提供与商品相关的增强现实、虚拟现实或混合现实内容的显示装置、方法及服务器
KR20190106347A (ko) 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템
KR20190080583A (ko) 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법
KR102586911B1 (ko) 지능형 마케팅 및 광고 플랫폼
CN110673735A (zh) 全息虚拟人ar互动展示方法、装置及设备
CN107204026B (zh) 一种用于显示动画的方法和装置
CN109947239A (zh) 一种空气成像系统及其实现方法
CN108364354A (zh) 基于人工智能的显示系统和方法
WO2017149778A1 (ja) 鏡、画像表示方法及びプログラム
WO2007042923A2 (en) Image acquisition, processing and display apparatus and operating method thereof
CN112200365A (zh) 产品运营商管理系统及方法
RU2793157C2 (ru) Устройства, системы и способы захвата и отображения внешнего вида
JP2023122404A (ja) 教師データ作成システム、及び、教師データ作成方法
CN115239410A (zh) 一种信息处理方法、装置、电子设备及存储介质
CN115082111A (zh) 内容显示方法、装置及存储介质
CN113298597A (zh) 对象热度分析系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210423

WD01 Invention patent application deemed withdrawn after publication