CN110462666A - 基于图像的交易方法及执行这种方法的装置 - Google Patents

基于图像的交易方法及执行这种方法的装置 Download PDF

Info

Publication number
CN110462666A
CN110462666A CN201780088845.2A CN201780088845A CN110462666A CN 110462666 A CN110462666 A CN 110462666A CN 201780088845 A CN201780088845 A CN 201780088845A CN 110462666 A CN110462666 A CN 110462666A
Authority
CN
China
Prior art keywords
user
image
information
commodity
sales field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780088845.2A
Other languages
English (en)
Inventor
金勇局
刘书弦
赵成来
金勇振
金峻世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Link Logistics Co Ltd
Linkflow Co Ltd
Original Assignee
Link Logistics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Link Logistics Co Ltd filed Critical Link Logistics Co Ltd
Publication of CN110462666A publication Critical patent/CN110462666A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G06Q30/0619—Neutral agent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于图像的交易方法及执行这种方法的装置。基于图像的交易方法能够包括：由商品交易服务用服务器从图像处理装置接收卖场图像信息的步骤；由所述商品交易服务用服务器基于卖场图像信息而生成用户用信息的步骤；由商品交易服务用服务器将用户用信息传输至用户装置的步骤，所述用户用信息包括用户用图像信息和控制信息。

Description

基于图像的交易方法及执行这种方法的装置
技术领域
本发明涉及一种基于图像的交易方法及执行这种方法的装置(Method fortransaction based on image and apparatus for performing the method)。更详细地讲，涉及一种用于使用图像处理装置和用户装置等进行交易活动而无需用户访问线下卖场的方法及装置。
背景技术
全方位(omnidirectional)图像系统是指能够以特定视点为基准记录所有方向(360度)的图像信息的图像系统。与现有的图像系统相比，能够得到非常宽的视场角(field-of-view)的图像，因此，最近不仅应用于计算机视觉、移动机器人等的研究领域，还应用至如监视系统、虚拟现实系统、PTZ(pan-tilt-zoom，平移-俯仰-变焦)摄像机、视频会议那样的实用领域，从而其应用范围在日益扩大。
为了得到全方位图像而能够使用各种方法。例如，将使一个摄像机以满足单视点(single view point)的光轴(optical axis)为基准旋转而得到的图像拼接就能够生成全方位图像。或者，还能够使用将多个摄像机排列成环形结构并组合从各个摄像机得到的图像的方法。用户能够使用各种全方位图像处理装置(或全方位图像处理摄像机、360度摄像机)而生成全方位图像。
全方位图像装置能够在多种领域利用。例如，还能够在如预防犯罪/保安那样的需要对于全方位图像进行监视的领域利用，且还能够为了对于出游时旅游者曾访问过的场所的记录而利用。除此之外，基于全方位图像装置而拍摄的全方位图像还能够经编辑而用作用于商品销售的图像。
因此，有必要开发一种用来通过用户对于基于全方位图像处理装置而生成的全方位图像进行各种处理而在多种领域利用全方位图像的技术。
发明内容
所要解决的问题
本发明的目的在于解决上述的所有问题。
另外，本发明的另一目的在于，基于由图像处理装置所生成的卖场图像信息进行对于商品的交易而无需用户访问线下卖场。
另外，本发明的另一目的在于，基于卖场图像而生成用户用图像，并基于用户用图像而生成控制信息，且基于通过用户界面所输入的用户输入信息并通过用户用图像有效地进行对于所需商品的交易而无需用户移动。
解决问题方案
旨在达到上述目的，本发明的代表性构成如下。
根据本发明的一个方式，一种基于图像的交易方法，包括：由商品交易服务用服务器从图像处理装置接收卖场图像信息的步骤；由所述商品交易服务用服务器基于所述卖场图像信息而生成用户用信息的步骤；以及由所述商品交易服务用服务器将所述用户用信息传输至用户装置的步骤，其中，所述用户用信息包括用户用图像信息和控制信息。
根据本发明的另一个方式，一种用于进行基于图像的交易的商品交易服务用服务器，其包括：通信部，其用于与图像处理装置和用户装置进行数据通信；以及处理器，其可操作地连接在所述通信部，其中，所述处理器从所述图像处理装置接收卖场图像信息，并基于所述卖场图像信息而生成用户用信息，且将所述用户用信息传输至用户装置，所述用户用信息包括用户用图像信息和控制信息。
发明效果
根据本发明，基于由图像处理装置所生成的卖场图像信息进行对于商品的交易而无需用户访问线下卖场。
另外，根据本发明，基于卖场图像而生成用户用图像，并基于用户用图像而生成控制信息，且基于通过用户界面所输入的用户输入信息并通过用户用图像有效地进行对于所需商品的交易而无需用户移动。
附图说明
图1是示出了本发明实施例的基于图像的商品交易系统的概念图。
图2是示出了本发明实施例的图像处理装置的操作的概念图。
图3是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
图4是图示了本发明实施例的商品交易服务用服务器的操作的概念图。
图5是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
图6是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
图7是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
图8是示出了本发明实施例的商品交易服务的操作的概念图。
图9为显示本发明实施例的全方位图像处理装置的概念图。
图10为显示本发明实施例的位于全方位图像处理装置的多个图像成像部的特性的概念图。
图11为显示本发明实施例的多个图像成像部的成像线的概念图。
图12为显示本发明实施例的多个图像成像部的成像线的概念图。
具体实施方式
对于如上所述的本发明的具体说明，参照将本发明实施的特定的实施例作为例示而显示的附图。对该实施例进行具体说明，以使本领域技术人员能够充分对本发明进行实施。应当理解，本发明的各种实施例相互不同但不存在相互排它性需求。例如，本说明书中记载的特定形状、结构及特性不脱离本发明的思想与范围，并能够由一实施例变更为其它实施例。并且，各个实施例内的个别结构要素的位置或配置也未脱离本发明的思想与范围的情况，并能够进行变更。因此，下面所述的说明并非通过限定的意义进行，本发明的范围包括权利要求范围的权利要求项所请求的范围及与其同等的所有范围。在附图中类似的参照符号在各个方面显示相同或类似的构成要素。
下面，参照附图对本发明的几个优选的实施例进行具体他说明，以使本发明所属的技术领域中的普通技术人员能够容易实施本发明。
以下，本发明实施例的图像处理装置能够包括全方位图像处理装置。全方位图像处理装置能够包括能够进行全方位(或360度图像)摄像的全方位摄像机(360度摄像机)。
另外，以下在本发明实施例中，商品的含义不仅可以包括具有外形的物品，还可以包括不具有外形的服务商品。
图1是示出了本发明实施例的基于图像的商品交易系统的概念图。
在图1中公开了一种用来用户基于图像购买商品而无需访问线下卖场的商品交易系统。
商品交易系统能够包括图像处理装置100、商品交易服务用服务器120、用户装置140。
图像处理装置100用于生成关于商品(或卖场)的图像(例如，全方位图像)。例如，在线下卖场为了销售商品而在柜台(或货架)配置商品。图像处理装置100能够通过线下卖场的移动通道而移动，且生成关于卖场和/或排列于卖场的商品的图像。对于由图像处理装置100所生成的卖场和/或排列于卖场的商品的图像能够以称为卖场图像的用语来表示。
图像处理装置100还能够生成关于线下卖场的虚拟(virtual)图像而无需对实际线下卖场进行摄像。对于线下卖场的虚拟图像可以是在虚拟空间内虚拟地设定卖场、柜台、商品、移动路径等而生成的图像。以下在本发明实施例中，卖场图像的含义可以包括对于线下卖场的虚拟图像。
商品交易服务用服务器120通过对于从图像处理装置接收的卖场图像的处理而能够在用户的用户装置140生成用于购买商品的用户用信息。
用户用信息能够包括用户用图像及用户在用户装置140虚拟移动并购买商品所需的控制信息(例如，移动控制信息、交易控制信息)等。用户用图像可以是基于卖场图像而生成的、向用户装置140提供的关于卖场的图像。
商品交易服务用服务器120能够从卖场图像中除去重叠或不必要的部分并通过按照卖场内移动路径分割卖场图像等的图像处理而生成用户用图像。例如，商品交易服务用服务器120能够除去由图像处理装置100所生成的卖场图像中的被重叠拍摄的部分而确定用户用图像。另外，考虑卖场图像所拍摄的位置信息而按照路径分割卖场图像，从而能够生成按照路径的用户用图像。例如，在路径在分支点分割为第1路径和第2路径的情况下，基于对于第1路径的第1卖场图像而能够生成关于第1路径的第1路径用户用图像，且基于对于第2路径的第2卖场图像而能够生成关于第2路径的第2路径用户用图像。
另外，商品交易服务用服务器120能够在用户用图像上生成用于用户虚拟移动的移动控制信息。例如，商品交易服务用服务器120能够确定用户用图像中所存在的卖场内移动路径的分支点，且能够生成用于在分支点输出移动用用户界面的移动控制信息。移动用用户界面可用于确定用户的虚拟移动方向。另外，商品交易服务用服务器120能够在分支点生成匹配通过移动用用户界面的输入信息和用户用图像的移动控制信息。
即、商品交易服务用服务器120能够在卖场图像中的分支点显示移动用用户界面，并接收通过移动用用户界面而输入的用户输入信息，且生成根据用户输入信息的、用于提供根据用户的虚拟移动方向的用户用图像的移动控制信息。
例如，在用户通过商品交易服务用服务器120的图像处理而位于分支点的情况下，能够基于移动控制信息在通过用户装置140而输出的用户用图像上输出移动用用户界面。能够通过移动用用户界面而输入指示移动方向的用户输入信息。能够基于移动控制信息而向用户提供与由用户输入信息所指示的移动方向对应的用户用图像。用户能够以这种方式通过用户装置140而指示移动方向并在卖场内虚拟地移动。
另外，商品交易服务用服务器120能够生成用于用户的商品信息获取、商品选择以及商品交易程序的交易控制信息。例如，商品交易服务用服务器120能够提取用户用图像中所存在的商品图像而作为对象信息，并确定与商品图像对应的商品。商品交易服务用服务器120能够生成用于将对于所确定的商品的商品信息与商品图像进行匹配的交易控制信息。
另外，商品交易服务用服务器120在通过交易用用户界面而选择了商品的情况下，能够生成用于提供附加商品信息并进行商品交易的交易控制信息。交易用用户界面可用于在用户用图像上选择商品并进行交易。交易控制信息能够包括如商品的价格、商品的原产地、商品的交易条件等的用于商品的选择/交易的信息。
能够基于由商品交易服务用服务器120所生成的交易控制信息而对用户用图像中的商品图像匹配商品信息并作为图像信息输出。另外，在用户基于由商品交易服务用服务器120所生成的交易控制信息并通过交易用用户界面而选择商品图像时，能够提供对于商品的附加商品信息并进行交易程序。
另外，商品交易服务用服务器120能够接收对于由用户所选择的商品的商品交易请求信息，并基于商品交易请求信息进行商品交易程序。例如，用户能够对于通过用户装置140而在卖场一边虚拟地转悠一边对于购买的商品请求结算。在请求结算时，商品交易请求信息能够传递至商品交易服务用服务器120。商品交易服务用服务器120能够从用户装置(另外的用户装置亦可)140接收用于结算的结算信息(例如，卡信息)并进行对于商品的结算程序。结算程序还能够与另外的银行服务器联动而执行。由商品交易服务用服务器120所已完成交易的商品能够配送至用户。
商品交易服务用服务器120还能够一次性地向用户装置提供用户用图像，还能够根据通过用户界面输入的用户输入信息从用户装置140接收用户用图像请求并提供所请求的用户用图像。
商品交易服务用服务器120能够包括用于与图像处理装置和用户装置进行数据通信的通信部，且包括与通信部可操作地(operatively)连接的处理器。在本发明实施例中，所公开的商品交易服务用服务器120的操作能够基于处理器而执行。
更为具体的商品交易服务用服务器120的操作将在下面叙述。
用户装置140可用于用户进行商品购买。用户装置140能够从商品交易服务用服务器120接收用户用信息并输出用户用图像。另外，能够通过用户装置140而输入用户输入信息，并基于与用户输入信息对应的移动控制信息和交易控制信息而在卖场内一边虚拟地移动一边进行对于商品的购买程序。
例如，用户装置140能够接收通过移动用用户界面而输入的用户的输入信息，并在用户用图像上产生用户在卖场内的虚拟移动。另外，用户装置140能够接收通过交易用用户界面而输入的用户的输入信息，并在用户用图像上进行用户的商品选择、对于商品的信息提供以及对于商品的购买程序。
例如，用户装置140可以是能够输出全方位VR(virtual reality，虚拟现实)/AR(augmented reality，增强现实)图像且能够将手的动作作为用户输入信息而接受输入的装置。用户装置140可以是HMD(head mounted display，头戴式显示器)，且能够将用户的手的动作解释为用户输入信息而接收。
具体地、用户能够在通过用户装置140而提供的用户用图像上通过移动用用户界面选择所要移动的方向而在卖场内虚拟地移动。例如，用户用图像能够在分支点输出移动用用户界面。能够通过用户的手而选择移动用用户界面中所包括的指示所要移动的方向的图标(或图像)。用户装置140将手的动作识别为用户输入信息，且基于移动控制信息而能够向用户提供与由用户所选择的特定方向对应的用户用图像。
另外，用户能够在通过用户装置140而提供的用户用图像上通过交易用用户界面而选择并购买所要购买的商品。例如，能够在用户用图像上用手选择所要购买的商品。在这种情况下，用户装置140能够通过交易用用户界面而将手的动作识别为用户输入信息，并基于交易控制信息而提供对于由用户所选择的商品的信息(价格、原产地等)，且进行商品购买程序。
图2是示出了本发明实施例的图像处理装置的操作的概念图。
在图2中公开了一种图像处理装置的图像生成操作。例如，图像处理装置可以是全方位图像处理装置，且所生成的图像可以是全方位图像。
参照图2，图像处理装置200能够摄像对于卖场内的商品的信息。
管理者或移动装置能够使图像处理装置200在卖场内移动，且图像处理装置能够摄像卖场内的360度图像而生成卖场图像。本发明实施例的图像处理装置200可以是可穿戴360度图像摄像装置，穿戴了图像处理装置200的管理者还能够一边在卖场内移动一边生成卖场图像。即、图像处理装置200能够在卖场的多种路径移动，且能够摄像置放于柜台的商品而生成卖场图像。
能够多样地设定图像处理装置200的移动路径。例如，输入卖场内地图信息，且图像处理装置200能够根据卖场内地图信息而移动。卖场内地图信息能够包括卖场内的移动路径和卖场内的商品的位置(或对于卖场内各位置商品的信息)。
能够基于卖场内地图信息而确定图像处理装置200的移动路径。图像处理装置200的移动路径包括卖场内的所有路径，且能够确定成所重叠的路径最少。另外，能够进一步考虑图像处理装置200所能够摄像的距离而确定图像处理装置200的移动路径。另外，能够基于在卖场中的移动路径内是否存在商品而确定图像处理装置200的移动速度。在移动路径内并不存在商品的情况下，图像处理装置200的移动速度可以相对小，在移动路径内存在商品的情况下，图像处理装置200的移动速度可以相对大。
图像处理装置200的对于移动路径的信息和对于所重叠的路径的信息能够传递至商品交易服务用服务器。商品交易服务用服务器能够去除对于所重叠的路径的图像，并基于对于图像处理装置200的移动路径的信息而分割卖场图像。
如上所述，由图像处理装置200所生成的卖场图像可以是虚拟图像。能够在虚拟的卖场空间配置虚拟柜台并在虚拟柜台上配置虚拟商品而生成虚拟图像。图像处理装置200还能够考虑所设定的虚拟的卖场空间、虚拟柜台、虚拟商品的位置而确定虚拟的卖场空间内部的路径，并考虑卖场内路径而生成虚拟卖场图像。
图3是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
图3显示了一种用于基于所接收的卖场图像而生成用户用图像的商品交易服务用服务器的操作。
商品交易服务用服务器能够从图像处理装置接收对于卖场图像的信息。卖场图像可以是全方位图像(或360度图像)。另外，商品交易服务用服务器还能够从图像处理装置接收卖场图像所拍摄的位置信息、卖场内地图信息。
参照图3的上端，商品交易服务用服务器能够基于卖场图像信息、卖场图像摄像位置信息、卖场内地图信息而确定不必要地多次拍摄的区域。商品交易服务用服务器还能够在与多次拍摄的区域对应的多个卖场图像中选择一个卖场图像或组合多个卖场图像而生成一个卖场图像。
例如，图像处理装置为了摄像商品而能够在卖场内移动路径中水果柜台所在的移动路径多次移动。例如，能够基于第1个移动而生成第1卖场图像310，基于第2个移动而生成第2卖场图像320，基于第3个移动而生成第3卖场图像330。在这种情况下，商品交易服务用服务器能够仅将对于水果区域的多个卖场图像中的一个卖场图像(例如，第1卖场图像310)确定为用户用图像，并去除其余卖场图像(例如，第2卖场图像320、第3卖场图像330)。或者，能够将第1卖场图像310、第2卖场图像320以及第3卖场图像330组合而生成一个用户用图像。
参照图3的下端，商品交易服务用服务器能够按照卖场内路径而分割卖场图像。例如，在分支点将路径分割成第1路径350、第2路径360以及第3路径370的情况下，商品交易服务用服务器能够将对于第1路径350的卖场图像生成为第1用户用图像355，将对于第2路径360的卖场图像生成为第2用户用图像365，将对于第3路径370的卖场图像生成为第3用户用图像375。即、能够生成基于对于各路径卖场图像的匹配而选择的各路径用户用图像。
即、商品交易服务用服务器能够基于卖场图像信息、卖场图像摄像位置信息、卖场内地图信息而对于不必要地多次拍摄的区域执行编辑，并按照卖场内路径分割卖场图像而生成用户用图像。
商品交易服务用服务器能够基于所生成的用户用图像而生成移动控制信息和交易控制信息。在图4和图5中公开了一种基于所生成的用户用图像而生成移动控制信息和交易控制信息的商品交易服务用服务器的操作。
图4是图示了本发明实施例的商品交易服务用服务器的操作的概念图。
在图4中显示开了一种基于用户用图像而生成移动控制信息的方法。移动控制信息可以是用于提供与通过移动用用户界面而输入的用户输入信息对应的用户用图像的控制信息。
商品交易服务用服务器能够生成用于按照路径匹配用户用图像的移动控制信息。能够基于移动控制信息并根据通过移动用用户界面输入的输入信息且通过用户装置而提供用户用图像。
参照图4的上端，在卖场内的移动路径以分支点400为基准分支为多个路径的情况下，能够生成用于匹配与以分支点400为基准的各路径相应的用户用图像的移动控制信息。
能够假设以分支点400为基准的第1路径410、第2路径420以及第3路径430存在的情况。用户用图像能够匹配为对于第1路径410的第1用户用图像415、对于第2路径420的第2用户用图像425以及对于第3路径430的第3用户用图像435。移动控制信息能够包括用于按照路径匹配用户用图像的信息。
第1用户用图像415可以是图像处理装置通过第1路径410而移动时所拍摄的全方位图像，第2用户用图像425可以是图像处理装置通过第2路径420而移动时所拍摄的全方位图像，第3用户用图像435可以是图像处理装置通过第3路径430而移动时所拍摄的全方位图像。
还能够在分支点400上生成用于提供移动用用户界面的移动控制信息。
参照图4的下端，在路径并未分割的情况下也能够设定移动用用户界面所提供的分支点450。在商品位于同一路径上的互不相同的位置的情况下，能够以分支点450为基准设定路径而设定移动控制信息。即、分支点还可以是设定成输出移动用用户界面的位置。分支点还能够设定在特定位置(距离间隔)，还能够考虑商品的位置而设定。
例如，能够以分支点450为基准使销售第1′商品(例如，水果)的柜台位于第1′路径(左侧路径)460上，并使销售第2′商品(例如，蔬菜)的柜台位于第2′路径(右侧路径)470上，且使销售第3′商品(例如，乳制品)的柜台位于主路径方向的第3′路径(直线路径)480上。
在这种情况下，为了对于第1′商品的具体确认而匹配向第1′路径460移动的第1′用户用图像465，为了对于第2′商品的具体确认而匹配向第2′路径470靠近的第2′用户用图像475，为了对于第3′商品的具体确认而匹配向第3′路径480靠近的第3′用户用图像485，且对于匹配的信息能够作为移动控制信息而生成。
商品交易服务用服务器能够按照路径设定路径名，且能够根据用户的输入信息而匹配所要输出的各路径用户用图像。例如，在沿着第1路径移动时出现展示水果的柜台的情况下，能够将第1路径的路径名设定为水果，并生成用于匹配第1用户用图像和指示第1路径的用户界面的输入信息(左侧方向指示符)的移动控制信息。相同地、在沿着第2路径移动时出现展示乳制品的柜台的情况下，能够将第2路径的路径名设定为乳制品，并生成用于匹配第2用户用图像和指示第2路径的用户界面的输入信息(直行方向指示符)的移动控制信息。在沿着第3路径移动时出现展示蔬菜的柜台的情况下，能够将第3路径的路径名设定为蔬菜，并生成用于匹配第3用户用图像和指示第3路径的用户界面的输入信息(右侧方向指示符)的控制信息。
所设定的路径名信息能够输出到用户界面的输入按钮上。
例如，想要直接向水果柜台侧移动的用户可以按下在商品购买装置的画面上显示为“水果”的用户界面的输入按钮(水果)。能够输入与输入按钮(水果)对应的输入信息，且与对应于输入按钮(水果)的输入信息匹配的用户用图像输出到用户装置上。
图5是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
在图5中显示了一种基于用户用图像而生成移动控制信息的方法。尤其，公开了一种用于生成用来使用户直接向所期望的商品或商品类目移动的移动控制信息的方法。
在用户基于用户输入信息与用户用图像之间的匹配而在移动用用户界面500上输入特定用户输入信息的情况下，能够输出与用户输入信息匹配的用户用图像。用户输入信息可以是用户期望购买的商品、关于商品的类目信息。
商品交易服务用服务器能够通过对于用户用图像的对象分析而生成关于在哪条路径上的哪个位置正在销售哪种商品的信息作为移动控制信息。例如，商品交易服务用服务器能够确定草莓位于第1路径、第3地点，且将其作为移动控制信息进行管理。
另外，商品交易服务用服务器能够通过对于用户用图像的对象分析而生成关于在哪条路径上的哪个位置正在销售哪些类目的商品的信息作为移动控制信息。例如，在牛奶、奶酪、酸奶等商品位于特定位置的情况下，商品交易服务用服务器能够确定为与乳制品类目相应的各商品位于相应位置并在销售。商品交易服务用服务器能够确定乳制品类目、水果类目等位于哪条路径、哪个地点与否，且将其作为移动控制信息进行管理。
能够通过移动用用户界面500而输入所要购买的商品或商品类目(例如，乳制品520)，并能够基于移动控制信息而直接输出与所输入的商品或商品类目(例如，乳制品520)对应的位置的用户用图像(乳制品)540。
图6是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
在图6中公开了一种基于用户用图像而生成交易控制信息的方法。交易控制信息可以是用于提供与通过交易用用户界面而输入的用户输入信息对应的用户用图像的控制信息。
参照图6，商品交易服务用服务器能够生成用于商品信息提供、商品选择、商品交易的交易控制信息。能够基于交易控制信息并根据通过交易用用户界面600输入的输入信息且通过用户装置而提供用户用图像。还能够在商品的位置与由用户在虚拟卖场空间的虚拟移动所确定的虚拟位置之间的距离为临界距离以下的情况下提供交易用用户界面600。
能够在用户用图像上提取商品的图像而作为对象信息。例如，能够假设用户用图像中包括作为商品销售的橙子、西瓜、草莓等的情况。
商品交易服务用服务器能够提取用户用图像中的个别对象各自的对象图像信息(例如，橙子、西瓜、草莓等的图像信息)。所提取的对象图像信息能够通过图像分析而与商品信息进行匹配。
例如，商品交易服务用服务器能够提取对于橙子的对象图像信息，并确定与橙子的对象图像信息对应的商品为何物。在商品交易服务用服务器有可能登记有对于特定商品(例如，橙子)的基准图像。具有与所输入的对象图像信息(例如，所提取的橙子的图像)的相似度最高的基准图像(例如，已登记的橙子的基准图像)的商品(例如，橙子)能够确定为与所输入的对象图像对应的商品。即、能够通过图像分析而将与对象图像信息对应的商品确定为“橙子”。
商品交易服务用服务器能够将对于橙子的商品信息(价格、原产地、出售与否等)与橙子的对象图像信息进行匹配。与橙子的对象图像信息匹配的商品信息能够表示为图像信息而输出到用户用图像上。
或者，根据本发明实施例，商品交易服务用服务器能够提取位于对象附近的与对象相关的对象相关信息(例如，对象说明文本(或卡、标志牌、说明牌)、对象关联QR(quickresponse，快速响应)码等)而作为用户用图像中的个别对象各自的对象信息。由商品交易服务用服务器所提取的对象相关信息能够通过图像分析而与商品信息进行匹配。例如，商品交易服务用服务器能够提取对于位于橙子周边的如“加利福尼亚橙子每个XXXX韩元”那样的文本或橙子相关QR码的图像信息而作为对象相关信息。对象相关信息能够与最靠近对象相关信息的提取位置的对象(或对象图像)进行匹配。
此后，商品交易服务用服务器能够确定与对象相关信息对应的商品。商品交易服务用服务器能够将对于与对象相关信息对应的特定商品(例如，橙子)的商品信息(价格、原产地、出售与否等)与对象相关信息(和/或对象信息、对象相关信息)进行匹配而向用户提供对于特定商品的商品信息。例如，与特定商品(例如，橙子)的对象相关信息(或对象图像信息)匹配的商品信息能够表示为图像信息而输出到用户用图像上。
根据本发明实施例，能够匹配进一步考虑位置信息而提取的对象图像信息和商品信息。商品交易服务用服务器能够从图像处理装置接收卖场图像摄像位置信息和卖场内地图信息，且确定用户用图像中的商品为何物。如上所述，卖场内地图信息能够包括卖场内的移动路径和卖场内的商品的位置(或对于卖场内各位置商品的信息)。
例如，假设用户用图像在第1场所被摄像并在用户用图像中在第1方向包括对于第1商品的对象图像，且在第2方向包括对于第2商品的对象图像的情况。能够基于卖场内地图信息而确定位于第1场所的第1方向的第1商品为何物，能够基于卖场内地图信息而确定位于第1场所的第2方向的第2商品为何物。即、仅凭摄像位置信息和摄像方向信息就能够确定将与所提取的对象图像信息进行匹配的商品信息而无需另行图像分析。
或者，根据本发明实施例，在用户用图像是在第1场所被摄像的情况下，能够优先确定位于第1场所的商品(例如，橙子、草莓、西瓜等)，且能够确定位于第1场所的商品(例如，橙子、草莓、西瓜等)中与对象图像信息对应的商品(例如，草莓)为何物。
或者，根据本发明实施例，商品交易服务用服务器能够将用户用图像中的个别对象各自的对象标识信息进行处理而与商品信息进行匹配。例如，图像处理装置能够一边收集卖场图像一边进一步收集位于卖场内的商品的位置信息(商品位置信息)和对于各商品的标识信息(商品标识信息)。位于卖场内的商品的位置信息和对于各商品的标识信息能够由位于卖场或位于商品周边的另外的通信模块所传输至图像处理装置。商品位置信息能够包括对于商品在卖场内的具体位置的信息(例如，A区域、第1柜台、第3层第3列)，商品标识信息能够包括能够标识商品的信息(例如，对于橙子的标识码：1010101)。商品位置信息和商品标识信息可以是一个成组的信息。或者，商品标识信息还能够包括对于商品的位置信息。以下，在本发明实施例中，为了便于说明起见，将商品位置信息和商品标识信息区分为另外的信息而公开。
例如，商品交易服务用服务器能够进一步考虑由通信模块所传输的商品位置信息和商品标识信息以及所拍摄的卖场图像信息和卖场地图信息而标识用户用图像中的商品并匹配商品信息。
首先，商品交易服务用服务器能够基于卖场地图信息而确定所拍摄的卖场图像信息是在卖场内哪个位置(例如，A区域)被摄像的。商品交易服务用服务器能够将在卖场内摄像位置(例如，A区域)摄像的卖场图像中所包括的对象图像和商品位置信息(例如，A区域、第1柜台第3层第3列)以及商品标识信息(例如，对于橙子的标识码：1010101)进行匹配。具体地、商品交易服务用服务器能够执行对于卖场图像的图像分析而判断卖场图像中的对象的商品位置(例如，第1柜台第3层第3列)。商品交易服务用服务器能够基于与对象的商品位置匹配的信息(商品位置信息和商品标识信息)而将位于第1柜台第3层第3列的对象A识别为橙子。此后，商品交易服务用服务器能够向用户提供对于所识别的卖场内对象的商品信息。
图6中所公开的方法能够单独使用或组合使用，以在用户用图像提供商品信息。
图7是示出了本发明实施例的商品交易服务用服务器的操作的概念图。
在图7中公开了一种基于移动控制信息和交易控制信息的用户的商品购买程序。
公开了一种用于用户通过移动用用户界面而在卖场内执行虚拟移动且通过交易用用户界面而选择商品并进行交易的程序。假设移动用用户界面和交易用用户界面为将用户的手的操作识别为输入信息的用户界面。然而，非为用户的手的操作的其它各种格式的输入信息能够用作用户输入信息。
参照图7，用户能够通过用户装置而接收所提供的用户用图像。
用户装置可以是HMD(head mounted display，头戴式显示器)。另外，用户装置能够识别用户的手的操作而将用户的手的操作改变为输入信息。
参照图7的上端，用户能够通过移动用用户界面700而在卖场内虚拟地移动。例如，与通过实际卖场入口进入到卖场而购买商品相同地、用户能够通过移动用用户界面700而虚拟地选购所期望的商品。能够通过用户的手选择显示于移动用用户界面700上的移动指示符(例如，箭头)，且能够通过用户装置而提供根据所选择的移动指示符的用户用图像。
用户还能够通过移动用用户界面700而直接向所期望购买的商品移动。例如，在用户想买草莓的情况下，用户能够在移动用用户界面700上输入“水果”或通过移动用用户界面700而选择“水果”。在这种情况下，与水果销售柜台对应的用户用图像能够提供至用户装置。
用户能够移动手而选择显示于用户用图像上的商品。在用户的手的动作选择特定的商品图像的情况下，交易用用户界面750能够将用户的手的动作识别为输入信息，并输出与商品图像匹配的商品信息。例如，在执行了用户拿捏货物的手的动作的手的位置与特定的商品图像的位置一致的情况下，交易用用户界面750能够将用户的手的动作识别为输入信息并输出与商品图像匹配的商品信息。
交易用用户界面750能够从用户接收所输入的对于是否购买商品的用户输入信息。在用户期望对于商品的购买的情况下，能够通过交易用用户界面750而输入对于所要购买的数量的信息，且所购买的商品能够保管到用户的虚拟购物筐中。
用户在卖场内结束商品的选择的情况下，能够通过交易用用户界面750而执行对于收罗于购物筐中的商品的结算。用户能够通过交易用用户界面750而输入结算信息(卡号等)且商品服务用服务器基于结算信息而执行对于商品的交易。
图8是示出了根据本发明实施例的商品交易服务的操作的概念图。
在图8涉及用于自适应地排列虚拟卖场空间内的商品的位置的方法。
参照图8，能够根据用户特性信息(对于用户的购买倾向/用户的购买记录的信息)800而自适应地调整商品的排列位置。
例如，用户特性信息800能够包括用户的购买记录信息，用户的购买记录信息能够包括对于用户之前购买的各种商品的信息。
能够假设购买记录信息包括水果和乳制品类的情况。在这种情况下，能够将虚拟卖场内商品的位置和移动路径调整，使得水果销售柜台和乳制品销售柜台能够配置于卖场入口，以便能够首先移动到水果销售柜台和乳制品销售柜台。
即、在虚拟空间优先配置预期用户会关心的各种商品的柜台，且在用户通过用户装置而进场到虚拟空间的情况下，能够考虑用户对于商品的关心度而在虚拟空间配置商品。能够考虑用户的之前购买记录、用户的性别、用户的年龄等而确定用户对于商品的关心度。通过这种方法，用户进场之后用户的关心物品在向用户提供的用户用图像上会首先向用户示出。
或者，根据本发明实施例，还能够另行提供用于直接向预期用户会关心的各种商品的位置移动的移动用用户界面。例如，能够通过移动用用户界面而提供商品图像，使得用户能够直接向之前曾购买过的商品的位置移动。在由用户在移动用用户界面上选择商品图像的情况下，能够直接提供与商品图像对应的用户用图像。用户能够在直接提供的用户用图像选择商品并进行购买程序。
以下，在本发明实施例中例示性地公开一种为了生成卖场图像而使用的图像处理装置。下面公开的图像处理装置是一个例示，为了生成其它各种方式的图像处理装置而能够利用卖场图像。
图9为显示本发明实施例的全方位图像处理装置的概念图。
图9涉及全方位图像处理装置的结构。
参照图9，全方位图像处理装置900为可穿戴结构，为与戴在用户的颈部的项链类似的形状。全方位图像处理装置900如图1所示，也能够为一面开放的项链的形状，也能够为一面未开放的项链的形状。下面，在本发明实施例中，假设全方位图像处理装置900为一面开放的U字形状。该U字形状的全方位图像处理装置900为以可穿戴设备(wearable device)形状戴在用户的颈部而拍摄全方位图像。
在本发明实施例中，为便于说明，假设全方位图像处理装置100为项链形状(或者一面开放的项链形状、U字形状)，而戴在用户的颈部的情况。但，全方位图像处理装置900也并非为简单戴在用户的颈部的形状。例如，全方位图像处理装置900以能够挂卡/附着的各种形状，设置于用户的不同身体部位或外部物体(或者个体)/设备/结构等，从而能够获得全方位图像。
用户将作为可穿戴设备实现的全方位图像处理装置900戴在颈部，并在双手自由的状态下，获得用于生成全方位图像的多个图像。
全方位图像处理装置900包括多个图像成像部。多个图像成像部分别以特定间距(或预定的间距)而设置在全方位图像处理装置，由此，分别对视角/成像线的图像个别成像。多个图像成像部各自的位置也能够固定于全方位图像处理装置900，但多个图像成像部能够分别移动，且多个图像成像部各自的位置也能够进行变更。
例如，全方位图像处理装置900包括三个图像成像部，三个图像成像部按一定的视角(field of view)(例如，120度～180度)对全方位图像进行成像。三个图像成像部为第1图像成像部910、第2图像成像部920、第3图像成像部930。
下面，为了便于说明，以三个图像成像部包含于全方位图像处理装置900的结构进行说明。但，可以不是三个，而多个(例如，2、4、5、6个等)图像成像部包含于全方位图像处理装置900，对全方位图像进行成像，该形状也包含于本发明的权利要求范围。
第1图像成像部910、第2图像成像部920及第3图像成像部930根据视角而对图像进行成像。在相同的时间资源上，通过第1图像成像部910而生成图像1，通过第2图像成像部920而生成图像2，通过第3图像成像部930而生成图像3。第1图像成像部910、第2图像成像部920、第3图像成像部930各自的视角为120度，在图像1、图像2及图像3中存在重叠的成像区域。之后，通过全方位图像处理装置100拼接/补正在相同的时间资源上所成像的图像1及图像2及图像3，从而生成全方位图像。对多个图像的拼接及/或补正顺序也能够在全方位图像处理装置本身执行，也能够基于能够与全方位图像处理装置900通信的用户设备(智能手机)执行。即，对所生成的多个图像的增加的图像处理顺序也能够通过全方位图像处理装置900及/或其它图像处理设备(智能手机、个人电脑等)执行。
下面，具体显示全方位图像处理装置的具体特征及全方位图像生成方法。
图10为显示本发明实施例的位于全方位图像处理装置的多个图像成像部的特性的概念图。
在图10中显示位于U字型的全方位图像处理装置的多个图像成像部的特征。图10中的图像成像部的位置是示例。多个图像成像部可分别位于全方位图像处理装置上的不同的位置，以对用于生成全方位图像的多个图像进行成像。
在图10的上端显示有全方位图像处理装置的后面。
包含在全方位图像处理装置的第1图像成像部1010及第2图像成像部1020位于在全方位图像处理装置上存在曲率的弯曲的部分。具体地，对于用户将全方位图像处理装置作为可穿戴设备而挂于颈部的情况，在与颈部的后部位接触并弯曲的区域设置第1图像成像部1010及第2图像成像部1020。例如，基于U字型的全方位图像处理装置的最大曲率支点(例如，U字型的中间部分)而将第1图像成像部1010及第2图像成像部1020设置在特定距离上。
第1图像成像部1010基于用户的视线(line of sight)方向而对包含后面左侧死角区域的区域进行成像。第2图像成像部1020基于用户的视线而对包含后面右侧死角区域的区域进行成像。具体地，第1图像成像部1010具有第1视角，执行与第1视角相应的区域的成像。第2图像成像部1020具有第2视角，执行与第2视角相应的区域的成像。例如，第1视角及第2视角为120～180度。
对于执行通过第1图像成像部1010及第2图像成像部1020的成像的情况，生成通过第1视角与第2视角而重叠的第1重叠区域1015。之后，以基于重叠区域的拼接为基础而生成全方位图像。
图10的下端公开全方位图像处理装置的前部。
在全方位图像处理装置的前面设置有第3图像成像部1030。具体地，第3图像成像部1030设置在全方位图像处理装置的末端部(U字型的端(末端)部分)。对于用户将全方位图像处理装置作为可穿戴设备挂于颈部的情况，U字型的全方位图像处理装置的末端部分位于用户的前面方向(用户的视线注视的方向)。全方位图像处理装置包括：第1末端部与第2末端部，第3图像成像部1030设置在第1末端部与第2末端部中一个末端部。
第3图像成像部1030以与用户的视线的方向相同的方向执行成像而执行对与用户的视线相应的区域的成像。
具体地，第3图像成像部1030具有第3视角，执行对与第3视角相应的区域的成像。例如，第3视角为120度～180度。对于执行通过第3图像成像部1030的成像的情况，因第1图像成像部1010的第1视角与第3图像成像部1030的第3视角而产生第2重叠区域1025。对于执行通过第3图像成像部1030的成像的情况，因第2图像成像部1020的第2视角与第3图像成像部230的第3视角而产生第3重叠区域1035。
根据挂于颈部的可穿戴设备的结构，当全方位图像处理装置挂于颈部时，第1图像成像部1010、第2图像成像部1020以地面为基准而处于相对高于第3图像成像部1030的地方。并且，第3图像成像部1030位于一侧末端部。
在现有的全方位图像处理装置中，位于相同高度的多个图像成像部具有特定的角度，而本发明实施例的全方位图像处理装置的多个图像成像部之间的角度不同，且所处的高度也各不相同。因此，分别通过多个图像成像部生成的多个图像的第1重叠区域1015、第2重叠区域1025及第3重叠区域1035的大小/形状相互不同。
之后，以通过基于第1重叠区域1015/第2重叠区域1025/第3重叠区域1035的第1图像成像部1010、第2图像成像部1020及第3图像成像部1030而分别生成的图像1、图像2及图像3的图像处理次序(拼接/补正等)为基础而生成全方位图像。
第1视角、第2视角、第3视角的大小也能够被相同地设定，但也能够进行相互不同地设定，并包含于该实施例及本发明的权利要求范围内。
图11为显示本发明实施例的多个图像成像部的成像线的概念图。
图11中，显示设置于全方位图像处理装置的多个图像成像部各自的成像线。对于假设将地面与X轴与Z轴构成的XZ平面平行的情况，成像线被定义为在由X轴/Y轴/Z轴呈现的空间上，垂直通过包含于全方位图像处理装置的多个图像成像部各自的透镜的中央的线。
现有的全方位图像处理装置在相同的高度上，将多个图像成像部按特定的角度(例如，120度)实现。对于该情况，包含于现有的全方位图像处理装置的多个图像成像部的多个成像线是指与地面(或XZ平面)平行，且在多个成像线之间为具有特定的角度(例如，120度)的多个线。
本发明实施例的全方位图像处理装置如上所述，多个图像成像部的高度(或多个图像成像部的实现的位置)及多个图像成像部之间的角度(或成像线之间构成的角度)在成像时相互不同。因此，本发明实施例的全方位图像处理装置的成像线的特性与现有的全方位图像处理装置的成像线的特性存在差异。
图11中例示的多个图像成像部各自的成像线用于显示因可穿戴设备的特性而造成的多个图像成像部各自的成像线之间的特性(例如，高度，角度)的差异。并且，图11中显现的成像线为不存在因佩戴全方位图像处理装置的用户的移动，或为在全方位图像处理装置特定状态下固定的情况的成像线。
图11的上端表示第1图像成像部1110及第2图像成像部1120的成像线。
第1图像成像部1110及第2图像成像部1120设置在比第3图像成像部1130相对高的位置。假设佩戴全方位图像处理装置的用户的所处的方向为Y轴方向的情况，在挂于颈部的可穿戴设备的结构上，在全方位图像成像设备上，相对地提升具有第1图像成像部1110及第2图像成像部1120所处的曲率的部分(U字中的曲线/中央部分)，并第3图像成像部1130所处的腿部分(U字中末端部分)相对下移。
例如，第1图像成像部1110的第1成像线1115与XZ平面平行，而在Y轴的坐标a中，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。
第2图像成像部1120的第2成像线1125与XZ平面平行，而在Y轴的支点a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。
参照图11的下端，第3图像成像部1130的第3成像线1135与XZ平面平行，而在Y轴的坐标b上，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。b为小于a的值。第3图像成像部1130的第3成像线1135与XZ平面平行，注视与用户的视线相同地前面(例如，与XY平面垂直的方向)。
即，第1成像线1115及第2成像线1125以Y轴为基准而具有相同的高度，第3成像线1135以Y轴为基准而处于相对地比第1成像线及第2成像线低的位置。在图3中公开的第1成像线1115、第2成像线1125及第3成像线1135为具有相互不同特性的成像线的一个例示，定义各种成像线，并成像全方位图像。
图12为显示本发明实施例的多个图像成像部的成像线的概念图。
在图12中，表示与图11不同的多个图像成像部的成像线。同样地，在图4中，假设地面与X轴和Z轴构成的XZ平面平行。
图12的上端表示第1图像成像部1210及第2图像成像部1220的成像线。
第1图像成像部1210及第2图像成像部1220处于相对地高于第3图像成像部1230的位置。同样地，对于假定用户所处的方向为Y轴方向的情况，挂于颈部的可穿戴设备的结构上的全方位图像成像设备以相对提升具有第1图像成像部1210及第2图像成像部1220所处的曲率的部分(U字中曲线部分)，且第3图像成像部1230所处的腿的部分(U字中末端部分)相对下移的形式而对图像进行成像。
例如，第1图像成像部1210的第1成像线1215与XZ平面平行，而Y轴的坐标a上，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。第2图像成像部1220的第2成像线1225与XZ平面平行，而在Y轴的坐标a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。
图12的下端表示第3图像成像部1230的成像线。
第3图像成像部1230的第3成像线1235未与XZ平面平行，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
第3图像成像部1230位于全方位图像处理装置的末端部，由此，成像线未与XZ平面平行，并与XZ平面具有特定角度(例如，0～30度)。
即，第1成像线1215及第2成像线1225以Y轴为基准而具有相同的高度，第3成像线1235以Y轴为基准而处于相对地低于第1成像线1215及第2成像线1225位置。并且，第1成像线1215及第2成像线1225与XZ平面平行，但第3成像线1235未与XZ平面平行。
作为本发明的另一实施例，例如，第1图像成像部的第1成像线与XZ平面构成第1’角度，并将Y轴的坐标a作为起点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，第2图像成像部的第2成像线与XZ平面构成第1’角度，将Y轴的坐标a作为起点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。第3图像成像部的第3成像线与XZ平面构成第2’角度，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
通过本发明的又一实施例，例如，第1图像成像部的第1成像线与XZ平面构成第1’角度，将Y轴的坐标a作为起点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，第2图像成像部的第2成像线与XZ平面构成第2’角度，将Y轴的坐标a作为起点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。第3图像成像部的第3成像线与XZ平面构成第3’角度，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
即，多个图像成像部各自的成像线与在现有的相同的Y轴支点上，具有与地面相同的角度的图像处理设备不同，本发明实施例的全方位图像处理装置的多个图像成像部各自的成像线处于相互不同的Y轴支点上，并具有与地面(或XZ平面)相互不同的角度。
以上说明的本发明实施例能够以通过各种计算机构成要素而执行的程序指令的方式实现并记录于计算机可读记录介质中。所述计算机可读记录介质能够将程序指令、数据文件、数据结构等单独或组合而包括。记录于所述计算机可读记录介质的程序指令可以是为本发明而专门设计并构成的程序指令，或者可以是计算机软件领域的技术人员所公知而能够使用的程序指令。在计算机可读记录介质的例子中包括如硬盘、软盘以及磁带那样的磁介质、如CD-ROM和DVD那样的光学记录介质、如光磁软盘(floptical disk)那样的磁光介质(magneto-optical medium)以及如ROM、RAM、快闪存储器等那样的存储并执行程序指令地专门构成的硬件设备。在程序指令的例子中不仅包括诸如由编译器生成的机器语言代码还包括使用编译器等而通过计算机能够执行的高级语言代码。硬件设备能够变更为一个以上的软件模块以执行根据本发明的处理，反之亦然。
以上通过诸如具体构成要素等的特定事项和有限的实施例以及附图说明了本发明，但这只是为了有助于更全面地理解本发明而提供，本发明并不限定于所述实施例，本领域技术人员通过这些记载能够进行各种修改和变更。
因此，本发明的思想不得由上面所说明的实施例所限定，不仅是所附的权利要求书，与该权利要求书等同或由此等价地变更的所有范围均属于本发明的思想的范畴。

Claims (11)

1.一种基于图像的交易方法，其特征在于，包括如下步骤：
由商品交易服务用服务器从图像处理装置接收卖场图像信息；
由所述商品交易服务用服务器基于所述卖场图像信息而生成用户用信息；以及
由所述商品交易服务用服务器将所述用户用信息传输至用户装置，
其中，所述用户用信息包括用户用图像信息和控制信息。
2.根据权利要求1所述的基于图像的交易方法，其特征在于，
所述用户用图像信息通过对于所述卖场图像信息的后处理而生成，
所述控制信息包括移动控制信息和交易控制信息，
所述移动控制信息包括用户在基于所述用户用图像信息而输出的虚拟卖场空间进行虚拟移动所需的控制信息，
所述交易控制信息包括用来对位于所述虚拟卖场空间的商品进行交易的控制信息。
3.根据权利要求2所述的基于图像的交易方法，其特征在于，
所述移动控制信息向所述用户装置输出移动用用户界面，并输出与向所述移动用用户界面输入的用户输入信息对应的用户用图像信息，
所述交易控制信息向所述用户装置输出交易用用户界面，并提供与向所述交易用用户界面输入的用户输入信息对应的商品信息。
4.根据权利要求3所述的基于图像的交易方法，其特征在于，
所述移动用用户界面在所设定的分支点上输出，
当所述商品的位置与由所述虚拟移动所确定的虚拟位置之间的距离为临界距离以下时，提供所述交易用用户界面。
5.根据权利要求4所述的基于图像的交易方法，其特征在于，
所述卖场图像信息是由所述图像处理装置所拍摄的关于卖场的全方位图像，
所述用户装置能够进行对于所述全方位图像的输出，且将用户的手的动作作为所述用户输入信息进行识别。
6.一种商品交易服务用服务器，用于进行基于图像的交易，其特征在于，包括：
通信部，其用于与图像处理装置以及用户装置进行数据通信；以及
处理器，其可操作地连接在所述通信部，
其中，所述处理器从所述图像处理装置接收卖场图像信息，并基于所述卖场图像信息而生成用户用信息，且将所述用户用信息传输至用户装置，
所述用户用信息包括用户用图像信息和控制信息。
7.根据权利要求6所述的商品交易服务用服务器，其特征在于，
所述用户用图像信息通过对于所述卖场图像信息的后处理而生成，
所述控制信息包括移动控制信息和交易控制信息，
所述移动控制信息包括用户在基于所述用户用图像信息而输出的虚拟卖场空间进行虚拟移动所需的控制信息，
所述交易控制信息包括用来对位于所述虚拟卖场空间的商品进行交易的控制信息。
8.根据权利要求7所述的商品交易服务用服务器，其特征在于，
所述移动控制信息向所述用户装置输出移动用用户界面，并输出与向所述移动用用户界面输入的用户输入信息对应的用户用图像信息，
所述交易控制信息向所述用户装置上输出交易用用户界面，并提供与向所述交易用用户界面输入的用户输入信息对应的商品信息。
9.根据权利要求8所述的商品交易服务用服务器，其特征在于，
所述移动用用户界面在所设定的分支点上输出，
当所述商品的位置与由所述虚拟移动所确定的虚拟位置之间的距离为临界距离以下时，提供所述交易用用户界面。
10.根据权利要求9所述的商品交易服务用服务器，其特征在于，
所述卖场图像信息是由所述图像处理装置所拍摄的关于卖场的全方位图像，
所述用户装置能够进行对于所述全方位图像的输出，且将用户的手的动作作为所述用户输入信息进行识别。
11.一种计算机可读记录介质，其特征在于，
记录有用于执行权利要求1至5中任一项所述的方法的计算机程序。
CN201780088845.2A 2017-03-31 2017-06-19 基于图像的交易方法及执行这种方法的装置 Withdrawn CN110462666A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20170041324 2017-03-31
KR10-2017-0041324 2017-03-31
KR10-2017-0045614 2017-04-08
KR1020170045614A KR101843335B1 (ko) 2017-03-31 2017-04-08 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
PCT/KR2017/006421 WO2018182092A1 (ko) 2017-03-31 2017-06-19 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
CN110462666A true CN110462666A (zh) 2019-11-15

Family

ID=61907154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088845.2A Withdrawn CN110462666A (zh) 2017-03-31 2017-06-19 基于图像的交易方法及执行这种方法的装置

Country Status (6)

Country Link
US (1) US20210118229A1 (zh)
EP (1) EP3605428A4 (zh)
JP (1) JP2020511725A (zh)
KR (2) KR101843335B1 (zh)
CN (1) CN110462666A (zh)
WO (1) WO2018182092A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102101382B1 (ko) * 2018-08-09 2020-04-22 링크플로우 주식회사 영상 공유 방법 및 장치
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치
KR102336264B1 (ko) * 2019-07-03 2021-12-09 인하대학교 산학협력단 매장 내 자동 결제 방법, 시스템 및 프로그램
KR102148379B1 (ko) * 2019-07-24 2020-08-26 신용강 원격 의류매장 서비스 방법
KR102181648B1 (ko) * 2020-08-20 2020-11-24 신용강 원격 의류매장 플랫폼 제공 방법 및 장치
JP7445708B2 (ja) 2022-06-29 2024-03-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030469A (ja) * 2001-07-16 2003-01-31 Ricoh Co Ltd 仮想現実空間を利用したバーチャルデパートによる商品販売システム、商品販売システム、プログラム、及び記録媒体
US20030133008A1 (en) * 1999-02-02 2003-07-17 Stanley W. Stephenson Wearable panoramic imager
US20100205043A1 (en) * 2006-12-30 2010-08-12 Red Dot Square Solutions Limited Virtual reality system including smart objects
US20120223943A1 (en) * 2011-03-01 2012-09-06 Joshua Allen Williams Displaying data for a physical retail environment on a virtual illustration of the physical retail environment
US20140095349A1 (en) * 2012-09-14 2014-04-03 James L. Mabrey System and Method for Facilitating Social E-Commerce
KR20150022064A (ko) * 2013-08-21 2015-03-04 (주)인스페이스 미러월드 기반 인터랙티브 온라인 쇼핑몰 제품의 판매 지원 시스템
CN105913277A (zh) * 2015-08-18 2016-08-31 金荣德 基于增强现实的购物信息提供系统及其控制方法
EP3062281A1 (en) * 2015-02-26 2016-08-31 Staging Design Inc. Virtual shopping system and method utilizing virtual reality and augmented reality technology

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2403006A1 (en) * 2000-03-10 2001-09-20 Tal Kerret Natural user interface for virtual reality shopping systems
JP2001256364A (ja) * 2000-03-13 2001-09-21 Kenichi Omae 購買端末、記録媒体、購買方法、販売サーバ及び販売方法
KR100367183B1 (ko) * 2000-04-25 2003-01-09 이젠펌 주식회사 인터넷 쇼핑몰 구성 및 서비스 방법
KR20040011056A (ko) * 2002-07-27 2004-02-05 (주)샵에프엔 3차원 가상현실 쇼핑몰 운영 시스템 및 상품 배치방법
JP2007122248A (ja) * 2005-10-26 2007-05-17 D Net:Kk 電子ショッピングシステム
KR20090041192A (ko) * 2007-10-23 2009-04-28 에스케이 텔레콤주식회사 가상의 쇼핑 공간을 제공하는 방법, 시스템 및 서버
JP2012190094A (ja) * 2011-03-09 2012-10-04 Sony Corp サーバ装置、情報処理方法及びプログラム
US9836747B2 (en) * 2011-06-21 2017-12-05 Simon Borrero System and method for shopping goods, virtualizing a personalized storefront
JP2015170266A (ja) * 2014-03-10 2015-09-28 株式会社ゼンリンデータコム 施設内案内システム、施設内案内サーバー装置、施設内案内方法および施設内案内プログラム
KR20170031722A (ko) * 2014-07-07 2017-03-21 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 방법
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101613287B1 (ko) * 2015-06-15 2016-04-19 김영덕 3d 파노라마 영상을 근거로 한 여행지 원스톱 쇼핑 시스템 및 그의 제어 방법
KR20170027135A (ko) * 2015-09-01 2017-03-09 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101715828B1 (ko) * 2016-08-24 2017-03-14 주식회사 팝스라인 단말 및 그의 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133008A1 (en) * 1999-02-02 2003-07-17 Stanley W. Stephenson Wearable panoramic imager
JP2003030469A (ja) * 2001-07-16 2003-01-31 Ricoh Co Ltd 仮想現実空間を利用したバーチャルデパートによる商品販売システム、商品販売システム、プログラム、及び記録媒体
US20100205043A1 (en) * 2006-12-30 2010-08-12 Red Dot Square Solutions Limited Virtual reality system including smart objects
US20120223943A1 (en) * 2011-03-01 2012-09-06 Joshua Allen Williams Displaying data for a physical retail environment on a virtual illustration of the physical retail environment
US20140095349A1 (en) * 2012-09-14 2014-04-03 James L. Mabrey System and Method for Facilitating Social E-Commerce
KR20150022064A (ko) * 2013-08-21 2015-03-04 (주)인스페이스 미러월드 기반 인터랙티브 온라인 쇼핑몰 제품의 판매 지원 시스템
EP3062281A1 (en) * 2015-02-26 2016-08-31 Staging Design Inc. Virtual shopping system and method utilizing virtual reality and augmented reality technology
CN105913277A (zh) * 2015-08-18 2016-08-31 金荣德 基于增强现实的购物信息提供系统及其控制方法

Also Published As

Publication number Publication date
JP2020511725A (ja) 2020-04-16
KR20180111536A (ko) 2018-10-11
US20210118229A1 (en) 2021-04-22
EP3605428A4 (en) 2020-04-15
EP3605428A1 (en) 2020-02-05
KR102206133B1 (ko) 2021-01-22
KR101843335B1 (ko) 2018-03-29
WO2018182092A1 (ko) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110462666A (zh) 基于图像的交易方法及执行这种方法的装置
JP7182652B2 (ja) 購入のための拡張現実デバイス、システムおよび方法
Cruz et al. An augmented reality application for improving shopping experience in large retail stores
JP6823023B2 (ja) 仮想プラノグラム管理、システム及び方法
JP6869345B2 (ja) 注文情報決定方法および装置
US10133933B1 (en) Item put and take detection using image recognition
US10474988B2 (en) Predicting inventory events using foreground/background processing
CN107507017A (zh) 一种线下导购方法和装置
CN108230086B (zh) 一种商品售卖调整的方法及存储介质
US20210287274A1 (en) Methods and systems for a all-in-one personal fashion coaching and assistance using artificial intelligence and peer-to-peer network databases
US11587149B2 (en) Associating shoppers together
CN108573293B (zh) 一种基于增强现实技术的无人超市购物协助方法及系统
US20220101420A1 (en) Computer-implemented methods and system for customized interactive image collection based on customer data
CN107742365A (zh) 无人智能售卖方法以及无人智能售卖系统
US20220092597A1 (en) Frictionless and unassisted return processing
KR20220087442A (ko) 증강 현실 컴퓨터 기술을 사용한 리스팅들의 생성의 자동화
CN110322262B (zh) 门店信息处理方法、装置及门店系统
US11854068B2 (en) Frictionless inquiry processing
Nguyen et al. When AI meets store layout design: a review
Vučenović Internet of Things as innovative technology in retailing
US11244382B1 (en) Computer-implemented method and system for auto-generation of multi-merchant interactive image collection
US11562192B2 (en) Nano-code-based reporting and authentication systems
Stoica The role of technological innovationin merchandising
Sridevi et al. Augmented Reality Shopping and IoT-Enabled Virtual Try-On with Cloud Services for Interactive Product Displays
KR20240021728A (ko) 마이데이터 기반의 ar 프로모션 제공 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191115

WW01 Invention patent application withdrawn after publication