CN112655028A - 显示装置、方法及程序 - Google Patents

显示装置、方法及程序 Download PDF

Info

Publication number
CN112655028A
CN112655028A CN201980057585.1A CN201980057585A CN112655028A CN 112655028 A CN112655028 A CN 112655028A CN 201980057585 A CN201980057585 A CN 201980057585A CN 112655028 A CN112655028 A CN 112655028A
Authority
CN
China
Prior art keywords
virtual
room
real space
placement
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980057585.1A
Other languages
English (en)
Inventor
板垣和幸
狩野乔俊
大关诚
林伸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112655028A publication Critical patent/CN112655028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Architecture (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明通过在虚拟空间中排除因现实中配置在室内的对象引起的配置研究物品的布局限制，向用户提出该配置研究物品的吸引力或价值。关于可动物品对象(OBJ2)，即使配置在与房间图像中的可动物品的原始位置相对应的虚拟初始房间空间，也不会干扰商品对象(IT)的位置。因此，与房间图像中的可动物品(OBJ2)的原始位置相对应的坐标(x2，y2，z2)确定为对象(OBJ2)的配置。另一方面，关于可动物品对象(OBJ1)，若配置在与房间图像中的可动物品的原始位置相对应的虚拟初始房间空间，则会干扰商品对象(IT)的位置(即，对象图像彼此重叠)。因此，不给出可动物品对象(OBJ1)的坐标，被移除的状态确定为对象(OBJ1)的配置。

Description

显示装置、方法及程序
技术领域
本发明涉及一种显示装置、方法及程序，尤其涉及一种用于向用户提示在房间空间内虚拟地配置了物品的状态的显示装置、方法及程序。
背景技术
以往，存在将家具等物品虚拟地配置在房间空间内来提示给用户的技术。
专利文献1中，记载有如下内容，即，可以对房间内进行三维测定来生成三维模型化的虚拟空间，并进行在虚拟空间配置家具等其他物品的布局模拟。
专利文献2中记载有如下内容，将家庭中不存在的设备选为购买预定设备，用户能够利用鼠标在虚拟家庭画面移动购买设备的候选位置。
专利文献3中，记载有如下内容，即，将存在于虚拟房间的家具设为如图像捕获那样的逼真(photo-realistic)的描绘还是设为与其类似的描绘，在该描绘中包括装置的激活/非激活状态。
以往技术文献
专利文献
专利文献1：日本特开2015-165420号公报
专利文献2：日本特开2003-085356号公报
专利文献3：日本特表2017-519259号公报
发明内容
发明要解决的技术课题
在研究购买家具、家电、室内装饰等放置在室内的物品时，通过将表示这些物品的虚拟对象配置在虚拟的室内空间并提示给用户，用户能够预先确认将物品配置在房间时的氛围或者有无协调性、或是否适合房间的尺寸或者空间。
然而，以往技术中，由于现实中配置在室内的对象，购买研究物品的配置空间的确保受阻，无法提出使购买研究物品所具有的原本的吸引力或价值最大化的配置。
本发明是鉴于这种问题点而完成的，其目的在于提供一种通过在虚拟空间内排除因现实中配置在室内的对象引起的配置研究物品的布局限制，能够向用户提出该配置研究物品的吸引力或价值的显示装置、方法及程序。
用于解决技术课题的手段
本发明的第1方式所涉及的显示装置具备：图像获取部，获取拍摄房间内部而得的图像；测量部，根据由图像获取部获取的图像测量房间的空间信息；配置研究物品选择部，使用户选择打算研究在房间中新配置的物品即配置研究物品；生成部，根据图像和空间信息，生成虚拟房间空间、虚拟实空间对象及虚拟配置研究物品对象，所述虚拟房间空间为虚拟地表现出房间的内部的空间，所述虚拟实空间对象虚拟地表现出配置在房间的1个以上的物品，所述虚拟配置研究物品对象在虚拟房间空间中虚拟地表现出通过配置研究物品选择部使用户选择出的配置研究物品；配置部，确定虚拟房间空间中的虚拟配置研究物品对象的最佳配置，且确定虚拟房间空间中的虚拟实空间对象的配置；及显示控制部，将通过配置部配置了虚拟实空间对象和虚拟配置研究物品对象的虚拟房间空间显示于显示部，即使在虚拟实空间对象初始位置配置虚拟实空间对象，也不会干扰虚拟配置研究物品对象的最佳配置时，配置部在虚拟实空间对象初始位置配置虚拟实空间对象，若在虚拟实空间对象初始位置配置虚拟实空间对象则会干扰虚拟配置研究物品对象的最佳配置时，配置部从虚拟实空间对象初始位置移动虚拟实空间对象，所述虚拟实空间对象初始位置为与配置在房间的1个以上的物品在房间中的位置相对应的虚拟房间空间的位置。
本发明的第2方式所涉及的显示装置中，可如下，即，若在虚拟实空间对象初始位置配置虚拟实空间对象则会干扰虚拟配置研究物品对象的最佳配置时，配置部使虚拟实空间对象移动到虚拟房间空间外。
本发明的第3方式所涉及的显示装置中，可如下，即，在虚拟实空间对象移动到虚拟房间空间外时，显示控制部并不将所移动的虚拟实空间对象显示于显示部。
本发明的第4方式所涉及的显示装置中，可如下，即，若在虚拟实空间对象初始位置配置虚拟实空间对象则会干扰虚拟配置研究物品对象的最佳配置时，配置部在虚拟房间空间内移动虚拟实空间对象。
本发明的第5方式所涉及的显示装置中，可如下，即，显示控制部将由显示部显示的虚拟房间空间中的虚拟实空间对象显示于除了虚拟配置研究物品对象的显示位置的由用户任意地指示的位置，且在由用户任意地指示的位置为虚拟房间空间外时，显示控制部并不将虚拟实空间对象显示于显示部。
本发明的第6方式所涉及的显示装置可如下，即，其具备：物品数据库，为了由配置研究物品选择部使用户选择配置研究物品为存储有与1个以上的物品相关的信息，配置研究物品选择部使用户从存储于物品数据库的1个以上的物品信息中选择任意的1个以上的物品信息。
本发明的第7方式所涉及的显示装置中，可如下，即，与物品相关的信息包括与虚拟房间空间中的物品的最佳布局相关的信息，显示控制部根据与使用户选择的配置研究物品的最佳布局相关的信息，确定虚拟房间空间中的虚拟配置研究物品对象初始位置，并显示于虚拟配置研究物品对象初始位置。
本发明的第8方式所涉及的显示装置中，可如下，即，物品数据库存储与1个以上的配置研究物品相对应的虚拟配置研究物品对象，生成部通过从物品数据库提取与用户选择的配置研究物品相对应的虚拟配置研究物品对象来生成虚拟配置研究物品对象。
本发明的第9方式所涉及的显示装置中，可如下，即，生成部根据图像中包含的1个以上的物品的被摄体像，生成与配置在房间的1个以上的物品相对应的虚拟实空间对象。
本发明的第10方式所涉及的显示装置可如下，即，具备：对象数据库，存储与1个以上的物品相对应的虚拟实空间对象，生成部通过从对象数据库提取与配置在房间的1个以上的物品相对应的虚拟实空间对象来生成虚拟实空间对象。
本发明的第11方式所涉及的显示装置中，可如下，即，虚拟房间空间包括墙壁、地板及天花板。
本发明的第12方式所涉及的显示装置中，可如下，即，配置在房间的1个以上的物品包括窗、窗帘及家具中的至少1个。
本发明的第13方式所涉及的显示装置中，可如下，即，配置研究物品包括能够通过电子商务购买的商品。
本发明的第14方式所涉及的显示方法中，由计算机执行如下步骤：获取拍摄房间内部而得的图像的步骤；从所获取的图像测量房间的空间信息的步骤；使用户选择打算研究在房间中新配置的物品即配置研究物品的步骤；根据图像和空间信息，生成虚拟房间空间、虚拟实空间对象及虚拟配置研究物品对象的步骤，所述虚拟房间空间为虚拟地表现出房间内部的空间，所述虚拟实空间对象虚拟地表现出配置在房间的1个以上的物品，所述虚拟配置研究物品对象在虚拟房间空间中虚拟地表现出使用户选择的配置研究物品；确定虚拟房间空间中的虚拟配置研究物品对象的最佳配置，且确定虚拟房间空间中的虚拟实空间对象的配置的步骤；及显示配置了虚拟实空间对象和虚拟配置研究物品对象的虚拟房间空间的步骤，所示显示方法中，即使在虚拟实空间对象初始位置配置虚拟实空间对象，也不会干扰虚拟配置研究物品对象的最佳配置时，在虚拟实空间对象初始位置配置虚拟实空间对象，若在虚拟实空间对象初始位置配置虚拟实空间对象则会干扰虚拟配置研究物品对象的最佳配置时，从虚拟实空间对象初始位置移动虚拟实空间对象，所述虚拟实空间对象初始位置为与配置在房间的1个以上的物品在房间中的位置相对应的虚拟房间空间的位置。
本发明的第15方式包括显示程序，其用于使计算机执行第14方式所涉及的显示方法。
发明效果
根据该发明，在确定用户所选择的物品的最佳配置时，能够从虚拟房间空间删除妨碍该物品的配置的实空间的对象。因此，研究在房间中新配置用户打算购买的商品等时，能够向用户传递商品所具有的比房间现有物品更大的吸引力或价值，能够减少商品的销售机会的损失。并且，能够实现包括以后打算购买的商品在内的房间的综合搭配，还能够实现相关商品的交叉销售。
附图说明
图1是图像处理装置100的框结构图。
图2是表示存储于对象数据库的信息的一例的图。
图3是表示存储于商品数据库的信息的一例的图。
图4是包括布局提示处理在内的显示方法的流程图。
图5是表示从房间图像测定的配置物品的实空间对象OBJ1-1、OBJ1-2及OBJ1-3的一例的图。
图6是表示从房间图像测量的房间空间S1的尺寸即左右墙壁之间的宽度x1、天花板高度y1、深度z1的一例的图。
图7是表示房间空间S1内的配置物品在虚拟房间空间S2中的虚拟实空间对象OBJ2-1、OBJ2-2及OBJ2-3的图。
图8是表示根据用户的操作进行商品选择的商品选择画面的一例的图。
图9是详细地说明步骤S5的处理的流程图。
图10是表示虚拟房间空间S2的一例的图。
图11是表示由布局确定部17确定的所选择的商品对象IT的最佳配置的一例的图。
图12是表示可动物品的虚拟实空间对象OBJ2-2的配置的确定的一例的图。
图13是表示产生了不干扰商品的虚拟配置研究物品对象IT的位置的空间V2的一例的图。
图14是表示将已移除的可动物品的虚拟实空间对象OBJ2-1、OBJ2-2配置于空间V2的一例的图。
具体实施方式
图1是本发明的优选实施方式所涉及的图像处理装置100的框结构图。图像处理装置100具备图像获取部11、空间测量部(测量部)12、商品选择部(配置研究物品选择部)13、显示部14、显示控制部15、虚拟对象生成部(生成部)16、布局确定部(配置部)17、商品数据库(物品数据库)18、对象数据库19。图像获取部11、空间测量部12、商品选择部13、显示控制部15、虚拟对象生成部16、布局确定部17可以由1个或多个处理器构成。处理器包括CPU(中央处理器，Central Processing Unit)、ASIC(专用集成电路，Appl ication SpecificIntegrated Circuit)、GPU(图形处理单元，Graphics Processing Unit)等。显示部14由液晶显示器等显示装置构成。显示控制部15由显示驱动器IC(集成电路，IntegratedCircuit)等构成。商品数据库18及对象数据库19由硬盘装置、闪存等各种存储装置构成。
图像获取部11利用3D相机等获取空间信息的装置，获取用户拍摄房间内部而得的图像。3D相机是在双眼相机或单眼相机安装红外线传感器的装置，能够测定到对象物为止的距离。另外，3D相机还包括能够通过单眼相机和动作传感器的组合或者通过利用单眼相机获得的信息的分析来获得空间信息的装置。
空间测量部12根据由图像获取部11获取的图像测量房间的空间信息。例如，空间测量部12测量房间空间的尺寸即左右墙壁之间的宽度、天花板高度及深度。并且，空间测量部12测量配置在房间空间内的1个或多个物品的形状及位置坐标。
商品选择部13让用户选择打算在房间中研究新配置的物品即配置研究物品。例如，商品选择部13将用于将商品选择画面显示于显示部14的信号输出至显示控制部15，所述商品选择画面用于让用户从存储于商品数据库18的1个以上的物品信息中选择任意的1个以上的物品信息。
虚拟对象生成部16根据由图像获取部11获取的房间图像及由空间测量部12测量的空间信息，生成虚拟地表现出的房间空间和虚拟地表现出的对象。虚拟对象生成部16根据由图像获取部11获取的房间图像及由空间测量部12测量的空间信息，生成虚拟地表现出房间内部的空间即虚拟房间空间。另外，虚拟房间空间包括墙壁、地板及天花板。并且，虚拟对象生成部16生成在所拍摄的房间中虚拟地表现出现实中配置的1个以上的物品的虚拟实空间对象。虚拟对象生成部16根据由图像获取部11获取的房间图像中包含的1个以上的物品的被摄体像，生成与配置在房间的1个以上的物品相对应的虚拟实空间对象。虚拟对象生成部16通过从对象数据库19提取与配置在房间的1个以上的物品相对应的虚拟实空间对象来生成虚拟实空间对象。而且，虚拟对象生成部16生成在虚拟房间空间中虚拟地表现出通过商品选择部13让用户选择的配置研究物品的虚拟配置研究物品对象。虚拟对象生成部16通过从商品数据库18提取与用户选择的配置研究物品相对应的虚拟配置研究物品对象来生成虚拟配置研究物品对象。
布局确定部17在虚拟房间空间配置虚拟实空间对象及虚拟配置研究物品对象。例如，布局确定部17在虚拟房间空间中的虚拟配置研究物品对象的最佳位置配置虚拟配置研究物品对象。布局确定部17在与由图像获取部11获取的房间图像中的配置有物品的位置相对应的、虚拟房间空间中的位置(虚拟实空间对象初始位置)配置虚拟实空间对象。并且，例如，布局确定部17在由用户任意地指示的虚拟房间空间中的位置配置虚拟配置研究物品对象。
显示部14显示通过布局确定部17配置了虚拟实空间对象和虚拟配置研究物品对象的虚拟房间空间。
显示控制部15将由显示部14显示的虚拟房间空间中的虚拟实空间对象及虚拟配置研究物品对象从通过布局确定部17配置的位置移动到由用户任意地指示的位置。
商品数据库18为了由商品选择部13让用户选择配置研究物品而存储与1个以上的物品相关的信息。与物品相关的信息包括与虚拟房间空间中的物品的最佳布局相关的信息。并且，商品数据库18存储与1个以上的配置研究物品相对应的虚拟配置研究物品对象。
对象数据库19存储与1个以上的物品相对应的虚拟实空间对象。
图像处理装置100由智能手机、平板终端、数码相机等移动信息终端或个人计算机等构成。另外，用户用于拍摄房间内部的相机、商品数据库18及对象数据库19可以与图像处理装置100成一体，也可以分开。商品数据库18及对象数据库19也可以设置于其他个人计算机或服务器等，图像处理装置100能够经由网络进行访问。
图2表示存储于对象数据库19的信息的一例。对象数据库19为将能够在现实中配置在房间空间内的物品的物品名、对象ID(标识，identification)、虚拟地表示物品的对象(虚拟实空间对象)的图像数据等进行对应关联而存储的装置。并且，对象数据库19还能够进一步将实际配置在由空间测量部12测量的房间空间内的物品的位置坐标及表示该物品在房间内是否能够移动的移动可否标记建立对应关联而存储。
图3表示存储于商品数据库18的信息的一例。商品数据库18存储表示打算在房间中研究新配置的物品(配置研究物品)的商品ID、商品名、商品价格、商品的图像数据等。商品数据库18也可以设置于能够通过电子商务购买商品的网站等，图像处理装置100能够经由网络进行访问。
图4是表示由图像处理装置100执行的包括布局提示处理在内的显示方法的实施方式的流程图。用于使各种计算机(处理器)执行该处理的显示程序记录于ROM(只读存储器，Read Only Memory)、CD-ROM、硬盘装置等各种计算机(处理器)可读取的记录介质。
另外，在本说明书中，“购买”是指有偿受让，“商品”是指有偿转让的物品，但对于打算设置无偿转让的物品的房间空间，也可进行与商品相同的处理。
在步骤S1中，图像获取部11获取拍摄房间内部而得的图像(房间图像)。该房间图像为利用3D相机等拍摄的三维图像等。并且，房间空间是指此后打算新购买商品来设置的房间空间。
在步骤S2中，空间测量部12根据由图像获取部11获取的房间图像测量房间空间的尺寸以及现实中配置在房间空间内的1个或多个物品即配置物品的形状及位置坐标。图5表示从房间图像S测定的配置物品对象(实空间对象)OBJ1-1、OBJ1-2及OBJ1-3的一例。并且，图6表示从房间图像测量的房间空间S1的尺寸即左右墙壁之间的宽度x1、天花板高度y1、深度z1的一例。所测量的实空间对象OBJ1-1、OBJ1-2及OBJ1-3的位置坐标分别和物品名、对象ID、虚拟实空间对象的图像数据等建立对应关联而存储于对象数据库19。
在步骤S3中，作为生成部的一部分的虚拟对象生成部16根据对象数据库19生成虚拟房间空间S2中的对象(虚拟实空间对象)OBJ2-1、OBJ2-2及OBJ2-3(参考图7)，所述虚拟房间空间S2中的对象OBJ2-1、OBJ2-2及OBJ2-3与配置在由空间测量部12测定的房间空间S1内的1个或多个配置物品的实空间对象OBJ1-1、OBJ1-2及OBJ1-3的形状相对应。
例如，虚拟对象生成部16通过机械学习等，根据所测定的配置物品的形状等推断相当于该物品的物品(相同或类似的物品)的物品名。并且，虚拟对象生成部16从存储于对象数据库19的物品的对象数据一栏确定并提取包括与所推断的物品名相对应的物品的图像数据等的对象数据。所提取的对象数据包括虚拟实空间对象。
或者，虚拟对象生成部16也可以通过简化物品部分来生成配置物品的虚拟实空间对象，所述简化物品部分的操作包括对从图像测量的配置物品的被摄体像的颜色进行减色或以多边形对形状进行近似等。
图7表示与配置在房间空间S1内的配置物品的实空间对象OBJ1-1、OBJ1-2及OBJ1-3相对应而生成的虚拟实空间对象OBJ2-1、OBJ2-2及OBJ2-3。
在步骤S4中，商品选择部13根据用户的操作从商品数据库18选择任意的商品(配置研究物品)的商品名。图8是用户选择正在研究购买的商品的商品选择画面的一例。
在步骤S5中，作为配置部发挥作用的布局确定部17确定与在步骤S4中选择的商品相对应的虚拟配置研究物品对象在虚拟房间空间S2内的配置、与在房间空间S1内测定的配置物品相对应的虚拟实空间对象在虚拟房间空间S2内的配置。该处理的详细内容将在后面进行叙述。
在步骤S6中，显示控制部15根据由布局确定部17确定的配置，将虚拟房间空间S2显示于显示部14，所述虚拟房间空间S中配置有与所选择的商品名相对应的虚拟配置研究物品对象和与在房间空间S1内测定的配置物品相对应的虚拟实空间对象。
在步骤S7中，显示控制部15根据用户操作，将与所选择的商品名相对应的商品的虚拟配置研究物品对象和/或与1个或多个配置物品相对应的虚拟实空间对象的显示位置移动到虚拟房间空间S2内的任意位置。
图9是详细地说明步骤S5的处理的流程图。
在步骤S100中，布局确定部17判定可否移动各配置物品。例如，如图5，在房间空间S1内测量到配置物品的实空间对象OBJ1-1、OBJ1-2及OBJ1-3时，布局确定部17判定配置物品的实空间对象OBJ1-1、OBJ1-2及OBJ1-3的每一个可否物理移动。该判定也可以利用判定可否移动配置物品的机械学习算法或按每个物品种类预先定义有可否移动的参考表等进行。
在图5那样的房间空间S1中，配置物品的实空间对象OBJ1-1(即，花盆)和OBJ1-2(即，沙发(家具))判定为可移动，OBJ1-3(即，窗及窗帘的组合)判定为不可移动。各配置物品的可否移动的判定结果可以存储于对象数据库19。以下，将判定为可移动的配置物品称为可动物品，将判定为不可移动的配置物品称为不可动物品。
在步骤S101中，布局确定部17创建已从房间图像移除可动物品的虚拟的房间空间即虚拟房间空间S2。虚拟房间空间S2为将所测定的三维实空间即房间空间转换为通过三维CG(Computer Graphics：计算机图形学)表现的房间空间的坐标系而得的虚拟空间。
图10为虚拟房间空间S2的一例。图10所示的虚拟房间空间S2为如下房间空间的三维CG，即，仅存在与作为不可动物品的实空间对象OBJ1-3的形状相对应的虚拟实空间对象OBJ2-3，移除了与作为可动物品的实空间对象OBJ1-1及OBJ1-2的形状相对应的虚拟实空间对象OBJ2-1及OBJ2-2。布局确定部17将移除了可动物品的虚拟实空间对象OBJ2-1及OBJ2-2的部分识别为空闲空间V1。
在步骤S102中，布局确定部17在虚拟房间空间S2的空闲空间V1中确定在步骤S4中选择的商品的对象(虚拟配置研究物品对象)IT的最佳配置。即，布局确定部17确定在虚拟房间空间中最先显示虚拟配置研究物品对象的位置即虚拟配置研究物品对象初始位置。
图11表示由布局确定部17确定的、所选择的商品的虚拟配置研究物品对象IT的最佳配置的一例。图11中，作为商品的虚拟配置研究物品对象IT的最佳配置，距离地板的高度h为视线程度(例如，h＝y0＝150cm)，并且将不可动物品的虚拟实空间对象OBJ2-3的左端部至虚拟配置研究物品对象IT的右端为止的距离和左墙壁面WL至虚拟配置研究物品对象IT的左端为止的距离成为等距离d的坐标(x0，y0，z0)作为虚拟配置研究物品对象IT的中心。这些与最佳配置相关的信息可以作为商品数据库18内的项目而按每个商品ID存储。
在步骤S103中，布局确定部17在不干扰虚拟配置研究物品对象IT的最佳配置的范围内，确定与虚拟房间空间S2中的可动物品相对应的虚拟实空间对象的配置。
图12表示与可动物品相对应的虚拟实空间对象OBJ2-2的配置的确定的一例。该图12中，关于与作为可动物品的实空间对象OBJ1-2相对应的虚拟实空间对象OBJ2-2，即使配置在与房间图像S中的实空间对象OBJ1-2的位置相对应的虚拟房间空间S2的虚拟实空间对象初始位置(虚拟房间空间初始位置)，也不会干扰商品的虚拟配置研究物品对象IT的位置。因此，与房间图像S中的可动物品的实空间对象OBJ1-2的位置相对应的坐标(x2，y2，z2)确定为虚拟实空间对象OBJ2-2的配置。即使两者发生干扰，如果通过对与可动物品的实空间对象OBJ1-2的位置相对应的坐标进行数点量的微调就可消除干扰，则可以将微调后的位置确定为虚拟实空间对象OBJ2-2的配置。即，即使在虚拟实空间对象初始位置配置虚拟实空间对象OBJ2-2，也不会干扰虚拟配置研究物品对象IT的最佳配置时，布局确定部17在虚拟实空间对象初始位置配置虚拟实空间对象OBJ2-2，所述虚拟实空间对象初始位置为与配置在房间空间S1的1个以上的实空间对象OBJ1-2在房间空间S1中的位置相对应的虚拟房间空间S2的位置。
另一方面，关于可动物品的虚拟实空间对象OBJ2-1，若配置在与房间图像中的可动物品的原始位置相对应的虚拟实空间对象初始位置，则会干扰商品的虚拟配置研究物品对象IT的位置(即，虚拟实空间对象OBJ2-1和虚拟配置研究物品对象不会重叠)。因此，不给出可动物品的虚拟实空间对象OBJ2-1的坐标，被移除的状态确定为虚拟实空间对象OBJ2-1的配置。但是，即使两者发生干扰，如果通过对与虚拟实空间对象OBJ2-1的原始位置相对应的坐标进行微调就可消除干扰，则可以将微调后的位置确定为虚拟实空间对象OBJ2-1的配置。即，若在虚拟实空间对象初始位置配置虚拟实空间对象OBJ2-1则会干扰虚拟配置研究物品对象IT的最佳配置时，布局确定部17从虚拟实空间对象初始位置移动虚拟实空间对象OBJ2-1。尤其，若在虚拟实空间对象初始位置配置虚拟实空间对象OBJ2-1则会干扰虚拟配置研究物品对象IT的最佳配置时，布局确定部17使虚拟实空间对象OBJ2-1移动到虚拟房间空间S2外。或者，若在虚拟实空间对象初始位置配置虚拟实空间对象OBJ2-1则会干扰虚拟配置研究物品对象IT的最佳配置时，布局确定部17在虚拟房间空间S2内移动虚拟实空间对象OBJ2-1。在虚拟实空间对象OBJ2-1移动到虚拟房间空间S2外时，显示控制部15并不将所移动的虚拟实空间对象OBJ2-1显示于显示部14。
另外，如图13所示，在步骤S7中，通过用户的滑动操作，包括可动物品的虚拟实空间对象OBJ2-2的虚拟实空间对象初始位置在内的移动源位置变更为移动目标位置，其结果产生了不干扰商品的虚拟配置研究物品对象不的位置的空间V2时，可以如图14所示，将已移除的可动物品的虚拟实空间对象OBJ2-1配置于空间V2。可以从该状态，进一步根据用户指示变更商品的虚拟配置研究物品对象IT、可动物品的虚拟实空间对象OBJ2-1及OBJ2-2的配置坐标。并且，可以设为通过朝向画面外滑动虚拟实空间对象OBJ2-1或OBJ2-2，能够删除其存在或能够使已删除的虚拟实空间对象OBJ2-1或OBJ2-2再次返回虚拟房间空间S2。关于商品的虚拟配置研究物品对象IT，也能够通过用户的滑动操作任意地变更其位置。
如此，用户确定从商品数据库18任意地选择的商品在房间空间内的最佳配置时，能够从虚拟房间空间S2移除与会干扰该商品的最佳配置的房间空间内的现有物品的实空间对象OBJ1-1相对应的虚拟实空间对象OBJ2-1。因此，在用户研究在房间空间S1中新配置打算购买的商品时，能够消除房间空间S1中存在的物品(可动物品)的影响，从而向用户传递打算新购买的商品所具有的吸引力或价值，能够减少商品销售机会的损失。并且，能够实现包括以后打算购买的商品或房间空间内现有的物品在内的房间的综合搭配，还能够实现相关商品的交叉销售。
根据上述记载，能够掌握以下附记项1中记载的显示装置。
[附记项1]
一种显示装置，其具备处理器，
所述处理器获取拍摄房间内部而得的图像，
从所述获取的图像测量房间的空间信息，
让用户选择打算在所述房间中研究新配置的物品即配置研究物品，
根据所述图像和所述空间信息，生成虚拟房间空间、虚拟实空间对象及虚拟配置研究物品对象，所述虚拟房间空间为虚拟地表现出所述房间内部的空间，所述虚拟实空间对象虚拟地表现出配置在所述房间的1个以上的物品，所述虚拟配置研究物品对象在所述虚拟房间空间中虚拟地表现出通过所述配置研究物品选择部让用户选择的配置研究物品，
确定所述虚拟房间空间中的所述虚拟配置研究物品对象的最佳配置，且确定所述虚拟房间空间中的所述虚拟实空间对象的配置，
显示配置有所述虚拟实空间对象和所述虚拟配置研究物品对象的所述虚拟房间空间，
即使在虚拟实空间对象初始位置配置所述虚拟实空间对象，也不会干扰所述虚拟配置研究物品对象的最佳配置时，在所述虚拟实空间对象初始位置配置所述虚拟实空间对象，若在所述虚拟实空间对象初始位置配置所述虚拟实空间对象则会干扰所述虚拟配置研究物品对象的最佳配置时，从所述虚拟实空间对象初始位置移动所述虚拟实空间对象，所示虚拟实空间对象初始位置为与配置在所述房间的所述1个以上的物品在所述房间中的位置相对应的所述虚拟房间空间的位置。
符号说明
11-图像获取部，12-空间测量部，13-商品选择部，14-显示部，15-显示控制部，16-虚拟对象生成部，17-布局确定部，18-商品数据库，19-对象数据库，100-图像处理装置。

Claims (15)

1.一种显示装置，具备：
图像获取部，获取拍摄房间内部而得的图像；
测量部，根据由所述图像获取部获取的图像测量房间的空间信息；
配置研究物品选择部，使用户选择打算研究在所述房间中新配置的物品即配置研究物品；
生成部，根据所述图像和所述空间信息生成虚拟房间空间、虚拟实空间对象及虚拟配置研究物品对象，所述虚拟房间空间为虚拟地表现出所述房间内部的空间，所述虚拟实空间对象虚拟地表现出配置在所述房间的1个以上的物品，所述虚拟配置研究物品对象在所述虚拟房间空间中虚拟地表现出通过所述配置研究物品选择部使用户选择出的配置研究物品；
配置部，确定所述虚拟房间空间中的所述虚拟配置研究物品对象的最佳配置，且确定所述虚拟房间空间中的所述虚拟实空间对象的配置；及
显示控制部，将通过所述配置部配置了所述虚拟实空间对象和所述虚拟配置研究物品对象的所述虚拟房间空间显示于显示部，
即使在虚拟实空间对象初始位置配置所述虚拟实空间对象，也不会干扰所述虚拟配置研究物品对象的最佳配置时，所述配置部在所述虚拟实空间对象初始位置配置所述虚拟实空间对象，若在所述虚拟实空间对象初始位置配置所述虚拟实空间对象则会干扰所述虚拟配置研究物品对象的最佳配置时，所述配置部从所述虚拟实空间对象初始位置移动所述虚拟实空间对象，所述虚拟实空间对象初始位置为与配置在所述房间的所述1个以上的物品在所述房间中的位置相对应的所述虚拟房间空间的位置。
2.根据权利要求1所述的显示装置，其中，
若在所述虚拟实空间对象初始位置配置所述虚拟实空间对象则会干扰所述虚拟配置研究物品对象的最佳配置时，所述配置部使所述虚拟实空间对象移动到所述虚拟房间空间外。
3.根据权利要求2所述的显示装置，其中，
在所述虚拟实空间对象移动到所述虚拟房间空间外时，所述显示控制部并不将进行了移动的所述虚拟实空间对象显示于所述显示部。
4.根据权利要求1所述的显示装置，其中，
若在所述虚拟实空间对象初始位置配置所述虚拟实空间对象则会干扰所述虚拟配置研究物品对象的最佳配置时，所述配置部在所述虚拟房间空间内移动所述虚拟实空间对象。
5.根据权利要求1至4中任一项所述的显示装置，其中，
在将由所述显示部显示的所述虚拟房间空间中的所述虚拟实空间对象显示于除了所述虚拟配置研究物品对象的显示位置以外的由所述用户任意地指示的位置，且在由所述用户任意地指示的位置为所述虚拟房间空间外时，所述显示控制部并不将所述虚拟实空间对象显示于所述显示部。
6.根据权利要求1至5中任一项所述的显示装置，其中，
所述显示装置具备：
物品数据库，为了所述配置研究物品选择部使用户选择配置研究物品而存储有与1个以上的物品相关的信息，
所述配置研究物品选择部使用户从存储于所述物品数据库的1个以上的物品信息中选择任意的1个以上的物品信息。
7.根据权利要求6所述的显示装置，其中，
与所述物品相关的信息包括与所述虚拟房间空间中的物品的最佳布局相关的信息，
所述显示控制部根据与使用户选择出的配置研究物品的最佳布局相关的信息，确定所述虚拟房间空间中的虚拟配置研究物品对象初始位置，并显示于所述虚拟配置研究物品对象初始位置。
8.根据权利要求6或7所述的显示装置，其中，
所述物品数据库存储与1个以上的配置研究物品相对应的虚拟配置研究物品对象，
所述生成部通过从所述物品数据库提取与所述用户选择的配置研究物品相对应的虚拟配置研究物品对象来生成所述虚拟配置研究物品对象。
9.根据权利要求1至8中任一项所述的显示装置，其中，
所述生成部根据所述图像中包含的1个以上的物品的被摄体像，生成与配置在所述房间的1个以上的物品相对应的虚拟实空间对象。
10.根据权利要求1至9中任一项所述的显示装置，其中，
所述显示装置具备：
对象数据库，存储与1个以上的物品相对应的虚拟实空间对象，
所述生成部通过从所述对象数据库提取与配置在所述房间的1个以上的物品相对应的虚拟实空间对象来生成所述虚拟实空间对象。
11.根据权利要求1至10中任一项所述的显示装置，其中，
所述虚拟房间空间包括墙壁、地板及天花板。
12.根据权利要求1至11中任一项所述的显示装置，其中，
配置在所述房间的1个以上的物品包括窗、窗帘及家具中的至少1个。
13.根据权利要求1至12中任一项所述的显示装置，其中，
所述配置研究物品包括能够通过电子商务购买的商品。
14.一种显示方法，由计算机执行：
获取拍摄房间内部而得的图像的步骤；
从所述获取的图像测量房间的空间信息的步骤；
使用户选择打算研究在所述房间中新配置的物品即配置研究物品的步骤；
根据所述图像和所述空间信息生成虚拟房间空间、虚拟实空间对象及虚拟配置研究物品对象的步骤，所述虚拟房间空间为虚拟地表现出所述房间内部的空间，所述虚拟实空间对象虚拟地表现出配置在所述房间的1个以上的物品，所述虚拟配置研究物品对象在所述虚拟房间空间中虚拟地表现出使所述用户选择出的配置研究物品；
确定所述虚拟房间空间中的所述虚拟配置研究物品对象的最佳配置，且确定所述虚拟房间空间中的所述虚拟实空间对象的配置的步骤；及
显示配置了所述虚拟实空间对象和所述虚拟配置研究物品对象的所述虚拟房间空间的步骤，
在所述显示方法中，即使在虚拟实空间对象初始位置配置所述虚拟实空间对象，也不会干扰所述虚拟配置研究物品对象的最佳配置时，在所述虚拟实空间对象初始位置配置所述虚拟实空间对象，若在所述虚拟实空间对象初始位置配置所述虚拟实空间对象则会干扰所述虚拟配置研究物品对象的最佳配置时，从所述虚拟实空间对象初始位置移动所述虚拟实空间对象，所述虚拟实空间对象初始位置为与配置在所述房间的所述1个以上的物品在所述房间中的位置相对应的所述虚拟房间空间的位置。
15.一种显示程序，用于使计算机执行权利要求14所述的显示方法。
CN201980057585.1A 2018-09-10 2019-07-11 显示装置、方法及程序 Pending CN112655028A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018168944 2018-09-10
JP2018-168944 2018-09-10
PCT/JP2019/027466 WO2020054203A1 (ja) 2018-09-10 2019-07-11 表示装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
CN112655028A true CN112655028A (zh) 2021-04-13

Family

ID=69778582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057585.1A Pending CN112655028A (zh) 2018-09-10 2019-07-11 显示装置、方法及程序

Country Status (4)

Country Link
US (1) US20210165558A1 (zh)
JP (1) JP6991352B2 (zh)
CN (1) CN112655028A (zh)
WO (1) WO2020054203A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882648B (zh) * 2020-06-23 2022-04-22 北京城市网邻信息技术有限公司 一种家具的展示方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287511A1 (en) * 2007-09-25 2010-11-11 Metaio Gmbh Method and device for illustrating a virtual object in a real environment
US20140285522A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20150332509A1 (en) * 2014-05-13 2015-11-19 Spaceview Inc. Method for moving and aligning 3d objects in a plane within the 2d environment
JP2016197342A (ja) * 2015-04-03 2016-11-24 株式会社サイバーウォーカー 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法
US9965800B1 (en) * 2013-07-12 2018-05-08 Amazon Technologies, Inc. Display of an electronic representation of a physical object in a virtual environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8253731B2 (en) * 2006-11-27 2012-08-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
US9129404B1 (en) * 2012-09-13 2015-09-08 Amazon Technologies, Inc. Measuring physical objects and presenting virtual articles
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
KR102326700B1 (ko) * 2015-06-01 2021-11-16 엘지전자 주식회사 이동 단말기
US10706457B2 (en) * 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art
US10981060B1 (en) * 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
WO2019241772A1 (en) * 2018-06-15 2019-12-19 Google Llc Smart-home device placement and installation using augmented-reality visualizations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287511A1 (en) * 2007-09-25 2010-11-11 Metaio Gmbh Method and device for illustrating a virtual object in a real environment
US20140285522A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9965800B1 (en) * 2013-07-12 2018-05-08 Amazon Technologies, Inc. Display of an electronic representation of a physical object in a virtual environment
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20150332509A1 (en) * 2014-05-13 2015-11-19 Spaceview Inc. Method for moving and aligning 3d objects in a plane within the 2d environment
JP2016197342A (ja) * 2015-04-03 2016-11-24 株式会社サイバーウォーカー 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法

Also Published As

Publication number Publication date
US20210165558A1 (en) 2021-06-03
JPWO2020054203A1 (ja) 2021-09-16
WO2020054203A1 (ja) 2020-03-19
JP6991352B2 (ja) 2022-01-12

Similar Documents

Publication Publication Date Title
US10740960B2 (en) Virtual object placement for augmented reality
US20220319106A1 (en) Virtual interaction with three-dimensional indoor room imagery
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
US9286727B2 (en) System and method for presenting true product dimensions within an augmented real-world setting
US10628666B2 (en) Cloud server body scan data system
EP2786353B1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
US9524482B2 (en) Retail space planning system
US20180114264A1 (en) Systems and methods for contextual three-dimensional staging
US20120223943A1 (en) Displaying data for a physical retail environment on a virtual illustration of the physical retail environment
US9424689B2 (en) System,method,apparatus and computer readable non-transitory storage medium storing information processing program for providing an augmented reality technique
US20150006245A1 (en) Method, arrangement, and computer program product for coordinating video information with other measurements
JP6618700B2 (ja) 情報配信方法、情報配信プログラム及び情報配信装置
CN105446626A (zh) 基于增强现实技术的商品信息获取方法、系统及移动终端
JP6565639B2 (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
KR101977519B1 (ko) 실제 크기의 상호작용 오브젝트의 생성 및 디스플레이
US20140241586A1 (en) Information retaining medium and information processing system
US20210165558A1 (en) Display device, display method, and display program
JP5493026B1 (ja) 商品又はサービスの購入支援装置、購入支援方法及びプログラム
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
JP6409957B2 (ja) 店舗情報表示システム、装置、方法及びプログラム
US20090216659A1 (en) Method and System for Assisting Cutomers in Making Purchase Decisions
CN110475510A (zh) 获取对象的形状信息的方法及装置
JP2017102564A (ja) 表示制御プログラム、表示制御方法、及び表示制御装置
JP2015121892A (ja) 画像処理装置、画像処理方法
BG112622A (bg) Интерактивна система за компютърно-асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination