CN112685585A - 查询修改系统、检索系统以及存储介质 - Google Patents

查询修改系统、检索系统以及存储介质 Download PDF

Info

Publication number
CN112685585A
CN112685585A CN202010412232.3A CN202010412232A CN112685585A CN 112685585 A CN112685585 A CN 112685585A CN 202010412232 A CN202010412232 A CN 202010412232A CN 112685585 A CN112685585 A CN 112685585A
Authority
CN
China
Prior art keywords
query
query image
condition
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010412232.3A
Other languages
English (en)
Inventor
堀江大悟
安达真太郎
刘洋
山口聪之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN112685585A publication Critical patent/CN112685585A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供查询修改系统、检索系统以及存储介质。查询修改系统具有处理器，在由用户输入的第1查询图像中包含有与第1条件矛盾的部分的情况下，所述处理器根据该第1条件对该部分进行修改，生成第2查询图像，其中，所述第1条件是与检索对象关联的条件。

Description

查询修改系统、检索系统以及存储介质
技术领域
本发明涉及查询修改系统、检索系统以及存储介质。
背景技术
有在作为检索条件而输入图像(以下，称作“查询图像”)的情况下检索与查询图像关联的图像的技术。所关联的图像的代表例有与查询图像类似的图像。
现有技术文献
专利文献
专利文献1：日本特开2016-218578号公报
发明内容
发明要解决的课题
不过，查询图像是为了找出更接近用户的意象的图像而输入的，查询图像未必还满足与检索对象关联的条件。因此，若只使用从不满足条件的查询图像中提取的特征来执行检索，则有可能检索出对应于与和检索对象关联的条件矛盾的特征的图像。
本公开的非限定的实施方式的一方式涉及当存在与检索对象关联的条件时容易地检索满足条件的图像的技术。
用于解决课题的手段
[1]根据本公开的一方式，提供一种查询修改系统，其具有处理器，在由用户输入的第1查询图像中包含有与第1条件矛盾的部分的情况下，所述处理器根据该第1条件对该部分进行修改，生成第2查询图像，其中，该第1条件是与检索对象关联的条件。
[2]在[1]所涉及的查询修改系统中，所述第1条件也可以被用作检索查询。
[3]在[2]所涉及的查询修改系统中，所述第1条件也可以与从所述第1查询图像中提取的特征关联。
[4]在[1]所涉及的查询修改系统中，所述处理器也可以在对所述部分进行修改的情况下，维持所述第1查询图像中出现的所述部分以外的结构上的特征。
[5]在[4]所涉及的查询修改系统中，所述结构上的特征也可以按照所述第1查询图像中所包含的内容的种类来确定。
[6]在[4]所涉及的查询修改系统中，所述结构上的特征也可以按每个用户设定。
[7]在[1]或者[4]所涉及的查询修改系统中，所述处理器在与所述第1条件矛盾的所述部分满足预先规定的第2条件的情况下，也可以不对该部分进行修改。
[8]在[7]所涉及的查询修改系统中，所述第2条件也可以是与所述第1条件矛盾的所述部分对应于所述第1查询图像中出现的结构上的特征的条件。
[9]在[1]所涉及的查询修改系统中，所述处理器也可以在找到与所述第1条件矛盾的部分的情况下，在对所述第1查询图像进行修改之前，将该矛盾的部分的信息通知给用户。
[10]在[1]或者[9]所涉及的查询修改系统中，所述处理器也可以在对所述第1查询图像进行修改之前，向用户询问是否生成所述第2查询图像。
[11]在[1]或者[9]所涉及的查询修改系统中，在与所述第1条件矛盾的部分中包含从修改的对象中排除的部分的情况下，所述处理器也可以向用户询问与从该修改的对象中排除的部分关联的该第1条件的变更。
[12]在[1]所涉及的查询修改系统中，所述处理器在能够变更与所述矛盾对应的所述第1条件的情况下，也可以询问用户是否变更该第1条件。
[13]在[1]所涉及的查询修改系统中，所述处理器将所生成的所述第2查询图像提示给用户。
[14]在[13]所涉及的查询修改系统中，所述处理器也可以将所述第2查询图像和所述第1查询图像排列配置在同一画面上。
[15]在[14]所涉及的查询修改系统中，所述处理器也可以在所述第1查询图像以及所述第2查询图像这双方或者一方追加表示被修改的部位的标记。
[16]在[13]所涉及的查询修改系统中，所述处理器也可以在执行检索之前，向用户询问所生成的所述第2查询图像在检索中的使用。
[17]在[1]所涉及的查询修改系统中，所述第1条件也可以包含法令。
[18]在[17]所涉及的查询修改系统中，所述处理器在作为所述第1条件而用户的输入与所述法令矛盾的情况下，也可以以法令为优先。
[19]根据本公开的其他一方式，提供一种检索系统，其具有处理器，在由用户输入的第1查询图像中包含与第1条件矛盾的部分的情况下，所述处理器根据该第1条件对该部分进行修改，生成第2查询图像，并使用所生成的该第2查询图像而检索数据库，其中，该第1条件是与检索对象关联的条件。
[20]根据本公开的其他一方式，提供一种存储介质，其存储程序，所述程序使计算机执行如下功能：接受用户所输入的第1查询图像；以及在所述第1查询图像中包含与第1条件矛盾的部分的情况下，根据该第1条件对该部分进行修改并生成第2查询图像，其中，该第1条件是与检索对象关联的条件。
发明效果
根据[1]，当存在与检索对象关联的条件时，能够容易地检索满足条件的图像。
根据[2]，通过减少与检索对象关联的条件和查询图像之间的矛盾，能够容易地检索满足条件的图像。
根据[3]，能够容易地确定成为修改的对象的部分。
根据[4]，能够生成尽可能地维持了第1查询图像中所包含的用户的意图的第2查询图像。
根据[5]，能够生成维持了第1查询图像的结构上的特征的第2查询图像。
根据[6]，能够生成尽可能地维持了第1查询图像中所包含的用户的意图的第2查询图像。
根据[7]，即使是与条件矛盾的特征，也能够准备从修改的对象排除的例外。
根据[8]，在与条件矛盾的特征影响第1查询图像的结构上的印象的情况下，能够从修改的对象中排除。
根据[9]，能够预先通知用户在第1查询图像中存在与其他条件矛盾的部分。
根据[10]，能够以用户的指示为前提进行第1查询图像的修改。
根据[11]，能够根据用户的选择来变更条件。
根据[12]，能够根据用户的选择来变更第1条件。
根据[13]，能够容易地确认被修改的部分。
根据[14]，能够容易地确认修改内容。
根据[15]，能够使用户容易地确认修改内容。
根据[16]，能够在执行检索之前，使用户进行确认。
根据[17]，即使在满足用户的制约的情况下，当不满足法令时，也能够对查询图像进行修改。
根据[18]，能够预先减少因与法令之间的矛盾而重新检索的情况。
根据[19]，当存在与检索对象关联的条件时，能够容易地检索满足条件的图像。
根据[20]，当存在与检索对象关联的条件时，能够容易地检索满足条件的图像。
附图说明
图1是示出在实施方式中使用的图像检索系统的结构例的图。
图2是对生成数据库中记录的数据集的计算机的功能上的结构进行说明的图。
图3是对从数据库中检索与作为查询输入的图像类似或者关联的图像的检索服务器的功能上的结构进行说明的图。
图4是对从用户所操作的终端作为查询而输入的信息进行说明的图表。
图5是对通过特征提取部提取特征的提取例进行说明的图。
图6是对构成前处理部的功能结构的一例进行说明的图。
图7是对前处理部所执行的处理的一例进行说明的流程图。
图8是示出用于通知被确定的矛盾的画面的一例的图。
图9是示出用于判定可否变更前提信息的表的一例的图。
图10是示出表示修改后的查询图像的画面的例的图。
图11是示出表示修改后的查询图像的其他画面的例的图。
图12是示出表示修改后的查询图像的画面的例的图。
图13是对在查询图像中包含三层建筑的建筑物而在前提信息中指定的所在地只允许二层建筑的情况下的查询图像的修改的例进行说明的图。图13的(A)示出了修改前的查询图像，图13的(B)示出了修改后的查询图像。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
<实施方式>
以下，对设想策划工作室或设计工作室中的使用的图像检索系统进行说明。
在策划工作室等中储存有过去处理过的案件的记录。在此处的信息中，除了包含设计方案、设计图等图像之外，还包含来自客户的不满、事故的事例、公司内部评论的记录等文档。在本实施方式中说明的图像检索系统通过这些信息的活用来辅助设计业务的效率化。
＜系统结构＞
图1是示出在实施方式中使用的图像检索系统1的结构例的图。
图1所示的图像检索系统1由如下部分构成：检索与被输入的查询类似或者关联的图像的检索服务器10；存储有作为检索对象的图像的数据(以下，称作“图像数据”)的数据库(＝Data Base)20；输入查询的用户所操作的终端30；以及将它们连接成能够进行通信的网络40。另外，网络可以是局域网，也可以是因特网。图像检索系统1是检索系统的一例。
图1所示的检索服务器10具有：通过执行程序来执行检索等其他处理的处理器11；存储程序以及各种数据的存储装置12；实现与外部之间的通信的网络接口(＝Inter Face)13；以及将它们连接的总线等其他信号线14。
处理器11例如由CPU构成。存储装置12由如下部分构成：存储有例如BIOS(＝BasicInput Output System)等的ROM(＝Read Only Memory)；用作工作区域的RAM(＝RandomAccess Memory)；以及存储有基本程序或应用程序等的硬盘装置。不过，不妨碍ROM或RAM包含于处理器11的一部分。处理器11和存储装置12构成计算机。
在图1所示的数据库20中，除了记录有设计方案、设计图等图像之外，还记录有来自客户的不满、事故的事例、公司内部评论的记录等文档。将这些信息统称为“过去事例”。
在构成过去事例的各个信息中附带有检索用的标签。标签通过各个信息中所包含的特征量(以下，称作“特征”)的集合而获得。在本实施方式中，还将特征的集合称作数据集。
图1所示的终端30是所谓的计算机。终端30可以是台式电脑，也可以是笔记本电脑，或者也可以是智能手机或可穿戴终端等便携式计算机。在图1中，只示出了1台终端30，但是台数是任意的。
另外，检索服务器10无需为1台，也可以是协作的多台计算机。在本实施方式中，还将检索服务器10称作检索系统的一例。另外，检索服务器10还是查询修改系统的一例。
＜功能结构＞
图2是对生成数据库20中记录的数据集的计算机50的功能上的结构进行说明的图。
计算机50的硬件上的结构与图1所示的检索服务器10相同。即，在计算机50中设置有用于与处理器、存储装置、数据库20之间的通信的接口。
计算机50若从数据库20中读出过去事例，则在为了提取被分类为结构表达的特征(以下，称作“结构信息”)而准备的前处理部51中进行前处理，并将完成前处理的结果提供给结构信息提取部52。在图2的情况下，结构信息提取部52通过使用学习了各个特征的推导模型的推导来推导过去事例中所包含的1个或者多个特征，并将推导出的特征的集合作为过去事例中附带的数据集输出到数据库20。
在本实施方式的情况下，按照每个特征准备推导模型。推导模型事先通过机器学习等而生成。在图2中，将使用推导模型的推导称作AI(＝Artificial Intelligence)推导。
计算机50若从数据库20中读出过去事例，则在为了提取被分类为感性表达的特征(以下，称作“感性信息”)而准备的前处理部53中进行前处理，并将完成前处理的结果提供给感性信息提取部54。在本实施方式的情况下，感性信息是指不包含结构表达或者定量表达的特征。换句话说，感性信息是指包含定性表达或者主观上的表达的特征。
在图2的情况下，感性信息提取部54通过使用学习了感性信息的推导模型的推导来推导过去事例中所包含的1个或者多个感性信息，并将推导出的感性信息的集合作为过去事例中附带的数据集输出到数据库20。在本实施方式的情况下，按照每个感性信息准备推导模型。推导模型事先通过机器学习等而生成。
这样，在存储于数据库20的过去事例中，附带有属于结构信息以及感性信息中的双方或者一方的1个或者多个特征。
图3是对从数据库20中检索与作为查询而输入的图像(以下，称作“查询图像”)类似或者关联的图像的检索服务器10的功能上的结构进行说明的图。用户所输入的查询图像是第1查询图像的一例。
检索服务器10作为如下部件发挥功能：按照对象对查询图像进行分类的分类部101；对查询图像实施预先规定的处理的前处理部102；提取查询图像中所包含的特征量(以下，称作“特征”)的特征提取部103；对包含结构表达的文本(以下，称作“结构信息文本”)的表达上的差异进行修改的归一化部104；对包含感性表达的文本(以下，称作“感性信息文本”)的表达上的差异进行修改的归一化部105；对将构成结构信息文本或感性信息文本的字符串对应关联的特征进行分类的对应特征分类部106；对提供至检索引擎108的特征进行修改的特征修改部107；以及从数据库20中检索与修改后的特征之间的关联性较高的事例的检索引擎108。
这些功能通过由处理器11(参照图1)执行程序而实现。另外，检索服务器10中的除检索引擎108以外的结构是检索条件确定系统的一例。
本实施方式中的检索服务器10从终端30(参照图1)输入前提信息、图像信息、结构信息文本以及感性信息文本作为查询(以下，还称作“检索查询”)。
但是，这些4种信息无需全部作为查询输入。并且，在本实施方式的情况下，结构信息文本和感性信息文本无需明确地区分。实际上，不存在与用于输入文本的表达上的种类有关的制约。因而，用户能够在不区分两者的情况下，通过字符串输入对希望检索的过去事例的要求。
图4是对从用户所操作的终端30作为查询输入的信息进行说明的图表。
前提信息是用户所输入的查询中优先程度比其他查询高的结构信息或者定量信息。另外，在前提信息中还包含法令等。前提信息是与检索对象关联的条件的一例。不过，法令等无需由用户输入。
在本实施方式的情况下，将与建筑物相关的图像设为检索对象。
因此，前提信息例如通过住址、土地面积、用地条件、周边环境、物件的类别、预算、庭院的有无、车辆的有无、车库的有无、家庭成员的构成、家庭数而获得。物件的类别例如有高楼、公寓、独栋住宅。
图像信息是所谓的查询图像。图像信息例如通过手绘画、照片、传单、电脑绘图(＝Computer Graphics)而获得。在本实施方式的情况下，图像信息的优先程度比其他种类的查询低。
结构信息文本是包含结构表达的文本。结构信息文本例如有两个家庭住宅、步行10分钟、3LDK、木屋。
感性信息文本是包含感性表达的文本。感性信息文本例如有开放感、家庭成员的团聚、总体空间、木料的舒适感。
另外，还有不明确区分地输入结构信息文本和感性信息文本的情况。结构表达和感性表达混合存在的文本例如有“具有开放感的明亮的客厅”。“客厅”由于是能够明确地确定的名词，因此是结构表达，“开放感”或“明亮的”由于是表示感官状态的形容词，因此是感性表达。
返回到图3的说明。
分类部101按照对象对用户所输入的查询图像进行分类。在本实施方式的情况下，查询图像被分类为客厅的图像、厨房的图像以及外观的图像中的任一个。当然，分类对象的候补并不限于3种。其他候补例如有儿童房、卧室、浴室、卫生间、玄关、庭院等。分类部101将分类的结果作为各个查询图像的属性进行附加。
前处理部102对所输入的查询图像实施预先规定的处理。预先规定的处理例如有尺寸的调整、对比度的调整、边缘的强调、噪音的去除等。
此外，在图3所示的前处理部102中，作为前处理之一准备从查询图像中移除与其他条件矛盾的部分的功能。例如在前提信息中车库被指定为不必要而在查询图像中包含车库的情况下，前处理部102进行从查询图像中去除车库部分的修改。此处的“矛盾”以不同时成立或者不并存的含义使用。另外，在本实施方式中，还将矛盾的部分称作不匹配的部分。
不过，即使是与其他条件矛盾的部分，也有时从修改的对象中排除。在本实施方式方式的情况下，按照用户的指示来执行查询图像中的与已确定的其他条件矛盾的部分的修改以及向后段的输出。
特征提取部103通过与利用机器学习等而按照每个特征准备的推导模型之间的对照，提取查询图像中所包含的1个或者多个特征。
图5是对通过特征提取部103提取特征的提取例进行说明的图。在图5的情况下，作为特征，从作为查询图像输入的客厅的照片中提取“高天花板”、“高处的窗户”、“梯子”、“地板”、“木料的舒适感”、“开放的”、“吊扇”、“聚光灯”等。
返回到图3的说明。
归一化部104对用户作为查询输入的结构信息文本的表达上的差异进行修改。例如吸收字符种类的统一、拼写或标记的波动。
归一化部105对用户作为查询输入的感性信息文本的表达上的差异进行修改。并且，通过归一化部104还对每个人的表达的偏差进行修改。
对应特征分类部106对如下情况进行分类：构成结构信息文本或感性信息文本的字符串与结构特征对应，还是与感性特征对应，还是与结构特征以及感性特征这两者对应。
特征修改部107执行对提供至检索引擎108的特征进行修改的处理，以便容易地得到用户意图的检索结果。本实施方式中的特征修改部107去除所提取的特征之间的矛盾。例如，特征修改部107执行去除从查询图像中提取的特征中的与前提信息矛盾的特征的修改。并且，特征修改部107例如执行去除多个查询图像之间矛盾的特征的修改。
＜前处理部102的功能结构＞
在此，对前述的检索服务器10的功能结构中的由前处理部102执行的处理功能的细节进行说明。
图6是对构成前处理部102的功能结构的一例进行说明的图。
在图6所示的前处理部102设置有如下部分：对用户所输入的查询图像进行分析的图像分析部121；对作为与检索对象关联的条件的前提信息进行分析的前提信息分析部122；对图像分析部121的分析结果与前提信息分析部122的分析结果进行比较的比较部123；以及对通过比较结果而确定的矛盾进行修改的矛盾修改部124。
此处的前处理部102还是查询修改系统的一例。
本实施方式中的图像分析部121提取与查询图像中所包含的建筑物的结构相关的信息，并将所提取的信息输出到比较部123。建筑物是检索对象的一例。与建筑物的结构相关的信息是从第1查询图像中提取的特征的一例。
在本实施方式的情况下，作为与结构相关的信息，例如提取与建筑物的形状相关的信息、用地信息、周边环境、车库的有无、庭院的有无。与建筑物的形状相关的信息例如包含层数、屋顶的形状、窗户的比例、天花板高度的比率。
在本实施方式的情况下，层数是指平房、二层建筑、三层建筑等信息。但是，由于是从查询图像中以外观方式提取的层数，因此未必与实物的层数一致。
在本实施方式的情况下，屋顶的形状是指人字形屋顶、四坡屋顶、一面坡屋顶等信息。当然，除非查询图像是六面图，否则无法获知准确的屋顶的形状。
在本实施方式的情况下，窗户的比例是指窗户面积占建筑物的墙面面积的比例。即使比例尺等不明确，也能够计算窗户面积占墙面面积的比例。此外，还能够在与窗户相关的信息中提取窗户的数量。
在本实施方式的情况下，天花板的高度是指根据与映入或者描绘在查询图像中的其他物体的高度之间的比率设想出的高度。另外，还将具有超过预先规定的阈值的比率的天花板称作相对高的天花板，还将具有小于阈值的比率的天花板称作相对低的天花板。不过，也可以代替天花板的高度而提取层高。
此外，用地信息例如有土地面积、道路与用地之间的高低差。
并且，周边环境例如有住宅区、商业区、郊外。
另外，车库的有无表示在查询图像中有无设想用作车库的结构物或空间。另外，在有车库的情况下，还提取能够停在车库中的车辆的台数。当然，台数是估计值。
并且，庭院的有无是指与是否实际用作车库无关地在用地内视为庭院的空闲空间的有无。
并且，根据查询图像的内容，还有时能够提取1DK、2LDK、3LDK等房间布局。
本实施方式中的前提信息分析部122提取前提信息中所包含的信息，并将所提取的信息输出到比较部123。前提信息是第1条件的一例。
在本实施方式的情况下，由于对象物是建筑物，因此例如提取预算、土地面积、家庭成员的构成、用地条件、周边环境、车辆的有无、庭院的有无、住址等。由于这些信息由用户以文本方式输入，或者文本中附带用户的选择，因此按照项目提取。另外，在用户拥有车辆的情况下，还提取车辆的台数。
本实施方式中的比较部123对图像分析部121从查询图像中提取的信息以及前提信息分析部122从前提信息中提取的信息中的相互对应或者关联的信息进行比较。
不过，未必存在相互对应或者关联的信息。因而，比较部123中的比较是相互对应或者关联的信息存在于图像分析部121和前提信息分析部122这双方的情况。
另外，相互对应的信息是指所提取的信息表示的内容相同的情况。例如，从查询图像中提取的车库的有无与从前提信息中提取的车库的有无之间的关系是相互对应的信息的一例。此外，从前提信息中提取的土地面积与从查询图像中提取的用地面积的设想值之间的关系也是相互对应的信息的一例。
另一方面，相互关联的信息是指，即使表达上的项目或内容不同，也处于包含能够比较的信息的关系的情况。例如，前提信息的车辆的拥有台数与从查询图像中提取的停车场的容许台数之间的关系是相互关联的信息的一例。并且，从前提信息中提取的土地的有无以及所在地的信息与从查询图像中提取的层数的信息以及设想高度的信息之间的关系是相互关联的信息的一例。这是因为，若获知从前提信息中提取的土地的有无以及所在地的信息，则获知在相应的地区容许的法令上的层数的上限。此外，从前提信息中提取的预算和从查询图像中提取的房间布局信息也是相互关联的信息的一例。这是因为，只要获知房间布局信息，则能够估算建筑物的建造所需的费用。
本实施方式中的矛盾修改部124在相互对应或者关联的信息矛盾的情况下，执行从查询图像中移除矛盾的修改。
在相互对应或者关联的信息矛盾的情况下，例如有如下情况：在前提信息中期望平房，而查询图像为二层建筑的情况；在前提信息中所拥有的车辆的台数是3台，而查询图像能够停1台车辆的情况；以及在前提信息中指定的用地面积与根据查询图像估计的用地面积的估计值之差为预先规定的阈值以上的情况。此处的阈值可以作为初始值获得，也可以由用户设定。在本实施方式的情况下，阈值是在前提信息中指定的用地面积的20％。
移除矛盾的查询图像、即修改后的查询图像是第2查询图像的一例。
在本实施方式的情况下，在修改后的查询图像中尽可能地维持用户所输入的查询图像的结构上的特征。
具体地说，即使有与矛盾的部位关联的其他部分，矛盾修改部124也将与矛盾的部位关联的其他部分从修改的对象中排除。例如，在前提信息中指定的地区禁止三层建筑，但是在查询图像为三层建筑的建筑物的情况下，以留下查询图像的结构上的特征的方式确定修改内容。例如，在作为查询图像的结构上的特征提取了窗户的数量以及面积的情况下，对查询图像实施维持窗户的数量以及面积的修改。
本实施方式中的矛盾修改部124基本上实施从查询图像中移除矛盾的修改，但是在被确定的矛盾的部位对应于从查询图像中提取的结构上的特征的情况下，还有时将该部位从修改的对象中排除。
例如，在查询图像为二层建筑的情况下，即使在前提信息中指定了平房建筑，也不将查询图像修改为平房。并且，例如在查询图像的建筑物的屋顶的形状为三角形状的情况下，即使在前提信息中指定了平屋顶，也不将查询图像修改为平屋顶。
这是因为，任一特征均为查询图像的结构上的特征，若对该特征进行修改，则导致查询图像的印象大幅改变。换句话说，这是因为，通过修改而失去用户所意图的特征的可能性变高。
然而，消除矛盾的方法并不限于查询图像的修改。例如，通过对前提信息进行修改，也能够消除矛盾。
因此，在本实施方式中的矛盾修改部124中还准备了如下功能：在能够变更与矛盾关联的前提信息的情况下，询问用户前提信息的变更。当然，还有无法变更的前提信息。例如，在用户不拥有土地的情况下，能够变更被指定为前提信息的所在地。同样地，在用户不拥有土地的情况下，能够变更被指定为前提信息的土地面积。并且，关于停在停车场的车辆的台数以及庭院的有无等，也有时能够变更。
＜在前处理部中执行的处理的具体例＞
以下，利用图7对作为前处理部102(参照图3)发挥功能的处理器11(参照图1)所执行的处理动作的一例进行说明。
图7是对前处理部102所执行的处理的一例进行说明的流程图。另外，在图7中使用的记号S表示步骤。
首先，前处理部102接受前提信息和查询图像(步骤1)。在本实施方式的情况下，在前提信息中不仅包含用户所输入的信息，还包含法律法规。并且，在本实施方式中处理的查询图像中除了包含用户所输入的查询图像之外，还包含用户从之前执行的检索结果中选择出的图像。
在本实施方式的情况下，查询图像为1个，但是也可以输入多个查询图像。
接着，前处理部102从已接受的前提信息中提取预算、土地面积、家庭成员的构成、用地条件、周边环境、车辆的有无、庭院的有无、住址等(步骤2)。在本实施方式的情况下，预先规定从前提信息中提取的信息。不过，所提取的信息可以由用户个别地设定，也可以初始设定。并且，也可以根据查询图像中所包含的对象规定被提取的信息。
接下来，前处理部102从已接受的查询图像中提取建筑物的形状、用地信息、周边环境、车库的有无、庭院的有无等(步骤3)。此处的建筑物的形状例如包含层数、屋顶的形状、窗户的比例、天花板高度的比率。当然，这些是一例。
另外，可以更换步骤2和步骤3的顺序，也可以并行执行。
若信息的提取结束，则前处理部102对从前提信息中提取的信息与从查询图像中提取的信息进行比较(步骤4)。
接着，前处理部102判定在经比较的信息之间是否有矛盾(步骤5)。如前所述，矛盾的判定以分别从前提信息和查询图像中提取相互对应或者关联的信息的情况为前提。
在1个矛盾的信息都不存在的情况下，前处理部102在步骤5中得到否定结果。在步骤5中得到否定结果的情况下，前处理部102结束前处理。具体地说，将用户所输入的查询图像输出到特征提取部103(参照图3)。
另一方面，在找到矛盾的信息的情况下，前处理部102在步骤5中得到肯定结果。在步骤5中得到肯定结果的情况下，前处理部102确定矛盾的信息(步骤6)。若结束矛盾的所有信息的确定，则前处理部102将确定出的信息通知给用户(步骤7)。
图8是示出用于通知确定出的矛盾的画面200的一例的图。画面200显示于用户所操作的终端30(参照图1)。
图8所示的画面200包含标题栏201、说明文202、查询图像的显示栏203、在期望继续检索的情况下操作的按钮204以及在终止检索的情况下操作的按钮205。在图8的情况下，在按钮204上贴上“是”标签。并且，在按钮205上贴上“否”标签。
在图8的情况下，标题栏201示出了通过画面200要求用户的内容的摘要。在此，要求用户“确认矛盾”。
在说明文202中记载有矛盾的具体内容和要求用户的操作。在图8的例中，记载为“在所输入的查询图像中包含与前提信息(无车库)矛盾的部分(用框圈上的部分)。在继续检索的情况下，请点击“是”。建议消除矛盾的查询图像的修改案。”。
该说明文202与查询图像的显示栏203对应起来。因此，用框线203A圈上在查询图像中被识别为车库的部分来进行示出。在框线203A的显示中使用能够与查询图像内的其他部位区分的方式。例如，框线203A的色调、粗细、亮度等被规定为与查询图像侧的色调、边缘成分、亮度等之间的差较大。例如，在白墙建筑物上使用红色粗框线203A。不过，框线203A的显示是任意的。框线203A的显示也可以限定于用户期望显示的情况。
在说明文202中，还要求确认是否可以建议从显示中的查询图像中消除矛盾部分的修改案。
返回到图7的说明。
在步骤7中通知用户之后，前处理部102判定是否继续处理(步骤8)。
此处的判定是操作“是”按钮204(参照图8)还是操作“否”按钮205(参照图8)的判定。在检测到对按钮204的操作的情况下，前处理部102在步骤8中得到肯定结果。另一方面，在检测到对按钮205的操作的情况下，前处理部102在步骤8中得到否定结果。
在步骤8中得到否定结果的情况下，前处理部102不将当前的查询图像输出到特征提取部103(参照图3)，结束前处理。在该情况下，恢复到用户重新输入查询图像或前提信息的状态。
另一方面，在步骤8中得到肯定结果的情况下，前处理部102根据前提信息对查询图像进行修改(步骤9)。
此处的修改以消除确定出的矛盾为目的。在本实施方式的情况下，修改的对象是用户输入或者选择出的查询图像。因而，满足前提信息的其他图像不会代替当前的查询图像而输出为修改的结果。通过将用户输入或者选择出的查询图像设为修改的对象，用户的当初的意图还容易地反映到修改后的查询图像中。
修改内容中例如有删除、其他图像的追加、其他图像的合成、放大、缩小、色调的调整或者变更、亮度的调整或者变更、编辑。
编辑中例如还包含查询图像的重建、建筑物的纵横比的变更等。例如，在窗户的数量比预先规定的阈值多的情况下维持修改后的窗户的数量也比阈值多的状态的修改也包含于编辑。并且，例如在天花板比预先规定的阈值高的情况下维持修改后的天花板比阈值高的状态的修改也包含于编辑。
然而，本实施方式中的前处理部102所执行的消除矛盾的修改存在几个制约。此处的制约是第2条件的一例。
制约之一是找到矛盾的部分与查询图像的结构上的特征关联。在该情况下，不进行消除矛盾的修改。这是因为，查询图像中所包含的结构上的特征为用户所意图的特征的可能性较高。换句话说，这是因为结构上的特征的大幅变化伴随查询图像的印象的大幅变更。
例如，由于二层建筑的查询图像至平房的修改伴随结构上的特征的大幅变更，因此即使是矛盾的部分，也禁止执行修改。
另一方面，在对未建造三层建筑的地区输入三层建筑的查询图像的情况下，容许修改为二层建筑。这是因为，从三层建筑至二层建筑的变更不同于至平房的变更，在为多层建筑物这一点上共同。预先具体地规定是否对应于制约的基准。
另一个制约是尽可能地维持找到矛盾的部分以外的结构上的特征。在对矛盾的部分进行修改时，修改的影响有时还波及到其他部分。
例如，在前提信息中规定的用地面积与根据查询图像确定的建筑物的尺寸感矛盾的情况下，需要根据用地面积对查询图像内的建筑物的尺寸感进行修改。在该情况下，修改只限定于建筑物的尺寸感，尽可能地维持窗户的数量以及窗户的形状、屋顶的形状等作为修改的对象的建筑物的结构上的特征。
若完成对查询图像的修改，则前处理部102显示修改后的查询图像(步骤10)。
并且，前处理部102判定能否变更消除矛盾的前提信息(步骤11)。在能够变更前提信息的情况下，前处理部102在步骤11中得到肯定结果。另一方面，在无法变更前提信息的情况下，前处理部102在步骤11中得到否定结果。
在步骤11中得到肯定结果的情况下，前处理部102进一步判定是否变更前提信息(步骤12)。
在变更前提信息的情况下，前处理部102在步骤12中得到肯定结果，返回到步骤1。即，返回到接受前提信息的输入的画面。
另一方面，在不变更前提信息的情况下，前处理部102在步骤12中得到否定结果。在步骤12中得到否定结果的情况下，前处理部102进一步判定是否将修改后的查询图像使用于检索(步骤13)。
另外，在步骤11中得到否定结果的情况下，前处理部102也执行步骤13的判定。
在将修改后的查询图像使用于检索的情况下，前处理部102在步骤13中得到肯定结果。在步骤13中得到肯定结果的情况下，前处理部102结束前处理。具体地说，将修改后的查询图像输出到特征提取部103(参照图3)。
另一方面，在将修改后的查询图像不使用于检索的情况下，前处理部102在步骤13中得到否定结果。在步骤13中得到否定结果的情况下，前处理部102返回到步骤3。在该情况下，用户输入或选择新的查询图像。
另外，在图7的例中，在执行步骤10之后，执行步骤11，但是也可以先执行任一个。
图9是示出用于判定是否变更前提信息的表250的一例的图。
图9所示的表250由前提信息的栏251、从查询图像中提取的特征的栏252、矛盾内容的栏253、前提信息的变更可否的栏254构成。
在图9中示出了5个矛盾的事例。
第1个矛盾的事例是从表250的上方数第1行的事例。该事例是从查询图像中提取的停车场的容许台数低于所拥有的车辆的台数的情况。例如是所拥有的车辆的台数为2台，而从查询图像中提取的停车场的容许台数为1台的情况。在该例的情况下，将前提信息的变更设为“可”。不过，在采用并不容易地减少车辆的台数的观念的情况下，还能够将前提信息的变更设为“不可”。
第2个矛盾的事例是从表250的上方数第2行的事例。该事例是在前提信息中期望庭院，但是在从查询图像中未提取庭院的情况，或者是在前提信息中未期望庭院，但是从查询图像中提取了庭院的情况。该事例还能够是任一情况。因此，在图9的情况下，将前提信息的变更设为“可”。
第3个矛盾的事例是从表250的上方数第3行的事例。该事例是从查询图像中提取的层数超过在所在地所处的地区设定的层数的上限的情况。例如是从查询图像中提取的层数为三层建筑，但是在前提信息中指定的所在地二层建筑为法律法规上的上限的情况。
在该事例中，作为前提信息输入了土地的有无或所在地的信息。并且，从查询图像中得到了建筑物的层数的信息或者设想高度的信息。
即使在未明确获知查询图像内的建筑物的层数的情况下，当包含车辆或人等能够用于高度的标准的信息的情况下，也能够估计高度。而且，若获知建筑物的高度，则还能够设想大致的层数。
在该事例中，在已经拥有土地的情况下，将前提信息的变更设为“不可”。另一方面，在尚未拥有土地的情况下，将前提信息的变更设为“可”。
第4个矛盾的事例是从表250的上方数第4行的事例。该事例是在根据从查询图像中提取的房间布局信息建造房屋的情况下有可能超过预算的情况。例如是从查询图像中提取的房间布局为5LDK而在前提信息中指定的预算额相当于2LDK的情况。在该例的情况下，将前提信息的变更设为“可”。
第5个矛盾的事例是从表250的上方数第5行的事例。该事例是根据查询图像计算出的用地面积的设想值超过土地面积的情况。例如是从查询图像中提取的用地面积的设想值是300平方米，但是在前提信息中指定的土地面积是200平方米的情况。
在该事例中，作为前提信息输入了土地的有无和土地面积。并且，从查询图像中提取了用地面积的设想地。
在该事例中，在已经拥有土地的情况下，将前提信息的变更设为“不可”。另一方面，在尚未拥有土地的情况下，将前提信息的变更设为“可”。
另外，图9所示的事例是一例，关于变更可否的结论也只是一例。
＜与前处理关联的显示＞
以下，对与步骤9～步骤13(参照图7)关联而显示的画面的例进行说明。
＜例1＞
图10是示出显示修改后的查询图像的画面300的例的图。画面300用于排列显示修改前后的查询图像的情况。画面300显示于用户所操作的终端30(参照图1)。
图10所示的画面300包含标题栏301、说明文302、修改前的查询图像的显示栏303、修改后的查询图像的显示栏304、询问语句305、在将修改后的查询图像用于检索的情况下操作的按钮306以及在未将修改后的查询图像用于检索的情况下操作的按钮307。在图10的情况下，在按钮306上贴上“OK”标签。并且，在按钮307上贴上“NG”标签。
在图10的情况下，标题栏301示出了通过画面300要求用户的内容的摘要。在此，要求用户“确认检索条件”。此处的检索条件中包含前提信息和查询图像这双方。
在说明文302中记载有找到矛盾的检索条件以及与系统侧为了消除矛盾而生成的查询图像的修改案相关的说明。在图10的例中，记载为“根据无车库这一前提信息，如下对所输入的查询图像进行了修改。”。
在图10的情况下，排列显示了修改前的查询图像的显示栏303和修改后的查询图像的显示栏304。通过排列显示修改前后的查询图像，容易地确认已修改的部分。不过，也可以只显示修改后的查询图像。修改后的查询图像是第2查询图像的一例。
在图10的情况下，在修改后的查询图像的显示栏304显示了去除车库的建筑物。但是，车库以外的建筑物的外观维持了结构上的特征。
不过，在显示于显示栏304的建筑物不仅是从修改前的建筑物去除用框线303A圈上的车库的图像，还是添加应存在于屋顶的下方的白色外墙的图像。这是因为，在不添加外墙的情况下，作为建筑物成为不自然的外观。
该修改通过机器学习建筑物的数据库的推导模型或按照预先编程的条件的处理的执行而实现。
在图10的情况下，在修改后的查询图像的显示栏304的下方显示了向用户确认是否将修改后的查询图像用于检索的询问语句305。
另外，图10所示的画面300是无法变更前提信息的情况的例。例如是用户拥有用地的情况。因此，按钮306以及307为是否将修改后的查询图像使用于检索的两者选一。
图11是示出显示修改后的查询图像的其他画面300A的例的图。在图11中标注对应于与图10的对应部分的符号来进行示出。
画面300A与画面300(参照图9)的不同之处如下：用于输入相对于询问语句305的响应的按钮是贴上“OK”标签的按钮306和贴上“变更前提信息”这一标签的按钮308。
在图11所示的画面300A的情况下，通过按钮308的显示来通知用户能够变更前提信息。按钮308的操作的检测表示在步骤12(参照图7)中得到肯定结果。
另外，即使在图11所示的画面300A的情况下，也可以为了既不期望变更前提信息又不期望修改查询图像的用户而配置贴上“NG”标签的按钮307(参照图10)。
＜例2＞
图12是示出显示修改后的查询图像的画面300B的例的图。在图12中，标注对应于与图10的对应部分的符号来进行示出。
图12所示的画面300B的查询图像的内容与画面300(参照图10)不同。
在图12所示的查询图像中示出了用地有富余的郊外的建筑物。而且，在建筑物的旁边设置有能够停2台以上的车辆的大型车库。并且，在图12所示的查询图像中，建筑物的前方侧的用地为空地。根据以上，可以估计出图12所示的查询图像中所包含的建筑物建造于相当广阔的土地上。
另一方面，在图12的情况下，在前提信息中指定的土地面积格外小于从查询图像中提取的用地面积的估计值。因此，在说明文302B中示出“土地面积”作为找到矛盾的事项。
在图12的情况下，由于前提信息与查询图像之间的矛盾是土地面积，因此用户所输入的查询图像的显示栏303整体用框线303B圈上。
而且，在图12中的修改后的查询图像的显示栏304中显示了被边界墙包围的建筑物。另外，与前提信息中所示的土地面积以及土地的形状一致地对修改后的建筑物的尺寸感进行修改。具体地说，建筑物的横宽变窄。但是，维持了作为建筑物的结构上的特征的设计。
由于图12所示的例允许变更前提信息，因此显示了贴上“OK”标签的按钮306和贴上“NG”标签的按钮307。
＜例3＞
图13是对在查询图像中包含三层建筑的建筑物而在前提信息中指定的所在地只允许二层建筑的情况下的查询图像的修改的例进行说明的图。图13的(A)示出了修改前的查询图像，图13的(B)示出了修改后的查询图像。
在图13的情况下，在查询图像的二楼部分还有时没有窗户，实施了使三楼部分移动到二楼部分的修改。
另外，在查询图像的修改中，还能够删除三楼部分而将屋顶安装于二楼部分。但是，修改前的查询图像的结构上的特征之一有窗户的多少。因此，在图13的情况下，将三楼部分的窗户维持成结构上的特征。
＜其他实施方式＞
以上，对本发明的实施方式进行了说明，但是本发明的技术范围并不限定于前述的实施方式所记载的范围。从权利要求书的记载中明确可知，对前述的实施方式实施各种各样的变更或者改良的方式也包含于本发明的技术范围。
在前述的实施方式中，例示了设想策划工作室或设计工作室中的使用的图像检索系统，但是只要是输入查询图像和文本信息的图像检索系统，则使用领域并不限于建造关系。例如，还能够活用于网络检索或文档检索。
在前述的实施方式中的图像分析部121的情况下，若被输入的查询图像的内容相同，则被提取的结构上的特征相同而不依赖于用户的差异，但是被提取的特征也可以按照作为检索的执行者的每个用户而不同。例如，在查询图像中关注的结构上的特征有每个用户的倾向的情况下，也可以根据该倾向变更通过图像分析部121提取的特征。这是因为，用户所关注的倾向较高的结构上的特征的矛盾对检索结果的影响较大。
在前述的实施方式中，从表示建筑物的外观的查询图像中提取了结构上的特征，但是在相同的建筑物中也表示室内的查询图像的情况下，也可以设成提取与表示建筑物的外观的查询图像不同的结构上的特征的设定。换句话说，也可以按照查询图像中所包含的内容的种类设定被提取的结构上的特征。根据该设定，按照查询图像中所包含的内容的每个种类提取特有的特征，容易找到矛盾。
在前述的实施方式中，在从查询图像中提取的结构上的特征与前提信息之间找到矛盾的情况下，将矛盾的存在通知给用户，但是也可以不通知矛盾而对查询图像进行修改。
在前述的实施方式中，在执行检索之前，将根据前提信息对确定出的矛盾进行修改的查询图像提示给用户，但是也可以不提示给用户而开始检索。
在前述的实施方式中，在能够变更与确定出的矛盾关联的前提信息的情况下，向用户提供变更前提信息的机会，但是也可以不设置这样的机会。
在前述的实施方式的情况下，前处理部102未执行去除与结构信息文本以及感性信息文本中的双方或者一方之间的矛盾的修改，但是也可以在前处理部102中的矛盾去除对象中包含结构信息文本以及感性信息文本中的双方或者一方。
在前述的实施方式中，显示了在能够变更前提信息的情况下接受前提信息的变更的按钮308(参照图11)，但是也可以设置根据矛盾的内容提醒输入其他查询图像的功能。并且，在用户所输入的条件与法律法规矛盾的情况下，也可以以法律法规为优先。
另外，前述的各实施方式中的处理器是指广义上的处理器，除了包含通用的处理器(例如CPU(＝Central Processing Unit)等)，还包含专用的处理器(例如GPU(＝Graphical Processing Unit)、ASIC(＝Application Specific Integrated Circuit)、FPGA(＝Field Programmable Gate Array)、程序逻辑设备等)。
并且，前述的各实施方式中的处理器的动作可以由1个处理器单独执行，但是也可以由存在于物理分离的位置处的多个处理器协作执行。并且，处理器中的各动作的执行顺序并不仅限于前述的各实施方式所记载的顺序，也可以个别地变更。

Claims (20)

1.一种查询修改系统，其具有处理器，
在由用户输入的第1查询图像中包含有与第1条件矛盾的部分的情况下，所述处理器根据该第1条件对该部分进行修改而生成第2查询图像，其中，该第1条件是与检索对象关联的条件。
2.根据权利要求1所述的查询修改系统，其中，
所述第1条件被用作检索查询。
3.根据权利要求2所述的查询修改系统，其中，
所述第1条件与从所述第1查询图像中提取的特征关联。
4.根据权利要求1所述的查询修改系统，其中，
所述处理器在对所述部分进行修改的情况下，维持所述第1查询图像中出现的所述部分以外的结构上的特征。
5.根据权利要求4所述的查询修改系统，其中，
所述结构上的特征是按照所述第1查询图像中所包含的内容的种类来确定的。
6.根据权利要求4所述的查询修改系统，其中，
所述结构上的特征是按每个用户设定的。
7.根据权利要求1或4所述的查询修改系统，其中，
所述处理器在与所述第1条件矛盾的所述部分满足预先规定的第2条件的情况下，不对该部分进行修改。
8.根据权利要求7所述的查询修改系统，其中，
所述第2条件是与所述第1条件矛盾的所述部分对应于所述第1查询图像中出现的结构上的特征的条件。
9.根据权利要求1所述的查询修改系统，其中，
所述处理器在找到与所述第1条件矛盾的部分的情况下，在对所述第1查询图像进行修改之前，将该矛盾的部分的信息通知给用户。
10.根据权利要求1或9所述的查询修改系统，其中，
所述处理器在对所述第1查询图像进行修改之前，向用户询问是否生成所述第2查询图像。
11.根据权利要求1或9所述的查询修改系统，其中，
所述处理器在与所述第1条件矛盾的部分中包含有从修改的对象中排除的部分的情况下，向用户询问与从该修改的对象中排除的部分关联的该第1条件的变更。
12.根据权利要求1所述的查询修改系统，其中，
所述处理器在能够变更与所述矛盾对应的所述第1条件的情况下，向用户询问是否变更该第1条件。
13.根据权利要求1所述的查询修改系统，其中，
所述处理器将所生成的所述第2查询图像提示给用户。
14.根据权利要求13所述的查询修改系统，其中，
所述处理器将所述第2查询图像和所述第1查询图像排列配置在同一画面上。
15.根据权利要求14所述的查询修改系统，其中，
所述处理器在所述第1查询图像以及所述第2查询图像这双方或者一方追加表示被修改的部位的标记。
16.根据权利要求13所述的查询修改系统，其中，
所述处理器在执行检索之前，向用户询问所生成的所述第2查询图像在检索中的使用。
17.根据权利要求1所述的查询修改系统，其中，
所述第1条件包含法律法规。
18.根据权利要求17所述的查询修改系统，其中，
所述处理器在作为所述第1条件而用户的输入与所述法律法规矛盾的情况下，以法律法规为优先。
19.一种检索系统，其具有处理器，
在由用户输入的第1查询图像中包含有与第1条件矛盾的部分的情况下，所述处理器根据该第1条件对该部分进行修改而生成第2查询图像，并使用所生成的该第2查询图像而检索数据库，其中，该第1条件是与检索对象关联的条件。
20.一种存储介质，其存储程序，所述程序使计算机执行如下功能：
接受用户所输入的第1查询图像；以及
在所述第1查询图像中包含与第1条件矛盾的部分的情况下，根据该第1条件对该部分进行修改而生成第2查询图像，其中，该第1条件是与检索对象关联的条件。
CN202010412232.3A 2019-10-18 2020-05-15 查询修改系统、检索系统以及存储介质 Pending CN112685585A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-191530 2019-10-18
JP2019191530A JP2021068064A (ja) 2019-10-18 2019-10-18 クエリ修正システム、検索システム及びプログラム

Publications (1)

Publication Number Publication Date
CN112685585A true CN112685585A (zh) 2021-04-20

Family

ID=75445565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412232.3A Pending CN112685585A (zh) 2019-10-18 2020-05-15 查询修改系统、检索系统以及存储介质

Country Status (4)

Country Link
US (1) US11455332B2 (zh)
JP (1) JP2021068064A (zh)
CN (1) CN112685585A (zh)
AU (1) AU2020203188A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240095275A1 (en) * 2022-09-20 2024-03-21 Adobe Inc. Generative prompt expansion for image generation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788434B2 (en) * 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
US9087078B2 (en) * 2012-09-25 2015-07-21 Adobe Systems Incorporated Single user interface for selecting, modifying, and querying images
JP2016218578A (ja) 2015-05-15 2016-12-22 日本電信電話株式会社 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
US11004131B2 (en) * 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
KR102652362B1 (ko) 2017-01-23 2024-03-29 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10977303B2 (en) * 2018-03-21 2021-04-13 International Business Machines Corporation Image retrieval using interactive natural language dialog
US20190311070A1 (en) * 2018-04-06 2019-10-10 Microsoft Technology Licensing, Llc Method and apparatus for generating visual search queries augmented by speech intent
US11010421B2 (en) * 2019-05-09 2021-05-18 Microsoft Technology Licensing, Llc Techniques for modifying a query image

Also Published As

Publication number Publication date
US20210117466A1 (en) 2021-04-22
US11455332B2 (en) 2022-09-27
AU2020203188A1 (en) 2021-05-06
JP2021068064A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
US11972174B2 (en) Systems and methods of automated design and spatial allocation of buildings
US8650143B2 (en) Determination of document credibility
US20140278280A1 (en) System and method for designing buildings
US9443261B2 (en) Method and apparatus for optimization of floor covering and system for user configuration and real time pricing information
Parchami Jalal et al. A BIM-based construction claim management model for early identification and visualization of claims
Zhi et al. A graph-based algorithm for extracting units and loops from architectural floor plans for a building evacuation model
JPH09179892A (ja) 設計方法及び設計支援装置
JP2019008664A (ja) 建築設備図面作成支援システム
US10818082B2 (en) Method and system for parametrically creating an optimal three dimensional building structure
CN114550195A (zh) 用于从建筑图纸中提取楼层平面图元素的机器学习技术
CN111709061A (zh) 室内物品自动摆放处理方法、装置以及设备、存储介质
WO2023193577A1 (zh) 建筑设计自动设计计算方法及系统
Booi et al. Staying in the city or moving to the suburbs? Unravelling the moving behaviour of young families in the four big cities in the Netherlands
CN112685585A (zh) 查询修改系统、检索系统以及存储介质
Liu et al. Product optimization design based on online review and orthogonal experiment under the background of big data
Yin et al. An automated layer classification method for converting CAD drawings to 3D BIM models
Zhang et al. Capabilities of rule representations for automated compliance checking in healthcare buildings
JP7230288B1 (ja) 学習モデル
JP7160295B1 (ja) 学習モデルの生成方法、情報処理装置、情報処理方法、コンピュータプログラム
WO2004027668A1 (ja) 不動産共同購入マッチングシステム
KR100995869B1 (ko) 설계프로젝트의 인력 선정장치
Vandervaeren et al. Challenging Architectural Design Choices with Quantified Evaluations of the Generality and Adaptability of Plan Layouts
CN112818432A (zh) 一种铺砖设计的生成方法、装置、电子设备及存储介质
Koutamanis Computer-mediated briefing for architects
CN112685586A (zh) 检索条件确定系统、检索系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination