CN104854539B - 一种对象搜索方法及装置 - Google Patents

一种对象搜索方法及装置 Download PDF

Info

Publication number
CN104854539B
CN104854539B CN201480003299.4A CN201480003299A CN104854539B CN 104854539 B CN104854539 B CN 104854539B CN 201480003299 A CN201480003299 A CN 201480003299A CN 104854539 B CN104854539 B CN 104854539B
Authority
CN
China
Prior art keywords
user
image
target object
region
gesture input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480003299.4A
Other languages
English (en)
Other versions
CN104854539A (zh
Inventor
李彦
李小娟
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104854539A publication Critical patent/CN104854539A/zh
Application granted granted Critical
Publication of CN104854539B publication Critical patent/CN104854539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种对象搜索方法及装置，包括：接收用户的语音输入和手势输入；并根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；并从用户通过该手势输入选定的图像区域中提取该特征类别的特征信息；以及按照提取的特征信息和目标对象名称，对目标对象进行搜索。采用本发明实施例提供的方案，能够为用户提供更为灵活的搜索方式，且降低了搜索时受应用场景的限制。

Description

一种对象搜索方法及装置
技术领域
本发明涉及计算机技术领域中的搜索技术领域，尤其涉及一种对象搜索方法及装置。
背景技术
目前，在用户通过网络对将要搜索的目标对象进行搜索时，一般是通过针对目标对象输入或选择一些已知的搜索条件，然后按照该搜索条件对目标对象进行搜索，例如，可以按照目标对象的价格范围搜索，也可以按照目标对象的所属区域进行搜索等。
在上述对象搜索方案中，需要用户能够明确描述搜索时所依据的搜索条件，例如，可以是从一些预设条件中进行选择，也可以直接输入搜索条件。然而，在实际应用中，用户在搜索一个目标对象时，可能无法明确描述其期望的搜索条件，例如，用户期望搜索某一种颜色的物品，而该颜色并无法准确的用已知颜色的名称进行描述，或者，用户期望搜索某一种形状的物品，而该形状并非是规则的形状，此时，则导致用户无法对其期望的目标对象进行搜索，并且，即使进行搜索，也可能由于搜索条件的不准确，而导致搜索结果并不符合用户的搜索意图，进而导致搜索效果较差，且现有技术中的对象搜索方法无法为用户提供更为灵活的搜索方式，受应用场景的限制较大。
发明内容
本发明实施例提供一种对象搜索方法及装置，用以解决现有技术中存在的无法为用户提供更为灵活的搜索方式，且受应用场景限制较大的问题。
第一方面，提供一种对象搜索方法，包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信息；
按照提取的所述特征信息和所述目标对象名称，对所述目标对象进行搜索。
结合第一方面，在第一种可能的实现方式中，按照提取的所述特征信息和所述目标对象名称，对所述目标对象进行搜索，具体包括：
向服务器发送所述特征信息和所述目标对象名称；
接收所述服务器返回的搜索结果，所述搜索结果为所述服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
结合第一方面或者第一方面的第一种可能的实现方式，在第二种可能的实现方式中，接收用户的语音输入和手势输入，具体包括：
接收用户同时进行的语音输入和手势输入；或者
接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者
接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
结合第一方面或者第一方面的第一种可能的实现方式，在第三种可能的实现方式中，获取用户通过所述手势输入选定的图像区域，包括：
获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者
获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
第二方面，提供一种对象搜索装置，包括：
第一接收单元，用于接收用户的语音输入和手势输入；
第一确定单元，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
提取单元，用于从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信息；
第一搜索单元，用于按照提取的所述特征信息和所述目标对象名称，对所述目标对象进行搜索。
结合第二方面，在第一种可能的实现方式中，所述第一搜索单元，具体用于向服务器发送所述特征信息和所述目标对象名称；并接收所述服务器返回的搜索结果，所述搜索结果为所述服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
结合第二方面或者第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一接收单元，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
结合第二方面或者第二方面的第一种可能的实现方式，在第三种可能的实现方式中，所述第一确定单元，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
第三方面，提供一种对象搜索方法，包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
向服务器发送所述特征类别的类别信息、所述目标对象名称和用户通过所述手势输入选定的图像区域；
接收所述服务器返回的搜索结果，所述搜索结果为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为搜索条件，对所述目标对象名称表示的目标对象进行搜索得到的。
结合第三方面，在第一种可能的实现方式中，接收用户的语音输入和手势输入，具体包括：
接收用户同时进行的语音输入和手势输入；或者
接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者
接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
结合第三方面，在第二种可能的实现方式中，获取用户通过所述手势输入选定的图像区域，包括：
获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者
获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
第四方面，提供一种对象搜索装置，包括：
第二接收单元，用于接收用户的语音输入和手势输入；
第二确定单元，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
发送单元，用于向服务器发送所述特征类别的类别信息、所述目标对象名称和用户通过所述手势输入选定的图像区域；
第三接收单元，用于接收所述服务器返回的搜索结果，所述搜索结果为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为搜索条件，对所述目标对象名称表示的目标对象进行搜索得到的。
结合第四方面，在第一种可能的实现方式中，所述第二接收单元，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
结合第四方面，在第二种可能的实现方式中，所述第二确定单元，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
本发明有益效果包括：
本发明实施例提供的上述方案中，在进行对象搜索时，首先接收用户的语音输入和手势输入，并根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别，并将用户通过该手势输入选定的图像区域的该特征类别的特征和该目标对象名称作为搜索条件，对该目标对象进行搜索。由于用户在搜索时，只需要通过语音输入特征类别和目标对象名称，并通过手势输入选定图像区域，即可以通过该特征类别、目标对象名称和图像区域表示搜索条件，而无需明确描述搜索条件，从而为用户提供更为灵活的搜索方式，且降低了搜索时受应用场景的限制。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的对象搜索方法的流程图之一；
图2为本发明实施例提供的对象搜索方法的流程图之二；
图3为本发明实施例提供的对象搜索方法的流程图之二；
图4为本发明实施例提供的对象搜索装置的结构示意图之一；
图5为本发明实施例提供的对象搜索装置的结构示意图之二。
具体实施方式
为了给出为用户提供更为灵活的搜索方式，且降低搜索时受应用场景的限制的实现方案，本发明实施例提供了一种对象搜索方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种对象搜索方法，如图1所示，可以应用于终端，包括：
步骤101、接收用户的语音输入和手势输入。
步骤102、根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别。
步骤103、从用户通过该手势输入选定的图像区域中提取该特征类别的特征信息。
步骤104、按照提取的特征信息和目标对象名称，对目标对象进行搜索。
在上述图1所示的方法中，通过步骤103，终端可以直接从用户选定的图像区域中提取该特征类别的特征信息，并在执行步骤104时，具体可以在终端本地存储的对象集中进行搜索，也在互联网上进行搜索，即向服务器发送该特征信息和目标对象名称，并在服务器按照该特征信息对该目标对象名称表示的目标对象进行搜索得到搜索结果后，接收服务器返回的该搜索结果，进一步的，还可以展示该搜索结果。
与上述图1所示方法不同的，本发明实施例还提供一种对象搜索方法，如图2所示，也可以应用于终端，包括：
步骤201、接收用户的语音输入和手势输入。
步骤202、根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别。
步骤203、向服务器发送该特征类别的类别信息、该目标对象名称和用户通过该手势输入选定的图像区域。
步骤204、接收服务器返回的搜索结果，该搜索结果为服务器将该图像区域的该类别信息表示的该特征类别的特征作为搜索条件，对该目标对象名称表示的目标对象进行搜索得到的。
在上述图2所示的方法中，终端在通过步骤202确定用户期望搜索的目标对象名称和目标对象的特征类别后，直接将该特征类别的类别信息、该目标对象名称和用户选定的该图像区域发送给服务器，由服务器基于接收的这些信息进行搜索，并向终端返回搜索结果。
并且，进一步的，服务器在进行搜索时，可以从接收的用户选定的该图像区域中提取该特征类别的特征信息，并按照提取的特征信息和目标对象名称，对目标对象进行搜索。
对于上述图1和图2所示的对象搜索方法，步骤101和步骤102，分别与步骤201和步骤202相同，并且，在上述步骤101和步骤102，以及步骤201和步骤202中，用户可以采用语音输入的方式，输入特征类别和目标对象名称，例如，输入的特征类别可以包括：颜色、形状、价格、品牌和图像等，输入的目标对象名称可以是期望搜索物品的物品名称。
具体的，用户可以采用语音输入的方式输入语音信息，其中携带特征类别和目标对象名称，例如，用户语音输入“搜索这个颜色的钱包”，“搜索这个品牌的鞋”，“搜索这个图像的手机壳”等。
当用户采用语音输入的方式输入语音信息时，对用户输入的语音信息进行语义分析，确定特征类别和目标对象名称。对语音信息进行语义分析，提取文本信息的方式，可以采用现有技术中的各种方式，在此不再进行详细描述。
本发明实施例中，用户在进行图像区域选定操作时，可以从一副指定图像中选择一块图像区域，例如，通过手势操作对显示该指定图像的触摸屏进行选择操作，相应的，获取用户从该指定图像中选择的图像区域，作为用户选定的图像区域。
用户在进行图像区域选定操作时，也可以进入拍照模式，并进行拍照操作，得到图像，相应的，获取用户当前拍照得到的图像，作为用户选定的图像区域。
本发明实施例中，用户进行图像区域选定操作与输入特征类别和目标对象名称的操作，两者之间没有严格的先后顺序。
并且，用户进行图像选定操作与进行语音信息输入操作可以是同时完成的，例如，用户在进行语音信息输入的同时，可以通过手势操作选定图像区域。
也可以是先后完成的，例如，当确定用户输入语音信息且未选定图像区域时，提示用户进行图像区域选定操作，并在用户完成图像区域选定操作后，确定用户选定的图像区域；
又如，当确定用户进行手势输入操作来选定图像且未输入语音信息时，提示用户进行语音信息输入操作，并在用户输入语音信息后，对输入的语音信息进行语义分析，确定特征类别和目标对象名称。
在上述图1和图2所示的方法中，具体可以从用户通过手势输入选定的图像区域中提取该特征类别的特征信息，并按照提取的该特征信息，对该目标对象名称表示的目标对象进行搜索。
例如，特征类别为颜色，则提取用户选定的图像区域的颜色特征信息，表示图像颜色特征信息的种类可以为现有技术中的各种，例如，可以提取用户选定的图像区域的颜色直方图(颜色直方图描述不同色彩在整幅图像中所占的比例)，并确定颜色直方图中比例最大的一种颜色，比例从大到小的预设多种颜色，或者比例大于预设比例的颜色，将确定的该颜色的像素值作为该图像区域的颜色特征信息，也可以进一步的根据该颜色的像素值，确定该颜色的颜色名称，将该颜色名称作为该图像区域的颜色特征信息。当从颜色直方图中确定出多种颜色时，还可以进一步的显示该多种颜色，供用户选择，并确定用户选择的颜色的颜色特征信息，如像素值或颜色名称。
相应的，可以按照提取的该颜色特征信息，对该目标对象名称表示的目标对象进行搜索，例如，按照颜色名称或者像素值进行搜索。
又如，特征类别为形状，则提取用户选定的图像区域中的形状特征信息，该形状可以是规则形状，例如，矩形，菱形，圆形，椭圆形等，则可以使用形状名称作为形状特征信息，也可以是不规则形状，例如，提取出用户选定的图像区域中事物轮廓的图形，并将该轮廓的图形，作为形状特征信息。
相应的，可以按照提取的该形状特征信息，对该目标对象名称表示的目标对象进行搜索，例如，按照形状名称或者图形进行搜索。
又如，特征类别为品牌，则提取用户选定的图像区域中的品牌标识，该品牌标识可以是品牌名称，也可以是品牌图形，作为品牌特征信息。
相应的，可以按照提取的该品牌特征信息，对该目标对象名称表示的目标对象进行搜索，例如，按照品牌名称或者品牌图形进行搜索。
又如，特征类别为价格，则提取用户选定的图像区域中的数字信息，将该数字信息作为价格特征信息。
相应的，可以按照提取的价格特征信息进行搜索。
又如，特征类别为图像，则可以将用户选定的图像区域本身作为图像特征信息。
相应的，按照用户选定的图像区域，采用图像搜索方式，对该目标对象名称表示的目标对象进行搜索。
上述图1和图2所示的对象搜索方法也可以相结合，即对目标对象进行搜索，可以是在本地存储的对象集中进行搜索，也可以是在互联网上进行搜索。
具体的，可以由终端执行，也可以由服务器执行，如云端服务器，当由服务器执行时，用户输入的特征类别和目标对象名称，以及用户选定的图像区域可以是终端发送给服务器的，也可以由终端和服务器共同执行相应的步骤。
也可以由终端根据不同的特征类别，确定是由终端执行相应的处理步骤，还是由服务器执行。例如，针对一些特征类别，终端可以在从用户选定的图像区域中提取该特征类别的特征信息之后，向服务器发送提取的特征信息和该目标对象名称，然后由服务器按照接收的该特征信息对该目标对象名称表示的目标对象进行搜索，得到搜索结果，并将该搜索结果返回给终端。
下面结合附图，用具体实施例对本发明提供的方法进行详细描述。
图3为本发明实施例提供的对象搜索方法的详细流程图，具体包括如下步骤：
步骤301、接收用户的语音输入和手势输入。
本步骤中，可以接收用户同时进行的语音输入和手势输入；
也可以接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；
也可以接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
步骤302、终端根据用户的语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别。
本步骤中，可以通过对用户输入的语音信息进行语义分析，确定特征类别和目标对象名称。
本发明实施例中，用户可输入的特征类别，可以根据目标对象的特性以及方案的应用场景进行灵活设置，例如，在搜索物品时，可以包括：颜色、形状、价格、品牌和图像等，输入的目标对象名称可以是期望搜索物品的物品名称。
步骤303、终端获取用户通过手势输入选定的图像区域。
本步骤中，终端可以获取用户从指定图像中选择的图像区域，作为用户选定的图像区域，也可以获取用户当前拍照得到的图像，作为用户选定的图像区域。
上述步骤302和步骤303之间没有严格的先后顺序。
步骤304、终端确定用户输入的特征类别是否为预设特征类别，如果是预设特征类别，进入步骤305，如果不是预设特征类别，进入步骤307。
本发明实施例中，针对用户输入的特征类别，用户选定的图像区域的该特征类别的特征可以由终端提取，也可以由服务器提取，也可以针对一些特征类别，由终端提取，针对另外一些特征类别，由服务器提取，所以，可以将由终端提取特征信息的特征类别设置为预设特征类别，并在本步骤中进行上述判断。
例如，将上述颜色、形状、价格、品牌和图像中的颜色作为预设特征类别。
步骤305、当用户输入的特征类别是预设特征类别时，终端从用户选定的图像区域中提取该特征类别的特征信息。
例如，针对颜色提取用户选定的图像区域的颜色特征信息，具体可以参见上述描述。
步骤306、终端将提取的该特征类别的特征信息和用户输入的该目标对象名称，发送给服务器。
步骤307、终端将用户输入的特征类别的类别信息、目标对象名称，以及用户选定的图像区域，发送给服务器。
步骤308、服务器在接收到该类别信息、目标对象名称和该图像区域后，从该图像区域中提取该类别信息表示的该特征类别的特征信息。
例如，针对形状、价格和品牌，提取用户选定的图像区域的相应特征信息，具体可以参见上述描述。
并且，进一步的，当特征类别为图像时，可以直接将接收的该图像区域本身作为图像特征信息。
步骤309、服务器在接收到终端发送的该特征类别的特征信息，或者，在提取出该类别信息表示的该特征类别的特征信息后，按照提取的该特征信息，对该目标对象名称表示的目标对象进行搜索，得到搜索结果。
搜索结果为具有该特征类别的该特征信息的目标对象。
步骤310、服务器向终端返回搜索结果。
步骤311、终端在接收到服务器返回的搜索结果后，向用户展示该搜索结果。
采用本发明实施例提供的上述对象搜索方法，用户在搜索时，只需要进行语音输入和手势输入，并只需要输入特征类别和目标对象名称，以及选定图像区域，即可以由终端或服务器确定出相应的搜索条件，并按照该搜索条件对目标对象进行搜索，而无需用户明确描述搜索条件，从而为用户提供了更为灵活的搜索方式，且降低了搜索时受应用场景的限制。
例如，当用户看到一幅图像中的颜色很漂亮，希望搜索这个颜色的钱包时，很可能由于这种颜色很特殊，而无法给出一个明确的颜色名称，此时，即可以采用本发明实施例提供的上述方法进行搜索。
又如，当用户想搜索一个品牌的鞋，而又不知道这个品牌的名称，只具有包含该品牌的品牌图形的图像，则可以采用本发明实施例提供的上述方法，从该图像中选定一块包含品牌图形的图像区域，作为选定的图像，进行搜索。
基于同一发明构思，根据本发明上述实施例提供的对象搜索方法，相应地，本发明实施例还提供了一种对象搜索装置，其结构示意图如图4所示，具体包括：
第一接收单元401，用于接收用户的语音输入和手势输入；
第一确定单元402，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
提取单元403，用于从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信息；
第一搜索单元404，用于按照提取的所述特征信息和所述目标对象名称，对所述目标对象进行搜索。
进一步的，第一搜索单元404，具体用于向服务器发送所述特征信息和所述目标对象名称；并接收所述服务器返回的搜索结果，所述搜索结果为所述服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
进一步的，第一接收单元401，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
进一步的，第一确定单元402，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
上述图4中各单元的功能可对应于图1或图3所示流程中的相应处理步骤，在此不再赘述。
基于同一发明构思，根据本发明上述实施例提供的对象搜索方法，相应地，本发明实施例还提供了一种对象搜索装置，其结构示意图如图5所示，具体包括：
第二接收单元501，用于接收用户的语音输入和手势输入；
第二确定单元502，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
发送单元503，用于向服务器发送所述特征类别的类别信息、所述目标对象名称和用户通过所述手势输入选定的图像区域；
第三接收单元504，用于接收所述服务器返回的搜索结果，所述搜索结果为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为搜索条件，对所述目标对象名称表示的目标对象进行搜索得到的。
进一步的，第二接收单元501，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
进一步的，第二确定单元502，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
上述图5中各单元的功能可对应于图2或图3所示流程中的相应处理步骤，在此不再赘述。
综上所述，本发明实施例提供的方案，包括：接收用户的语音输入和手势输入；并根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；并从用户通过该手势输入选定的图像区域中提取该特征类别的特征信息；以及按照提取的特征信息和目标对象名称，对目标对象进行搜索。采用本发明实施例提供的方案，能够为用户提供更为灵活的搜索方式，且降低了搜索时受应用场景的限制。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种对象搜索方法，其特征在于，包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信息；
按照所述目标对象名称和提取的所述特征信息，对所述目标对象进行搜索。
2.如权利要求1所述的方法，其特征在于，按照所述目标对象名称和提取的所述特征信息，对所述目标对象进行搜索，具体包括：
向服务器发送所述特征信息和所述目标对象名称；
接收所述服务器返回的搜索结果，所述搜索结果为所述服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
3.如权利要求1或2所述的方法，其特征在于，接收用户的语音输入和手势输入，具体包括：
接收用户同时进行的语音输入和手势输入；或者
接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者
接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
4.如权利要求1或2所述的方法，其特征在于，获取用户通过所述手势输入选定的图像区域，包括：
获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者
获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
5.一种对象搜索装置，其特征在于，包括：
第一接收单元，用于接收用户的语音输入和手势输入；
第一确定单元，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
提取单元，用于从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信息；
第一搜索单元，用于按照所述目标对象名称和提取的所述特征信息，对所述目标对象进行搜索。
6.如权利要求5所述的装置，其特征在于，所述第一搜索单元，具体用于向服务器发送所述特征信息和所述目标对象名称；并接收所述服务器返回的搜索结果，所述搜索结果为所述服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
7.如权利要求5或6所述的装置，其特征在于，所述第一接收单元，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
8.如权利要求5或6所述的装置，其特征在于，所述第一确定单元，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
9.一种对象搜索方法，其特征在于，包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
向服务器发送所述特征类别的类别信息、所述目标对象名称和用户通过所述手势输入选定的图像区域；
接收所述服务器返回的搜索结果，所述搜索结果为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为搜索条件，对所述目标对象名称表示的目标对象进行搜索得到的。
10.如权利要求9所述的方法，其特征在于，接收用户的语音输入和手势输入，具体包括：
接收用户同时进行的语音输入和手势输入；或者
接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者
接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
11.如权利要求9所述的方法，其特征在于，获取用户通过所述手势输入选定的图像区域，包括：
获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者
获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
12.一种对象搜索装置，其特征在于，包括：
第二接收单元，用于接收用户的语音输入和手势输入；
第二确定单元，用于根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；
发送单元，用于向服务器发送所述特征类别的类别信息、所述目标对象名称和用户通过所述手势输入选定的图像区域；
第三接收单元，用于接收所述服务器返回的搜索结果，所述搜索结果为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为搜索条件，对所述目标对象名称表示的目标对象进行搜索得到的。
13.如权利要求12所述的装置，其特征在于，所述第二接收单元，具体用于接收用户同时进行的语音输入和手势输入；或者，接收用户的语音输入，并当确定用户未进行手势输入选定图像区域时，提示用户进行图像区域选定操作，并接收用户的手势输入；或者，接收用户的手势输入，并当确定用户未进行语音输入时，提示用户进行语音输入操作，并接收用户的语音输入。
14.如权利要求12所述的装置，其特征在于，所述第二确定单元，还用于获取用户通过所述手势输入从指定图像中选择的图像区域，作为用户选定的图像区域；或者，获取用户通过所述手势输入拍照得到的图像，作为用户选定的图像区域。
CN201480003299.4A 2014-05-15 2014-05-15 一种对象搜索方法及装置 Active CN104854539B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/077566 WO2015172359A1 (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Publications (2)

Publication Number Publication Date
CN104854539A CN104854539A (zh) 2015-08-19
CN104854539B true CN104854539B (zh) 2018-08-14

Family

ID=53852833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480003299.4A Active CN104854539B (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Country Status (7)

Country Link
US (1) US10311115B2 (zh)
EP (1) EP3001333A4 (zh)
JP (1) JP6316447B2 (zh)
KR (1) KR101864240B1 (zh)
CN (1) CN104854539B (zh)
BR (1) BR112016017262B1 (zh)
WO (1) WO2015172359A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101561628B1 (ko) * 2013-12-30 2015-10-20 주식회사 케이티 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN107515868A (zh) * 2016-06-15 2017-12-26 北京陌上花科技有限公司 搜索方法及装置
JP2017228080A (ja) * 2016-06-22 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR102055733B1 (ko) * 2017-02-24 2019-12-13 권오민 이미지광고 온라인 제공 방법
KR102469717B1 (ko) * 2017-08-01 2022-11-22 삼성전자주식회사 오브젝트에 대한 검색 결과를 제공하기 위한 전자 장치 및 이의 제어 방법
CN110119461B (zh) * 2018-01-25 2022-01-14 阿里巴巴（中国）有限公司 一种查询信息的处理方法及装置
KR102630662B1 (ko) 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
CN108874910B (zh) * 2018-05-28 2021-08-17 思百达物联网科技(北京)有限公司 基于视觉的小目标识别系统
CN108984730A (zh) * 2018-07-12 2018-12-11 三星电子（中国）研发中心 一种搜索方法和搜索设备
EP3859488A4 (en) * 2018-09-28 2022-06-29 Shanghai Cambricon Information Technology Co., Ltd Signal processing device, signal processing method and related product
KR20200068416A (ko) 2018-12-05 2020-06-15 제주대학교 산학협력단 감귤 바이오겔을 포함하는 감귤 미숙과 추출물을 유효성분으로 함유하는 화장료 조성물
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
CN110765294B (zh) * 2019-10-25 2021-03-12 深圳追一科技有限公司 图像搜索方法、装置、终端设备及存储介质
CN113093406A (zh) * 2021-04-14 2021-07-09 陈祥炎 智能眼镜
CN116628327A (zh) * 2023-02-16 2023-08-22 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952935A (zh) * 2006-09-22 2007-04-25 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101071431A (zh) * 2007-01-31 2007-11-14 腾讯科技（深圳）有限公司 基于关键图形为搜索条件进行图象搜索的方法及系统
CN101216841A (zh) * 2008-01-14 2008-07-09 南京搜拍信息技术有限公司 交互式图像搜索系统和方法
CN101930457A (zh) * 2010-08-13 2010-12-29 百度在线网络技术（北京）有限公司 一种供用户进行快速选择对象及搜索的方法、设备和系统
WO2012058577A1 (en) * 2010-10-28 2012-05-03 Google Inc. Search with joint image-audio queries
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统
CN103246682A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 数据搜索方法和数据搜索装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166866A (ja) 1994-10-14 1996-06-25 Hitachi Ltd 対話型インターフェースを具備した編集支援システム
JPH10198695A (ja) 1997-01-13 1998-07-31 Sharp Corp 情報処理装置
US6513063B1 (en) * 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
JP3823129B2 (ja) 2001-12-07 2006-09-20 株式会社シガメック 画像検索システム及び画像検索方法
JP2006107109A (ja) 2004-10-05 2006-04-20 Canon Inc 情報管理装置及び情報管理方法
JP2007026316A (ja) * 2005-07-20 2007-02-01 Yamaha Motor Co Ltd 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
US7457825B2 (en) 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US20090287680A1 (en) 2008-05-14 2009-11-19 Microsoft Corporation Multi-modal query refinement
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US20120155717A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Image search including facial image
JP5794036B2 (ja) * 2011-08-22 2015-10-14 セイコーエプソン株式会社 画像検索装置、画像検索方法、およびプログラム
US9411830B2 (en) 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952935A (zh) * 2006-09-22 2007-04-25 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101071431A (zh) * 2007-01-31 2007-11-14 腾讯科技（深圳）有限公司 基于关键图形为搜索条件进行图象搜索的方法及系统
CN101216841A (zh) * 2008-01-14 2008-07-09 南京搜拍信息技术有限公司 交互式图像搜索系统和方法
CN101930457A (zh) * 2010-08-13 2010-12-29 百度在线网络技术（北京）有限公司 一种供用户进行快速选择对象及搜索的方法、设备和系统
WO2012058577A1 (en) * 2010-10-28 2012-05-03 Google Inc. Search with joint image-audio queries
CN103246682A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 数据搜索方法和数据搜索装置
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统

Also Published As

Publication number Publication date
US10311115B2 (en) 2019-06-04
JP2017513090A (ja) 2017-05-25
CN104854539A (zh) 2015-08-19
JP6316447B2 (ja) 2018-04-25
EP3001333A4 (en) 2016-08-24
US20160147882A1 (en) 2016-05-26
KR101864240B1 (ko) 2018-06-04
KR20160104054A (ko) 2016-09-02
BR112016017262B1 (pt) 2022-09-27
BR112016017262A2 (zh) 2017-08-08
EP3001333A1 (en) 2016-03-30
WO2015172359A1 (zh) 2015-11-19

Similar Documents

Publication Publication Date Title
CN104854539B (zh) 一种对象搜索方法及装置
US11582176B2 (en) Context sensitive avatar captions
US11557075B2 (en) Body pose estimation
US20200412975A1 (en) Content capture with audio input feedback
US11294545B2 (en) Interface to display shared user groups
US11876770B2 (en) UI and devices for ranking user generated content
US11653069B2 (en) Subtitle splitter
JP4869340B2 (ja) キャラクタ服飾決定装置、キャラクタ服飾決定方法、およびキャラクタ服飾決定プログラム
US11681749B2 (en) Automated ranking of video clips
US11620795B2 (en) Displaying augmented reality content in messaging application
JP7474793B2 (ja) 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
US20200412864A1 (en) Modular camera interface
US11620829B2 (en) Visual matching with a messaging application
US11491406B2 (en) Game drawer
US20230091214A1 (en) Augmented reality items based on scan
CN105117399A (zh) 一种图像搜索方法和装置
KR20220155601A (ko) 검출된 객체들에 대한 증강 현실 콘텐츠의 음성 기반 선택
CN108984730A (zh) 一种搜索方法和搜索设备
EP4315325A1 (en) Neural networks for changing characteristics of vocals
CN107050851B (zh) 一种游戏内容效果的声音加强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant