CN111433786B - 计算设备和计算设备的信息输入方法 - Google Patents

计算设备和计算设备的信息输入方法 Download PDF

Info

Publication number
CN111433786B
CN111433786B CN201880077282.1A CN201880077282A CN111433786B CN 111433786 B CN111433786 B CN 111433786B CN 201880077282 A CN201880077282 A CN 201880077282A CN 111433786 B CN111433786 B CN 111433786B
Authority
CN
China
Prior art keywords
text
input
screen
information
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077282.1A
Other languages
English (en)
Other versions
CN111433786A (zh
Inventor
韩俊圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111433786A publication Critical patent/CN111433786A/zh
Application granted granted Critical
Publication of CN111433786B publication Critical patent/CN111433786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供基于机器学习和人工智能来分类和存储输入信息并自动输入所存储的信息的方法和设备。根据示例性实施方式，使用机器学习来分类和存储输入信息，使用机器学习来识别待向其输入所存储的输入信息的输入项目，并且将所存储的输入信息输入到输入项目。

Description

计算设备和计算设备的信息输入方法
技术领域
本公开涉及计算设备、计算设备的信息输入方法和用于输入信息的用户界面，并且更具体地涉及用于使用机器学习来分类和存储输入信息并自动输入所存储的信息的方法和设备。
背景技术
人工智能(AI)系统是实施人类层次智能的计算机系统。与常规的基于规则的智能系统不同，AI系统是自己学习和判断并变得智能的系统。随着AI系统的使用越来越多，其具有更高的识别率并且更准确地理解用户的口味。因此，常规的基于规则的智能系统正逐渐被基于深度学习的AI系统所取代。
AI技术包括机器学习(深度学习)和利用机器学习的元素技术。
机器学习是自己分类/学习输入数据的特征的算法技术。元素技术是使用机器学习算法，诸如深度学习模拟人脑功能(诸如识别和判断)的技术。元素技术适用于诸如语言理解、视觉理解、推理/预测、知识表示和运动控制等技术领域。
应用AI技术的各个领域如下。语言理解是用于识别和应用/处理人类语言/字符的技术并且包括自然语言处理、机器翻译、对话系统、问答和语音识别/合成。视觉理解是用于像人类视觉一样识别和处理对象的技术并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解和图像增强。推理/预测是用于通过判断信息来进行逻辑推断和预测的技术并且包括基于知识/概率的推理、优化预测、基于偏好的规划和推荐。知识表示是用于将人类经验信息自动化为知识数据的技术并且包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是用于控制车辆自主驾驶和机器人运动的技术并且包括运动控制(导航、碰撞、驾驶)和操作控制(行为控制)。
此外，正在开发各种互联网服务并将其提供给用户。为了使用各种互联网服务，经常需要用户向计算设备输入信息。例如，用户完成成员资格订阅程序或用户认证程序以便利用各种互联网服务。也就是说，用户必须重复输入与用户先前已经输入的信息相似的信息。因此，需要能够使得使用AI技术向计算设备输入信息更容易的方法和设备。
发明内容
技术问题
本公开的各方面提供了用于使用机器学习来分类和存储输入信息的方法和设备。
本公开的各方面还提供了通过使用机器学习确定适合于输入项目的信息来自动输入信息的方法和设备。
然而，本公开的各方面不限于本文陈述的内容。通过参考下面对本公开的详细描述，本公开的上述和其他方面对于本公开所属领域的普通技术人员将变得更加明显。
解决方案
根据本公开的示例性实施方式的计算设备包括：处理器和存储器，存储器存储将由处理器执行的一个或多个操作，其中操作可以包括：通过第一用户界面接收输入信息的操作；输出第二用户界面的操作；使用通过执行机器学习生成的文本分类模型来监视第二用户界面中是否包括输入项目的操作；以及当在第二用户界面中包括输入项目时将输入到第一用户界面的输入信息输入到输入项目的操作。
此外，根据另一示例性实施方式，监视是否在第二用户界面中包括输入项目的操作可以包括：从显示第二用户界面的屏幕获得文本的操作；以及通过基于将文本输入到文本分类模型的结果识别包括在屏幕中的字段名，来确定第二用户界面中是否包括输入项目的操作。
此外，根据另一示例性实施方式，在输入输入信息的操作中，可以基于所识别的字段名来确定输入信息，并且可以将所确定的输入信息输入到与所识别的字段名相关的输入项目。
此外，根据另一示例性实施方式，获得文本的操作可以包括：捕获屏幕的操作；以及通过对屏幕的所捕获图像执行图像识别来获得文本的操作。
此外，根据另一示例性实施方式，获得文本的操作可以包括：获得配置第二用户界面的源代码的操作；通过将源代码输入到文本分类模型来识别源代码中所包括的注释和标识符的操作；以及存储具有分配给标识符的信息作为输入信息的数据集的操作。
此外，根据另一示例性实施方式，输入输入信息的操作可以包括：在与输入信息匹配的认证信息存在的情况下接收用户认证信息的操作；以及在认证信息与所接收的用户认证信息匹配的情况下输入输入信息的操作。
根据本公开的示例性实施方式的计算设备包括：处理器和存储器，存储器存储将由处理器执行的一个或多个操作，其中操作可以包括：通过第一用户界面接收输入信息的操作；基于通过将从第一用户界面获得的第一文本输入到通过执行机器学习生成的文本分类模型而获得的文本分类模型的输出数据，来存储包括具有输入信息作为值的字段的数据集的操作；输出具有输入项目的第二用户界面的操作；从第二用户界面获得第二文本的操作；通过将第二文本输入到文本分类模型来识别包括在第二用户界面中的字段名的操作；以及将数据集中的对应于所识别的字段名的字段的值自动输入到对应于所识别的字段名的输入项目的操作。
此外，根据另一示例性实施方式，存储数据集的操作可以包括：捕获输入信息已经输入到的第一屏幕的操作；从第一屏幕的所捕获图像中提取第一文本的操作；以及作为将第一文本输入到文本分类模型的结果从第一文本获得按字段分类的输入信息的操作。
此外，根据另一示例性实施方式，存储数据集的操作可以包括：获得配置第一用户界面的源代码的操作；通过将源代码输入到文本分类模型来识别源代码中所包括的注释和标识符的操作；以及存储具有分配给标识符的信息作为输入信息的数据集的操作。
此外，根据另一示例性实施方式，操作还可以包括使用通过执行机器学习生成的文本分类模型来监视第一用户界面中是否包括分类为待存储的信息的输入信息的操作，并且当在第一用户界面中包括输入信息时，可以执行存储数据集的操作。
此外，根据另一示例性实施方式，存储数据集的操作可以包括：接收用户认证信息的操作；以及将用户认证信息与字段和输入信息匹配并存储与字段和输入信息匹配的用户认证信息的操作。
此外，根据另一示例性实施方式，文本分类模型可以通过从服务器下载执行机器学习的结果来获得，并且可以在输入文本时输出按字段分类的文本。
另外，根据另一示例性实施方式，存储数据集的操作可以包括：显示文本分类模型的输出数据的操作；接收修改输出数据的请求的操作；以及获得基于修改请求修改输出数据的结果作为输入信息的操作。
此外，根据另一示例性实施方式，操作还可以包括在文本分类模型中反映修改请求的操作。
此外，根据另一示例性实施方式，字段可以包括第一字段和第二字段，存储数据集的操作可以包括对第一字段和第二字段进行优先级排序的操作，并且操作还可以包括显示存储在第一字段和第二字段中具有较高优先级的字段中的值的操作。
此外，根据另一示例性实施方式，字段可以包括第一字段和第二字段，输入项目可以包括对应于第一字段的第一输入项目和对应于第二字段的第二输入项目，并且自动输入字段的值的操作可以包括：选择存储在数据集的第一字段中的第一值的操作；以及在第一值被选择时将第一值输入到第一输入项目并将存储在第二字段中的第二值输入到第二输入项目的操作。
此外，根据另一示例性实施方式，输入项目可以包括多个项目，并且操作还可以包括：当自动输入到项目之一的信息改变时将输入到其他项目的信息改变为与该项目的已改变信息对应的信息的操作。
根据本公开的另一示例性实施方式的计算设备包括：显示器，其显示具有输入信息的第一用户界面；以及处理器，其执行使用文本分类模型从第一用户界面提取第一文本的操作，其中显示器还可以显示所提取的第一文本和用于选择是否存储第一文本的用户界面对象。
此外，根据另一示例性实施方式，如果第一文本包括待认证的信息，则显示器还可以显示用于接收认证信息的认证登记用户界面。
此外，根据另一示例性实施方式，计算设备还可以包括能够接收指纹信息的输入装置，并且处理器还可以执行将通过输入装置接收的指纹信息与第一文本匹配并存储与第一文本匹配的指纹信息的操作。
此外，根据另一示例性实施方式，显示器还可以显示重叠在屏幕上的浮动图标，并且计算设备还可以包括：触摸传感器，其耦接到显示器；以及输入装置，其通过触摸传感器接收在显示浮动图标的位置上的触摸输入作为存储命令。
此外，根据另一示例性实施方式，处理器可以当输入存储命令时基于浮动图标的位置来确定第一用户界面中的文本提取区域，并且提取包括在所确定的文本提取区域中的第一文本。
此外，根据另一示例性实施方式，输入装置可以接收用于修改所显示的第一文本的输入和用于选择用户界面对象的输入，并且处理器可以基于由输入装置接收的输入来执行存储所修改的第一文本的操作。
根据本公开的另一示例性实施方式的计算设备包括：显示器，其显示具有输入项目的第二用户界面；以及处理器，其确定是否针对输入项目执行自动输入命令，并且当确定执行自动输入命令时，使用文本分类模型识别第二用户界面中的字段名，其中当处理器执行自动输入命令时，显示器可以显示第二用户界面，其中基于字段名选择的值已经被输入到输入项目。
此外，根据另一示例性实施方式，处理器可以基于第二用户界面中是否识别到字段名来确定第二用户界面中是否包括所述项目，并且可以在第二用户界面中包括输入项目时执行自动输入命令。
此外，根据另一示例性实施方式，如果所识别的字段名是与待认证的信息有关，则显示器还可以显示用于接收认证信息的认证用户界面。
此外，根据另一示例性实施方式，计算设备还可以包括：输入装置，其可以接收指纹信息；以及存储装置，其将所识别的字段名与值和指纹信息相匹配并存储与值和指纹信息相匹配的字段名，并且当通过输入装置接收的指纹信息与存储在存储装置中的指纹信息相匹配时，显示器可以显示第二用户界面，其中值已经被输入到输入项目。
此外，根据另一示例性实施方式，显示器还可以显示重叠在屏幕上的浮动图标，计算设备还可以包括：触摸传感器，其耦接到显示器；以及输入装置，其通过触摸传感器接收在显示浮动图标的位置上的触摸输入，并且当输入装置接收到在显示浮动图标的位置上的触摸输入时，处理器可以执行自动输入命令。
此外，根据另一示例性实施方式，处理器可以在输入自动存储命令时基于浮动图标的位置来确定第二用户界面中的信息输入区域，并且识别包括在所确定的信息输入区域中的输入项目和与输入项目对应的字段名。
此外，根据另一示例性实施方式，第二用户界面可以包括第一输入项目和第二输入项目，并且显示器可以显示对应于第一输入项目的值列表，并且当通过输入装置接收到用于从值列表中选择第一值的输入时，显示器可以显示第二用户界面，其中第一值已经被输入到第一输入项目并且与第一值对应的第二值已经被输入到第二输入项目。
根据本公开的另一示例性实施方式的信息输入方法包括：通过第一用户界面接收输入信息；输出第二用户界面；使用通过执行机器学习生成的文本分类模型来确定是否在第二用户界面中包括输入项目；以及当在第二用户界面中包括输入项目时，将输入到第一用户界面的输入信息输入到输入项目。
根据本公开的另一示例性实施方式的信息输入方法包括：通过第一用户界面接收输入信息；通过将从第一用户界面获得的第一文本输入到通过执行机器学习生成的文本分类模型，来获得文本分类模型的输出数据；基于输出数据存储包括具有输入信息作为值的字段的数据集；显示第二用户界面；从第二用户界面获得第二文本；通过将第二文本输入到文本分类模型来识别包括在第二用户界面中的字段名；以及将数据集中的与所识别的字段名对应的字段的值自动输入到与所识别的字段名对应的输入项目。
此外，根据另一示例性实施方式，数据集的存储可以包括：捕获显示输入信息已经被输入到的第一用户界面的第一屏幕；从第一屏幕的所捕获图像中提取第一文本；以及作为将第一文本输入到文本分类模型的结果从第一文本获得按字段分类的输入信息。
此外，根据另一示例性实施方式，存储数据集可以包括：获得配置第一用户界面的源代码；通过将源代码输入到文本分类模型来识别源代码中所包括的注释和标识符；以及存储具有分配给标识符的信息作为输入信息的数据集。
此外，根据另一示例性实施方式，数据集的存储可以包括：如果与输入信息匹配的字段是待认证的字段，则接收用户认证信息；以及将用户认证信息与字段和输入信息进行匹配并存储与字段和输入信息匹配的用户认证信息。
此外，根据另一示例性实施方式，数据集的存储可以包括：显示文本分类模型的输出数据；接收修改输出数据的请求；获得基于修改请求修改输出数据的结果作为输入信息；以及在文本分类模型中反映修改请求。
此外，根据另一示例性实施方式，字段可以包括第一字段和第二字段，数据集的存储可以包括对第一字段和第二字段进行优先级排序，并且信息输入方法还可以包括显示存储在第一字段和第二字段中具有较高优先级的字段中的值。
此外，根据另一示例性实施方式，字段可以包括第一字段和第二字段，输入项目可以包括对应于第一字段的第一输入项目和对应于第二字段的第二输入项目，并且字段的值的自动输入可以包括：选择存储在数据集的第一字段中的第一值；以及在选择第一值时将第一值输入到第一输入项目并将存储在第二字段中的第二值输入到第二输入项目。
另外，根据另一示例性实施方式，输入项目可以包括多个项目，并且信息输入方法还可以包括当自动输入到多个项目之一的信息被改变时，将输入到其他项目的信息改变为与项目的已改变信息对应的信息。
根据本公开的示例性实施方式的提供用户界面的方法包括：显示具有输入信息的第一用户界面；接收用于输入信息的存储命令；以及显示使用文本分类模型从第一用户界面提取的第一文本和用于选择是否存储第一文本的用户界面对象。
此外，根据另一示例性实施方式，提供用户界面的方法还可以包括如果第一文本包括待认证的信息，则显示用于接收认证信息的认证登记用户界面。
此外，根据另一示例性实施方式，提供用户界面的方法还可以包括：接收指纹信息；以及将所接收的指纹信息与第一文本匹配并存储与第一文本匹配的指纹信息。
此外，根据另一示例性实施方式，还可以在第一用户界面的显示中显示重叠在屏幕上的浮动图标，并且可以在存储命令的接收中接收在显示浮动图标的位置上的触摸输入作为存储命令。
此外，根据另一示例性实施方式，可以在输入存储命令时基于浮动图标的位置确定的文本提取区域中显示第一文本。
根据本公开的另一示例性实施方式的提供用户界面的方法包括：显示具有输入项目的第二用户界面；确定是否针对输入项目执行自动输入命令；当确定执行自动输入命令时，使用文本分类模型识别第二用户界面中的字段名；以及显示第二用户界面，其中基于字段名选择的值已经被输入到输入项目。
根据另一示例性实施方式，提供用户界面的方法还可以包括如果所识别的文件名是关于待认证的信息，则显示用于接收认证信息的认证用户界面。
根据另一示例性实施方式，计算系统可以包括存储装置，其将所识别的字段名与值和指纹信息相匹配并且存储与值和指纹信息相匹配的字段名，并且提供用户界面的方法还可以包括：接收指纹信息；以及当所接收的指纹信息与存储在存储装置中的指纹信息匹配时，显示值已经被输入到的第二用户界面。
根据另一示例性实施方式，还可以在第二用户界面的显示中显示重叠在屏幕上的浮动图标，并且可以在存储命令的接收中接收在显示浮动图标的位置上的触摸输入作为自动存储命令。
根据另一示例性实施方式，值的显示可以包括：在输入自动存储命令时基于浮动图标的位置来确定第二用户界面中的信息输入区域；以及识别包括在所确定的信息输入区域中的输入项目和对应于输入项目的字段名。
根据另一示例性实施方式，第二用户界面可以包括第一输入项目和第二输入项目，对应于第一输入项目的值列表可以在值列表的显示中显示，用于从值列表中选择第一值的输入可以在用于选择显示值的输入的接收中通过输入装置接收，并且第一值已经被输入到第一输入项目且与第一值对应的第二值已经被输入到第二输入项目的第二用户界面可以在值已经被输入到的第二用户界面的显示中显示。
发明的有益效果
计算设备能够使用机器学习容易地分类和存储输入到计算设备的信息。
计算设备能够通过使用机器学习确定适合于输入项目的信息来自动输入信息。
附图说明
结合附图，通过以下对示例性实施方式的描述，这些和/或其他方面将变得显而易见并且更容易了解，在附图中：
图1示出了根据示例性实施方式的用于执行信息输入方法的系统的配置；
图2示出了根据示例性实施方式的分类和存储输入信息的过程；
图3示出了根据示例性实施方式的计算设备如何从屏幕中提取文本；
图4示出了根据示例性实施方式的计算设备如何显示分类文本；
图5示出了根据另一示例性实施方式的计算设备如何从屏幕中提取文本；
图6示出了根据另一示例性实施方式的计算设备使用屏幕捕获和源代码中的一者或多者来提取文本的过程；
图7示出了根据示例性实施方式的计算设备提供用于分类和存储输入信息的用户界面的过程；
图8示出了根据示例性实施方式的登记用于输入信息的认证信息的过程；
图9示出了根据示例性实施方式的用于接收认证信息的用户界面；
图10示出了根据示例性实施方式的基于对所获得的输入信息的用户反馈来存储数据集的过程；
图11示出了根据示例性实施方式的用于接收对所获得的输入信息的用户反馈的用户界面；
图12示出了根据示例性实施方式的向用户界面的输入项目自动输入信息的过程；
图13是根据示例性实施方式的用于解释计算设备如何识别用户界面的输入项目的概念的图；
图14示出了根据示例性实施方式的计算设备通过选择代表性字段名来输入信息的情况；
图15示出了根据示例性实施方式的输入到一个输入项目的信息被改变的情况；
图16示出了根据示例性实施方式的使用浮动图标输入信息的情况；
图17示出了根据另一示例性实施方式的使用浮动图标输入信息的情况；
图18示出了根据示例性实施方式的计算设备的配置；
图19通过功能示出了根据示例性实施方式的输入信息处理操作的配置；
图20示出了图18的计算设备创建数据集的过程；
图21示出了图18的计算设备在具有输入项目和对输入项目的输入值的用户界面中识别对应于输入项目的字段名的过程；
图22示出了根据示例性实施方式的数据集的配置；
图23到图26示出了根据另一示例性实施方式的输入信息的情况；以及
图27示出了根据另一示例性实施方式的输入信息的情况。
具体实施方式
用于实现发明的优选方式
根据本公开的示例性实施方式的计算设备包括：处理器和存储器，该存储器存储将由处理器执行的一个或多个操作，其中操作可以包括：通过第一用户界面接收输入信息的操作；输出第二用户界面的操作；使用通过执行机器学习生成的文本分类模型来监视是否在第二用户界面中包括输入项目的操作；以及当在第二用户界面中包括输入项目时将输入到第一用户界面的输入信息输入到输入项目的操作。
用于实现发明的实施方式
在下文中，将参考附图详细描述本公开的示例性实施方式。通过参考以下对示例性实施方式和附图的详细描述，可以更容易理解本公开的优点和特征以及实现这些优点和特征的方法。然而，本公开可以以许多不同形式体现，并且不应解释为限于本文阐述的示例性实施方式。相反，提供这些示例性实施方式以使得本公开将是彻底和完整的，且其将向本领域的技术人员充分传达本公开的概念，并且本公开将仅由所附权利要求书限定。在整个说明书中，相同的参考标号指代相同的元件。
除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。还将理解，术语(诸如在常用词典中定义的术语)应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且不会以理想化或过于正式的意义来解释，除非在本文中明确地如此定义。本文所使用的术语仅仅是为了描述特定的示例性实施方式，而不是为了限制本公开。如本文所使用的，单数形式旨在还包括复数形式，除非上下文另有明确指示。
尽管本文基于文本作为输入信息的代表性示例来描述本公开，但是通过应用相同的技术精神，本公开可以应用于其他输入信息。例如，即使当输入信息是图像时，也可以应用本公开。
下文将参考附图描述本公开的示例性实施方式。
图1示出了根据示例性实施方式的用于执行信息输入方法的系统的配置。根据当前示例性实施方式的系统可以包括文本分类模型训练设备10和一个或多个计算设备100a至100e。计算设备100a至100e可以是用户使用的用户终端。例如，计算设备100a至100e可以是诸如智能手机和智能手表等可穿戴设备或者诸如平板电脑、台式机和笔记本等计算设备。计算设备100a至100e还可以是向用户终端提供服务的服务器装置。
文本分类模型训练设备10使用训练数据执行机器学习训练。根据示例性实施方式的文本分类模型训练设备10可以使用人工神经网络执行机器学习训练。也就是说，文本分类模型训练设备10可以生成但不一定生成能够确定输入信息(例如，文本)属于哪个类别的分类模型。这里，训练数据可以是用户输入的信息的示例或者源代码中使用的注释和标识符的示例。这里，输入信息是指用户向计算设备输入的信息。例如，输入信息可以包括由用户输入到计算设备的个人信息，诸如姓名、性别、年龄和出生日期。此外，源代码是指用于配置用户界面的一组代码。例如，源代码可以包括html源代码。根据示例，文本分类模型训练设备10可以通过收集输入信息或源代码来获得训练数据。
在图1中，文本分类模型训练设备10被示出为与计算设备100a至100e分开的元件。然而，根据另一示例性实施方式，文本分类模型训练设备10可以包括在计算设备100a至100e中。也就是说，计算设备100a至100e可以配置为自身执行机器学习。
可以执行机器学习训练来生成确定文本中是否存在字段名或输入信息的模型，或者生成不仅确定文本中是否存在字段名或输入信息而且对字段名或输入信息进行分类的模型。机器学习训练可以使用能够生成分类模型的各种类型的算法，诸如-gram、人工神经网络、朴素贝叶斯和支持向量机(SVM)。在示例性实施方式中，上述类型的加密算法被分成多个不同加密算法，诸如互联网工程任务组(IETF)和国际标准化组织(ISO)标准中规定的sha-256、aes-128-cbc和hmac-128。
根据示例性实施方式，文本分类模型训练设备10可以选择性地从输入信息提取特征数据，并且使用所提取的特征数据执行机器学习训练。
根据一个示例，文本分类模型训练设备10可以解析源代码并生成与表征标识符性质的预先指定的关键词的分布相关的特征数据。关键词可以包含在源代码中所包括的注释或变量名中。
文本分类模型训练设备10可以经由网络200向计算设备100a至100e传输作为机器学习训练的结果生成的文本分类模型。文本分类模型可以包括定义模型的ML参数集。文本分类模型训练设备10可以使用周期性或非周期性更新的训练数据来更新文本分类模型，并且将更新的文本分类模型传输到计算设备100a至100e。
计算设备100a至100e可以接收并存储文本分类模型，并且根据预定义的设置或用户设置存储输入信息或将所存储的输入信息输入到输入项目。
图2示出了根据示例性实施方式的分类和存储输入信息的过程。图2所示的过程是从已经输入有输入信息的第一用户界面的第一屏幕获得文本，并通过使用文本分类模型基于所获得的文本来分类和存储输入信息的过程。
首先，在操作S210中，计算设备可以显示第一用户界面的第一屏幕。这里，第一用户界面可以使计算设备显示用于从用户接收信息的屏幕。也就是说，计算设备可以通过第一用户界面接收输入信息。例如，第一用户界面可以是在显示器上显示的应用程序的执行屏幕或网页。该应用程序可以是在用户级别处运行的软件。
接下来，在操作S220中，计算设备可以从第一屏幕获得第一文本。这里，第一屏幕是在计算设备的显示器上显示的屏幕。另外，第一屏幕可以是显示由用户输入的输入信息的屏幕。这里，输入信息可以以文本的形式来显示。虽然本文中描述了输入信息呈文本形式的示例性实施方式，但是输入信息可以表现为除文本形式以外的形式。根据示例性实施方式，在操作S220中，计算设备可以通过捕获第一屏幕来获得第一屏幕的图像。计算设备可以通过对第一屏幕的所获得图像执行图像识别来提取包括在第一屏幕中的第一文本。这里，第一文本是指被确定为输入到第一用户界面的输入信息的文本。例如，计算设备可以通过将光学字符识别(OCR)程序应用于第一屏幕的图像来提取包括在第一屏幕中的文本。
接下来，在操作S230中，计算设备可以通过将所获得的第一文本输入到文本分类模型来获得输出数据。这里，如果在第一文本中检测到由用户输入的输入信息，则文本分类模型可以输出所输入的第一文本中的输入信息和输入信息的类别中的至少一者。文本分类模型是基于与用户输入的文本属于哪个类别有关的训练数据来生成的模型，并且可以确定文本很可能属于哪个类别。根据示例性实施方式，计算设备可以使用除上述方法之外的方法获得文本和输入信息。例如，计算设备可以通过获得配置第一用户界面的源代码并识别在源代码中所包含的注释和标识符，来获得输入信息以获得分配给标识符的信息。在这种情况下，文本分类模型可以通过学习各种源代码来确定哪个类别的信息被分配给标识符，并且因此确定出分配给标识符的输入信息属于所确定的类别。
计算设备可以基于文本分类模型的输出数据来创建数据集。数据集是具有作为与输入信息的类别对应的字段的值的输入信息的数据。此外，数据集的每个字段可以具有字段名。根据示例性实施方式，可以为每个用户创建一个数据集。例如，由一个用户输入的文本“Kildong Hong”、“18082017”、“0108765421”和“Sungchon-gil Umyeon-dong,Seoul”是具有字段名“姓名”、“出生日期”、“移动电话号码”和“地址”的字段的值的数据可以形成一个数据集。计算设备可以存储基于输出数据来创建的数据集。这里，计算设备可以使用计算设备中所包括的存储装置来存储数据集，但是还可以将数据集存储在物理上与计算设备分开的存储装置(诸如云存储装置)中。
根据示例性实施方式，计算设备可以通过周期性地重复操作S220和S230来监视第一用户界面。在计算设备正在监视第一用户界面时，如果在显示第一用户界面的第一屏幕中包括分类为待存储的文本的第一文本，则在操作S240中，计算设备可以确定存储通过执行操作S230来获得的输出数据(例如，第一文本)。也就是说，使用通过机器学习生成的模型监视所显示的屏幕，当在第一屏幕中包括待存储的信息(例如，第一文本)时，计算设备可以确定是否自动存储信息。因此，计算设备可以通过使用人工智能来识别和存储待存储的信息。根据示例性实施方式，计算设备可以通过显示装置、通信接口等输出待存储的信息(例如，第一文本)。
根据另一示例性实施方式，当存储命令被输入到计算设备时，可以执行操作S220到S240。也就是说，当用户向计算设备输入用于存储屏幕上所显示的信息的存储命令时，计算设备可以存储屏幕上所显示的信息。从用户接收存储命令的方法可以根据示例性实施方式而变化。例如，可以选择浮动图标，或者可以使用对应于存储命令的语音输入，以便将存储命令输入到计算设备。
图3示出了根据示例性实施方式的计算设备如何从屏幕提取文本。
参考图3，计算设备100可以显示第一用户界面的第一屏幕310。图3所示的第一用户界面是用于接收订阅网络服务所需的个人信息的网页。计算设备100可以通过捕获第一屏幕310来获得图像。计算设备100可以通过对第一屏幕310的所捕获图像应用OCR来从第一屏幕310提取文本320。
计算设备100可以将所提取的文本320输入到文本分类模型，并且因此检测到用户输入的输入信息是文本320中的“Kildong Hong”、“Sungchon-gil Umyeon-dong,Seoul”和“010 87654 4321”。此外，计算设备100可以基于文本分类模型的输出，来确定出用户输入的信息属于姓名、地址和电话号码的类别。
计算设备100可以显示经分类的输入信息。图4示出了根据示例性实施方式的计算设备如何显示分类文本。
参考图4，在存储输入信息的阶段处，计算设备100可以在存储输入信息之前显示经分类的输入信息，并且显示用于从用户接收与输入信息的存储有关的确认的消息400。消息400可以包括经分类的输入信息的类别名称410和输入信息420。当用户响应于消息400向计算设备100输入存储执行命令时，计算设备100可以存储数据集，在数据集中输入信息420作为字段名存储在具有类别名称410的字段中。从用户接收存储执行命令的方法可以根据示例性实施方式而改变。例如，可以选择所显示的消息400中包括的保存按钮430，或者可以使用指示存储执行的语音输入来向计算设备100输入存储执行命令。
图5示出了根据另一示例性实施方式的计算设备如何从屏幕提取文本。具体地，图5示出了计算设备使用源代码520获得输入信息的示例。
计算设备可以获得配置用户界面510的源代码520。例如，如图5所示，在以超文本标记语言(HTML)构造的用户界面510的情况下，计算设备获得用于实施网页的源。
计算设备可以将所获得的源代码输入到文本分类模型。这里，文本分类模型可以是通过对源代码中所包括的注释和标识符执行机器学习而生成的模型。例如，如果网页开发者将用于通常接收姓名的标识符指定为“姓名”并且将诸如“成员资格订阅所需的形式”的文本输入到相关注释，则文本分类模型可以学习这点并且将“姓名”标识为用于接收姓名的标识符。通过将源代码输入到文本分类模型，计算设备可以在源代码中识别分配给由用户输入的输入信息的标识符。
接着，当用户将输入信息输入到计算设备时，计算设备可以获得分配给标识符的信息作为输入信息。此外，计算设备可以基于所获得的输入信息来创建和存储数据集。
图6示出了根据另一示例性实施方式的计算设备使用屏幕捕获和源代码中的一者或多者提取文本的过程。
首先，在操作S610中，计算设备可以确定是否能够捕获显示第一用户界面的屏幕。例如，可能无法捕获已经应用反屏幕捕获功能的网页。
如果能够捕获屏幕，则在操作S621中，计算设备可以捕获图像并对所捕获的图像执行图像识别。接着，在操作S622中，计算设备可以提取作为执行图像识别的结果的文本。此外，计算设备可以使用文本分类模型识别所提取的文本中的输入信息。
此外，在操作S630中，计算设备可以确定是否能够获得用于第一用户界面的源代码。例如，在通过程序代码不能被直接识别的程序配置的用户界面的情况下，不能获得源代码。如果不能获得源代码，则在操作S623中，计算设备可以基于在操作S622中所提取的文本中识别的输入信息来存储数据集。如果在操作S630中获得源代码，则在操作S641中，计算设备可以识别所获得的源代码中的注释和标识符。接着，在操作S642中，计算设备可以获得分配给所识别的标识符的信息。如果在操作S642中获得信息，则计算设备可以基于在操作S642中获得的信息来修改在操作S622中提取的文本，基于所修改的文本来将输入信息构造成数据集，并且存储该数据集。也就是说，从源代码获得的信息可以用作补充信息以用于增加从所捕获图像获得的输入信息的准确性。
此外，如果在操作S610中不能捕获屏幕，则计算设备可以在操作S650中确定是否能够获得源代码。如果在操作S650中获得源代码，则在操作S661中，计算设备可以识别所获得的源代码中的注释和标识符。接着，在操作S662中，计算设备可以获得分配给所识别的标识符的信息。在这种情况下，在操作S663中，计算设备可以使用分配给标识符的信息作为输入信息来存储数据集。
如果屏幕捕获和源代码获取都不可能，则计算设备可以不执行输入信息的存储。根据示例性实施方式，计算设备可以输出告知没有所提取的输入信息的消息。
图7示出了根据示例性实施方式的计算设备提供用于分类和存储输入信息的用户界面的过程。
首先，当在操作S710中显示第一用户界面的第一屏幕时，计算设备可以在操作S720中接收存储命令。这里，存储命令可以以各种方式输入。例如，计算设备可以显示浮动图标，使得浮动图标重叠在第一屏幕上，并且用户可以选择或点击所显示的浮动图标来输入存储命令。对于另一示例，计算设备可以接收用于特定字词(诸如“信息存储”)的语音输入作为存储命令。根据另一示例性实施方式，操作S720可以由从第一屏幕提取第一文本并使用文本分类模型确定第一文本是否包括待存储的信息的操作代替。
当在操作S720中输入存储命令时，计算设备可以在操作S730中显示从第一屏幕提取的第一文本。根据示例性实施方式，在操作S730中，计算设备可以不显示从第一屏幕提取的整个文本，而是显示第一屏幕提取的文本中的、被识别为输入信息的文本。此外，根据示例性实施方式，在操作S730中，计算设备还可以显示用于选择是否存储所显示的第一文本的用户界面对象。根据示例性实施方式，用户界面对象可以是被提供来接收用户输入的软按钮。例如，计算设备可以显示图4所示的保存按钮430。
图8示出了根据示例性实施方式的登记输入信息的认证信息的过程。
首先，在操作S810中，计算设备可以基于通过执行图2的操作S210到S230获得的文本分类模型的输出数据来创建数据集。接着，在操作S820中，计算设备可以确定所创建的数据集中是否包括待认证的信息。这里，待认证的信息是指只能由认证的用户识别和使用的、诸如个人信息等信息。根据示例性实施方式，计算设备可以基于是否在数据集中包括分类为待认证的信息的字段名，来确定是否在数据集中包括待认证的信息。例如，计算设备可以向文本分类模型输入字段名，并且如果存在被判断为属于“个人信息”类别的字段名，则确定出数据集中包括待认证的信息。
当确定出数据集中包括待认证的信息时，计算设备可以在操作S830中接收认证信息。这里，认证信息是指用于认证用户的信息。例如，认证信息可以包括指纹、虹膜信息、面部识别信息和口令中的至少一者。在操作S830中，计算设备可以显示用于接收认证信息的用户界面。接着，在操作S840中，计算设备可以将所接收的认证信息与字段和输入信息进行匹配，并且存储与该字段和输入信息匹配的认证信息。作为操作S840的结果，当计算设备打算向待认证的字段自动输入信息时，如果存在与该字段匹配并一起存储的认证信息，则其可以在接收认证信息之后输出或输入所述输入信息。如果在操作S820中确定出数据集中不包括待认证的信息，则在操作S850中，可以在不输入认证信息的情况下存储数据集。
图9示出了根据示例性实施方式的用于接收认证信息的用户界面。
根据一个示例，计算设备100可以显示密码输入用户界面910以用于接收密码作为认证信息，如图9中的图(a)所示。当存储待认证的信息时，用户可以通过使用虚拟键盘920将密码输入到密码输入用户界面910来登记用于待认证的信息的密码。
根据另一示例，计算设备100可以显示请求指纹输入的消息930，如图9中的图(b)所示。用户可以检查消息930，并且通过计算设备100中提供的指纹识别器940输入指纹，从而登记用于待认证的信息的指纹信息。
图10示出了根据示例性实施方式的基于对所获得的输入信息的用户反馈来存储数据集的过程。
首先，在操作S1010中，计算设备可以通过执行图2的操作S210到S230来获得输入信息。接着，在操作S1020中，计算设备可以显示所获得的输入信息。这里，计算设备可以显示所获得的输入信息以及基于文本分类模型确定的输入信息的类别。例如，当识别出所获得的输入信息是“Kildong Hong”且输入信息的类别是“姓名”时，计算设备可以显示“姓名：Kildong Hong”。此外，在操作S1020中，计算设备可以在用户界面上显示输入信息以用于接收修改所显示的输入信息的请求。
如果在操作S1030中响应于通过显示输入信息的用户界面接收的用户修改请求而修改了输入信息，则在操作S1055中，计算设备可以存储具有在修改请求下修改的输入信息作为字段的值的数据集。另外，如果输入信息被修改，则在操作S1060中，计算设备可以在文本分类模型中反映修改请求的内容。根据示例性实施方式，可以通过改变用于在文本分类模型中对文本进行分类的权重集，来在文本分类模型中反映修改请求的内容。也就是说，计算设备可以改变文本分类模型的权重，以降低对于修改之后的相似文本将产生与修改之前的分类结果相同的分类结果的概率。这可以增加计算设备在操作S1010中将获得与用户的修改结果相同的结果作为输入信息的概率。这里，根据示例性实施方式，计算设备可以向文本分类模型训练设备10传输修改请求的内容，以便在文本分类模型中反映修改请求的内容，并且从文本分类模型训练设备10接收更新的文本分类模型。如果在操作S1030中没有修改输入信息，则在操作S1050中，计算设备可以基于未修改的输入信息来存储数据集。
图11示出了根据示例性实施方式的用于接收对所获得的输入信息的用户反馈的用户界面。
在图11中的图(a)的示例中，计算设备100识别出输入到用户界面中位于“电子邮件地址”附近的输入项目的kildong@ss.com 1100属于“地址”类别。这里，计算设备100因为“电子邮件地址”中的字词“地址”而将电子邮件地址“kildong@ss.com”1100识别为属于“地址”类别。在这种情况下，如果用户将“地址”项目修改为“Sungchon-gil Umyeon-dong,Seoul”，如图11中的图(b)中所示，则计算设备100可以调整文本分类模型的权重以降低在字词“电子邮件”存在于“地址”附近的情况下将“地址”字词附近输入的输入信息分类为“地址”类别的概率。
图12示出了根据示例性实施方式的向用户界面的输入项目自动输入信息的过程。
首先，在操作S1210中，计算设备可以显示第二用户界面的第二屏幕。这里，第二屏幕包括用户可以向其输入信息的输入项目。也就是说，第二屏幕可以指显示用户尚未输入信息的输入项目的屏幕。另外，第二屏幕是由不同于图2中提到的第一用户界面的第二用户界面配置的屏幕。例如，第一用户界面可以是网络服务的成员资格订阅页面，并且第二用户界面可以是身份验证服务的身份验证信息输入页面。
接下来，在操作S1220中，计算设备可以从第二屏幕获得第二文本。这里，第二文本是指用于识别输入项目的文本。根据示例性实施方式，第二文本可以由可用于识别输入项目的另一种信息形式(例如，图像)代替。例如，计算设备可以获得在第二屏幕中所包括的输入项目附近显示的输入项目的名称作为第二文本。获得第二文本的方法可以根据示例性实施方式而改变。根据示例性实施方式，计算设备可以捕获第二屏幕的图像，并接着通过对所捕获的图像进行图像识别来提取第二文本。
接下来，在操作S1230中，计算设备可以基于所获得的第二文本来识别第二屏幕中所包括的字段名。这里，字段名是指作为执行图2的过程的结果而存储的数据集中所包括的字段名。也就是说，计算设备可以识别数据集中所包括的字段名是否显示在第二屏幕上。例如，如果数据集中所包括的字段名是姓名、电话号码和地址并且第二文本包括姓名或签名、订阅屏幕和确认，则计算设备可以确定第二屏幕中所包括的姓名或签名类似于字段名“姓名”，并且因此识别出字段名“姓名”显示在第二屏幕上。
接下来，在操作S1240中，计算设备可以将与所识别的字段名对应的字段的值自动输入到显示所识别的字段名附近的或内部的输入项目中。例如，如果文本“姓名”显示在屏幕上所显示的文本框的左侧附近并且数据集中与“姓名”相对应的字段的值是“KildongHong”，则计算设备可以自动在文本框中输入“Kildong Hong”。
根据示例性实施方式，计算设备可以通过周期性地重复操作S1220和S1230来监视第二用户界面。通过监视第二用户界面，计算设备可以确定第二用户界面中是否包括需要输入信息的输入项目。在监视第二用户界面的同时，如果计算设备在显示第二用户界面的第二屏幕中识别出字段名，但没有识别出与该字段名对应的值，则可以确定第二用户界面具有需要输入信息的输入项目并且因此执行自动输入命令(即，执行操作S1240)。也就是说，通过使用通过机器学习生成的模型来监视屏幕，计算设备可以确定是否自动向所显示的屏幕输入信息。换句话说，计算设备可以通过利用人工智能来感知输入信息的上下文。
根据另一示例性实施方式，当自动输入命令被输入到计算设备时，可以执行操作S1220到S1240。也就是说，计算设备可以响应于用户的输入来使用所存储的数据集自动输入信息。
图13是根据示例性实施方式的用于解释计算设备如何识别用户界面的输入项目的概念的图。在图13的示例中，计算设备100显示用户界面1300的屏幕，用户界面1300包括用于从用户接收姓名、出生日期和移动电话号码的输入项目1321、1322和1323。
如果计算设备100已经通过执行图2的过程来存储了具有字段名“姓名”、“出生日期”和“移动电话号码”的数据集，则其可以在屏幕1300中识别与姓名1311、出生日期1312和移动电话号码对应的字段名(1311、1312和1313)。基于所识别的字段名，计算设备可以向输入项目1321输入数据集中的字段名(1311)为“姓名”的字段的值，向输入项目1322输入数据集中的字段名(1312)为“出生日期”的字段的值，并且向输入项目1323输入数据集中的字段名(1313)为“移动电话号码”的字段的值。
图14示出了根据示例性实施方式的计算设备通过选择代表性字段名来输入信息的情况。明确地说，图14示出了由计算设备存储的数据集包括多个集合的情况。此外，多个输入项目可以存在于待向其输入信息的用户界面中。
根据示例性实施方式，如果数据集包括第一字段和第二字段，则在图2的操作S240中，计算设备100可以对数据集的字段进行优先级排序。接着，计算设备100可以显示存储在第一字段和第二字段中具有较高优先级的字段中的值。这里，可以执行优先级排序以选择表示数据集的值。例如，在由字段“居民登记号码”、“姓名”、“出生日期”和“移动电话号码”组成的数据集中，“居民登记号码”可以具有第一优先级，“姓名”可以具有第二优先级，“出生日期”可以具有第四优先级，并且“移动电话号码”可以具有第三优先级。此外，显示在屏幕上的字段名可以是“姓名”、“出生日期”和“移动电话号码”，如图13所示。在这种情况下，计算设备可以将具有最高优先级的“姓名”确定为代表性字段。或者，依据示例性实施方式，可以执行优先级排序来指定代表性字段名和子字段名。在这种情况下，字段名已经被指定为代表性字段名的字段可以被认为具有最高优先级，而不管屏幕上显示的字段名如何。当指定了字段的优先级并且识别了显示屏幕中的字段名时，计算设备100可以显示存储在数据集内的高优先级字段中的值。也就是说，根据示例性实施方式的计算设备100可以显示存储在第一字段和第二字段中具有较高优先级的字段中的值，作为待存储在输入项目中的候选值的代表值。参考图14，计算设备100可以显示存储在多个数据集中的值当中的、存储在姓名字段中的值列表1400。
此外，如果第二用户界面包括对应于第一字段的第一输入项目和对应于第二字段的第二输入项目，则当第一字段的第一值被选择时，存储所选择的第一值的数据集的第二字段中所存储的第二值可以被输入到第二输入项目。再次参考图14，当从值列表中选择“Kildong Hong”时，计算设备100可以将姓名字段的值“Kildong Hong”输入到对应于姓名字段的输入项目1410。此外，计算设备100可以将存储在存储“Kildong Hong”的数据集的出生日期字段中的值“18082017”输入到与出生日期字段对应的输入项目1421。计算设备还可以将存储“Kildong Hong”的数据集的移动电话号码字段中所存储的值输入到输入项目1422。
图15示出了根据示例性实施方式的输入到一个输入项目的信息被改变的情况。
根据示例性实施方式，当输入到多个输入项目之一的信息被改变为存储在另一数据集中的信息时，输入到其他输入项目的信息也可以被改变为与输入项目的变化信息对应的信息，即，可改变为存储在另一数据集中的信息。参考图15，“Kildong Hong”已经被输入到显示在计算设备100上的姓名输入项目1510，“18082017”已经被输入到出生日期输入项目1521，并且“01087654321”已经被输入到移动电话号码输入项目1522。这里，如果输入信息“Kildong Hong”如在输入项目1530中那样被改变为“Sunshin Lee”，则计算设备100可以将输入到输入项目1521和1522的信息改变为存储在存储“Sunshin Lee”的数据集中的“28041545”和“01012345678”，如在出生日期输入项目1541和移动电话号码输入项目1542中那样。
图16示出了根据示例性实施方式的使用浮动图标输入信息的情况。
根据示例性实施方式，如图16中的图(a)所示，计算设备100可以显示浮动图标1610，使得浮动图标1610重叠在显示用户界面的屏幕上。显示为重叠在屏幕上的浮动图标1610可以被用户拖动到不同位置。
此外，根据示例性实施方式，当存储输入信息时，计算设备100可以通过使用浮动图标1610来确定待从中提取文本的第一屏幕的范围。或者，当存储输入信息时，计算设备100可以通过使用浮动图标1610来确定待在其中识别字段名的第二屏幕的范围。
参考图16中的图(b)，在显示浮动图标1610的状态下，计算设备100可以接收用于选择浮动图标1610的用户输入。例如，用户可以短暂触摸浮动图标1610显示在计算设备1610上的位置。在这种情况下，计算设备可以在显示浮动图标1610的位置周围设置感兴趣区域1620，并且可以将感兴趣区域1620内显示的屏幕确定为第一屏幕或第二屏幕。基于屏幕内的指定位置来设置感兴趣区域1620的方法可以使用常规方法来实施。计算设备100可以从在感兴趣区域内显示的文本中获得输入信息，或者可以向在感兴趣区域内显示的输入项目自动输入信息。根据示例性实施方式，计算设备100可以使用作为学习文本的结果生成的文本分类模型，来确定在感兴趣区域1620内显示的屏幕是第一屏幕还是第二屏幕。例如，如果在感兴趣区域1620中包括分类为诸如“姓名”的字段名的文本和分类为诸如“SunshinLee”的值的文本，则计算设备100可以将感兴趣区域1620内所显示的屏幕确定为第一屏幕。当确定感兴趣区域1620内所显示的屏幕是第一屏幕时，计算设备可以执行图2的操作S210到S240。在这种情况下，用于设置感兴趣区域1620的输入是存储命令。此外，如果分类为诸如“姓名”的字段名的文本存在于感兴趣区域1620中，但是分类为值的文本不存在于感兴趣区域1602中，则计算设备100可以将感兴趣区域1620内所显示的屏幕确定为第二屏幕。当确定感兴趣区域1620内所显示的屏幕是第二屏幕时，计算设备可以执行图12的操作S1210到S1240。在这种情况下，用于设置感兴趣区域1620的输入是自动输入命令。
此外，根据另一示例性实施方式，计算设备100可以使用拖动输入来确定第一屏幕或第二屏幕的范围。图17示出了根据另一示例性实施方式的使用浮动图标输入信息的情况。
根据当前示例性实施方式，在如图17中的图(a)所示显示浮动图标1610的状态下，可以接收用于选择浮动图标的输入。这里，输入可以是长时间或连续两次触摸浮动图标1610并且接着在保持触摸浮动图标1610的同时平移触摸位置的输入。参考图17中的图(b)，当接收到用于在保持触摸浮动图标1610的同时将浮动图标1610从第一位置1710移动到第二位置1720的输入时，计算设备100可以将可基于第一位置1710和第二位置1720确定的感兴趣区域1730确定为第一屏幕或第二屏幕。
现在将参考图18到图22描述根据另一示例性实施方式的计算设备的配置和操作。
在示例性实施方式中，提供了一种计算设备，其中在处理器上执行输入信息处理操作。图18中示出了根据当前示例性实施方式的计算设备的配置的示例。
如本文所使用，术语“操作”是指基于功能捆绑在一起并在处理器上执行的一系列指令。
首先，将参考图18描述根据当前示例性实施方式的计算设备的配置和操作。参考图18，根据当前示例性实施方式的计算设备100包括处理器101、存储器102和存储装置103。计算设备100还可以包括输入/输出接口104以及连接到网络20的网络接口105，输入/输出接口104接收用于执行应用程序的用户输入并提供诸如视频/音频等输出。此外，根据一些其他示例性实施方式，计算设备100还可以包括输入/输出装置106，其通过输入/输出接口104向计算设备100输入输入信息或者显示屏幕。系统总线BUS用作处理器101、存储器102、输入/输出接口104和存储装置103之间的数据发射/接收路径。存储器102可以是易失性数据存储装置，诸如随机存取存储器(RAM)。存储装置103可以是诸如闪存等非易失性存储器或者诸如硬盘等数据存储装置。可替换地，存储装置103可以是物理上与计算设备100分开的存储装置(诸如云存储装置)。
存储装置103可以存储输入信息处理程序1831和数据集1832。输入信息处理程序1831可以包括由用于执行输入信息处理操作的多个操作组成的可执行代码。可执行代码可以被加载并存储在存储器102中(1822)。数据集1832可以是数据的组合，所述数据具有由用户输入的输入信息作为每个字段的值，并且其中每个字段的字段名存储在如图22所示的指定配置中。根据示例性实施方式，彼此相关联的输入信息的组合可以存储为一个数据集。例如，参考图22，用于名为“Kildong Hong”的用户的输入信息可以存储为第一数据集1832a，而用于名为“Sunshin Lee”的另一用户的输入信息可以存储为第二数据集1832b。根据另一示例性实施方式，数据集1832可以以数据库的形式进行存储。
存储器102加载并存储存储在存储装置103中的可执行代码(或二进制代码)。执行代码由多个操作组成。处理器101取出存储在存储器102中的操作并执行所取出的操作(1812)。处理器101可以通过系统总线BUS接收存储在存储器中的操作。
当计算设备100被启动时，与安装在计算设备100中的操作系统相关的数据被加载并存储在存储器102中。在图18中，示出了加载到存储器102中的操作系统相关操作1821。操作系统相关操作1821在处理器101上执行(1811)。存储器102可以存储从文本分类模型训练设备接收的文本分类模型相关数据1823。此外，存储器102可以加载并存储用于实施已经从用户接收信息的第一用户界面1824的源代码、以及用于实施包括用于从用户接收信息的输入项目的第二用户界面1825的源代码。第一用户界面1824和第二用户界面1825可以由处理器101执行以经由输入/输出接口104分别向显示器1861输出第一屏幕和第二屏幕。
根据示例性实施方式，计算设备100的处理器101执行从用户界面提取文本的操作，以执行输入信息处理操作1822。因此，如图19所示，输入信息处理操作1822可以包括文本获取操作1910。这里，文本获取操作1910的详细特征可以根据示例性实施方式而改变。例如，文本获取操作1910可以是如上所述识别屏幕的捕获图像中的文本的操作或者获得配置用户界面的源代码的操作。
当存储从用户界面提取的文本时，计算设备可以执行图19所示的输入信息处理操作1822中所包括的数据集存储操作1920。计算设备100可以将从第一屏幕提取的文本输入到文本分类模型1823。计算设备100可以获得关于文本中是否存在输入信息以及关于输入信息的类别的数据作为文本分类模型1823的输出数据。此时，可以执行数据集存储操作1920中所包括的文本分类器操作1921。
此外，计算设备100可以基于文本分类模型1823的输出数据来创建数据集1832，数据集1832由具有输入信息作为值的字段组成，并且将数据集1832存储在存储装置103中。此时，可以执行数据集存储操作1920中所包括的数据集创建操作1922。
参考图20，计算设备100可以通过对用户界面屏幕1824-1执行文本获取操作1910来提取文本，将所提取的文本输入到文本分类模型1823并通过执行文本分类器操作1921来获得输出数据，并且通过对输出数据执行数据集创建操作1922来创建数据集。
此外，根据示例性实施方式，计算设备100的处理器101可以执行图19的输入信息处理操作1822中所包括的信息输入操作1930，以便执行将存储在数据集中的输入信息自动输入到用户界面的输入项目的过程。计算设备100可以将通过执行文本获取操作1910来获得的文本输入到文本分类模型。图19中示出了此时可以执行的文本分类器操作1931。计算设备100可以在文本分类模型的输出数据中识别与所提取的文本对应的数据集的字段名。图19中示出了此时可以执行的字段名识别操作1932。一旦识别出字段名，计算设备100便可以将存储在具有识别出的字段名的字段中的值输入到输入项目。图19中示出了此时可以执行的值输入操作1933。
也就是说，参考图21，计算设备100可以通过对用户界面屏幕1825-1执行文本获取操作1910来提取文本，将所提取的文本输入到文本分类模型1823并通过执行文本分类器操作1931来获得输出数据，并且通过对输出数据执行字段名识别操作1932来识别字段名。此外，计算设备100可以通过执行值输入操作1933，来将存储在对应于所识别的字段名的字段中的值输入到输入项目。
根据另一示例性实施方式，输入信息处理操作1822可以包括以下操作：当将从第一用户界面提取的文本作为输入信息存储在数据集中时，如果输入信息包括待存储在待认证的字段中的信息，则在用户输入信息中登记认证信息。另外，输入信息处理操作1822可以包括以下操作：当向第二用户界面输入输入信息时，接收认证信息，并且在显示待输入到第二用户界面的输入信息之前，将所接收的认证信息与所登记的认证信息进行比较，或者如果存在用于输入信息的登记认证信息，则将输入信息输入到第二用户界面。在当前示例性实施方式中，计算设备100可以通过输入/输出装置106中所包括的输入装置1862接收认证信息。这里，输入装置1862可以根据认证信息的类型来不同地配置。例如，如果认证信息是指纹信息，则输入装置1862可以包括指纹读取器。如果认证信息是密码，则输入装置1862可以包括用于通过虚拟小键盘上的触摸输入来输入密码的触摸屏。
根据另一示例性实施方式，当通过输入装置1862接收存储命令或自动输入命令时，计算设备100可以存储输入信息或向用户界面的输入项目输入信息。如上所述，存储命令或自动输入命令的形式可以依据示例性实施方式而变化。例如，计算设备100可以通过经由触摸屏接收浮动图标上的触摸输入或者通过经由麦克风接收语音输入来接收存储命令或自动输入命令。
根据另一示例性实施方式，从第一用户界面获得输入信息并存储数据集的第一计算设备和将存储在数据集中的输入信息输入到第二用户界面的第二计算设备可以被提供为单独的设备。在这种情况下，数据集可以存储在第一计算设备和第二计算设备能够访问的云存储装置中。
图23到图26示出了根据另一示例性实施方式的具有显示器的计算设备100输入信息的情况。根据示例性实施方式，从第一屏幕提取并且接着存储的输入信息可以不是由用户输入的信息。
参考图23，计算设备100可以通过运行网络浏览器或应用程序来在显示器上显示输入信息。这里，输入信息可以包括显示器上所显示的页面中包括的文本、图像等。当输入存储命令时或者当作为监视显示器上所显示的屏幕的结果，计算设备100确定在屏幕中包括预期要存储的信息时，计算设备100可以通过执行图2的过程来使用文本分类模型从第一屏幕提取输入信息(例如，第一文本)。也就是说，使用通过机器学习来学习的模型，计算设备100可以确定第一屏幕或第一用户界面是否包括需要存储的信息。此外，计算设备100可以存储使用所提取的输入信息创建的数据集。
参考图24，计算设备100可以基于图23的计算设备100上所显示的屏幕，来存储具有“型号”、“相机”、“安全性”和“图像”字段的数据集1832c。
此外，参考图25，计算设备100可以显示用于创建文档的第二用户界面的第二屏幕。这里，第二用户界面可以例如是文字处理器、电子表格或演示文档创建软件中所包括的用户界面，演示文档创建软件可创建文档并将所创建的文档存储为文件。对于另一示例，第二用户界面可以是网络浏览器上所显示的帖子创建页面以创建待上传到网页的帖子。
当在显示第二屏幕的同时接收到自动输入命令时，计算设备100可以将数据集中所包括的信息输入到输入项目。或者，计算设备100可以通过监视所显示的屏幕来确定信息输入对于第二屏幕是否是必要的。当确定信息输入是必要的时，计算设备100可以将数据集中所包括的信息输入到输入项目。也就是说，计算设备100可以通过将从第二屏幕提取的信息输入到通过机器学习生成的模型，来确定第二屏幕是否是需要信息输入的屏幕。这里，通过机器学习生成的模型可以是用于确定从第二屏幕提取的文本或图像是否是包括在需要信息输入的屏幕中的信息的模型。参考图25的示例，计算设备100可以确定从屏幕提取的文本(诸如文件、主页、插入、字词、文档和布局)是很可能被包括在用于文档创建的用户界面中的字词。因此，计算设备100可以确定计算设备100上所显示的屏幕是需要信息输入的屏幕。另外，如果通过捕获屏幕来获得的图像包括指示文字处理器的图像，则计算设备100可以确定该屏幕是需要信息输入的屏幕。
另外，当确定出所显示的屏幕需要信息输入时，计算设备100可以确定待输入到输入项目的信息是否存在于数据集中。例如，当所提取的文本包括“智能手机S8”时，计算设备100可以确定图24所示的数据集1832c中所包括的信息很可能是待输入到信息输入区域2520的信息。具体地，当确定数据集1832c中所包括的信息在标题输入区域2510中显示时，计算设备100可以对在标题输入区域210中输入的信息赋予权重。因此，计算设备100可以确定数据集1832c中所包括的信息比当在其他区域中显示时更可能被输入到信息输入区域2520。
图26示出了输入图24的数据集1832c中所包括的信息的结果。当在第二屏幕中所包括的信息中识别出与数据集1832c中包括的字段名或值对应的信息时，计算设备100可以基于数据集1832c以表格610或图像2620的形式输入所识别的信息。
图27示出了根据另一示例性实施方式的输入信息的情况。参考图27中的图(a)，计算设备可以创建待发送给联系人的消息并且显示第一屏幕2711，第一屏幕2711示出了与联系人交换的消息2720。这里，计算设备可以存储包括在消息2720中的第一文本。此时，计算设备可以选择包括在第一文本中的关键词，通过使用文本分类模型来将关键词与字段名匹配，并且将关键词存储在数据集的字段中。例如，计算设备可以在字段名为“地址”的字段中存储包括在第一文本中的关键词“Busan”。
参考图27中的图(b)，计算设备可以显示第二屏幕2712以用于创建待发送给另一联系人的消息。这里，计算设备可以使用所存储的第一文本生成第二文本。根据当前示例性实施方式，计算设备可以使用关于另一联系人的信息生成第二文本。计算设备可以收集关于联系人的信息。例如，计算设备可以通过信使应用程序从服务器获得联系人的用户信息(例如，地址等)。计算设备可以通过将所获得的用户信息和包括在第一文本中的关键词输入到通过机器学习生成的模型，来将所获得的用户信息与关键词进行比较。例如，如果所获得的用户信息对于“地址”项目具有“Seoul”值并且包括在第一文本中的关键词是存储在数据集的“地址”字段中的“Busan”，则计算设备可以将包括在第一文本中的“Busan”改变为“Seoul”以生成第二文本。此外，计算设备可以通过使用自然语言处理模型来在改变的关键词的上下文中生成第二文本。
参考图27中的图(b)，计算设备可以显示用于选择是否输入所生成的第二文本的消息2730。当包括在消息2730中的输入按钮2735被选择时，计算设备可以将包括第二文本的消息2740输入到第二屏幕2712的文本输入区域，如图27中的图(c)所示。
根据上述示例性实施方式的方法可以通过执行实施为计算机可读代码的计算机程序来执行。计算机程序可以通过诸如因特网等网络从第一计算设备传输到第二计算设备，并且可以安装在第二计算设备中并在第二计算设备中使用。第一计算设备和第二计算设备的示例包括固定计算设备，诸如服务器、属于用于云服务的服务器池的物理服务器以及台式PC。
计算机程序可以存储在诸如DVD-ROM或闪存等记录介质中。
尽管已经参考本公开的示例性实施方式明确示出和描述了本公开，但是本领域的普通技术人员将理解，在不脱离由所附权利要求书限定的本公开的精神和范围的情况下，可以在形式和细节上做出各种改变。示例性实施方式应当仅被认为是描述性的，而不是出于限制的目的。

Claims (12)

1.电子设备，包括：
显示器；
存储器；以及
至少一个处理器，所述至少一个处理器配置为进行控制以：
在所述显示器上显示第一应用程序的屏幕；
利用光学字符识别从所述第一应用程序的屏幕获取第一文本，所述第一文本是用户在所述第一应用程序的屏幕上输入的；
通过将所述第一文本输入到通过执行机器学习而生成的文本分类模型来获得输出数据，所述文本分类模型用于识别所述第一文本的类别且不同于所述光学字符识别，所述输出数据用作至少一个数据集的基础，所述至少一个数据集包括与所述类别对应的至少一个字段名和作为与所述至少一个字段名对应的值的所述输出数据；
在所述显示器上显示所述输出数据；
基于用于编辑所述输出数据的第一用户输入来编辑所述输出数据；
基于用于存储经编辑的输出数据的第二用户输入，在所述存储器中将所述经编辑的输出数据存储在所述至少一个数据集中作为与所述至少一个字段名对应的值；
在所述显示器上显示第二应用程序的第一屏幕；
获取所述第二应用程序的第一屏幕上的第二文本；
基于所述第二文本确定所述第二应用程序的第一屏幕中是否包括包含于所述至少一个数据集中的信息；以及
基于用于在所述第二应用程序的第二屏幕上提供所述经编辑的输出数据的第三用户输入，控制所述显示器显示所述第二应用程序的、包括所述经编辑的输出数据的第二屏幕。
2.根据权利要求1所述的电子设备，其中，所述第一用户输入包括：用于从所述输出数据中选择待编辑的文本的用户输入，以及用于编辑所选择的文本的用户输入。
3.根据权利要求2所述的电子设备，
其中，所述至少一个处理器还配置为：基于所述用于选择待编辑的文本的用户输入，控制所述显示器以将所述待编辑的文本显示为与其他文本区分开。
4.根据权利要求1所述的电子设备，其中，所述第一应用程序是用于创建电子表格文档的应用程序。
5.控制电子设备的方法，所述方法包括：
在所述电子设备的显示器上显示第一应用程序的屏幕；
利用光学字符识别从所述第一应用程序的屏幕获取第一文本，所述第一文本是用户在所述第一应用程序的屏幕上输入的；
通过将所述第一文本输入到通过执行机器学习而生成的文本分类模型来获得输出数据，所述文本分类模型用于识别所述第一文本的类别且不同于所述光学字符识别，所述输出数据用作至少一个数据集的基础，所述至少一个数据集包括与所述类别对应的至少一个字段名和作为与所述至少一个字段名对应的值的所述输出数据；
在所述显示器上显示所述输出数据；
基于用于编辑所述输出数据的第一用户输入来编辑所述输出数据；
基于用于存储经编辑的输出数据的第二用户输入，进行控制以将所述经编辑的输出数据存储在所述至少一个数据集中作为与所述至少一个字段名对应的值；
在所述显示器上显示第二应用程序的第一屏幕；
获取所述第二应用程序的第一屏幕上的第二文本；
基于所述第二文本确定所述第二应用程序的第一屏幕中是否包括包含于所述至少一个数据集中的信息；以及
基于用于在所述第二应用程序的第二屏幕上提供所述经编辑的输出数据的第三用户输入，控制所述显示器显示所述第二应用程序的、包括所述经编辑的输出数据的第二屏幕。
6.根据权利要求5所述的方法，其中，所述第一用户输入包括：用于从所述输出数据中选择待编辑的文本的用户输入，以及用于编辑所选择的文本的用户输入。
7.根据权利要求6所述的方法，还包括：
基于所述用于选择待编辑的文本的用户输入，进行控制以将所述待编辑的文本显示为与其他文本区分开。
8.根据权利要求5所述的方法，其中，所述第一应用程序是用于创建电子表格文档的应用程序。
9.非暂时性计算机可读记录介质，其上记录有指令，所述指令能够由至少一个处理器执行以执行以下操作：
显示第一应用程序的屏幕；
利用光学字符识别从所述第一应用程序的屏幕获取第一文本，所述第一文本是用户在所述第一应用程序的屏幕上输入的；
通过将所述第一文本输入到通过执行机器学习而生成的文本分类模型来获得输出数据，所述文本分类模型用于识别所述第一文本的类别且不同于所述光学字符识别，所述输出数据用作至少一个数据集的基础，所述至少一个数据集包括与所述类别对应的至少一个字段名和作为与所述至少一个字段名对应的值的所述输出数据；
显示所述输出数据；
基于用于编辑所述输出数据的第一用户输入来编辑所述输出数据；
基于用于存储经编辑的输出数据的第二用户输入，进行控制以将所述经编辑的输出数据存储在所述至少一个数据集中作为与所述至少一个字段名对应的值；
显示第二应用程序的第一屏幕；
获取所述第二应用程序的第一屏幕上的第二文本；
基于所述第二文本确定所述第二应用程序的第一屏幕中是否包括包含于所述至少一个数据集中的信息；以及
基于用于在所述第二应用程序的第二屏幕上提供所述经编辑的输出数据的第三用户输入，显示所述第二应用程序的、包括所述经编辑的输出数据的第二屏幕。
10.根据权利要求9所述的非暂时性计算机可读记录介质，其中，所述第一用户输入包括：用于从所述输出数据中选择待编辑的文本的用户输入，以及用于编辑所选择的文本的用户输入。
11.根据权利要求10所述的非暂时性计算机可读记录介质，其中，所述操作还包括：基于所述用于选择待编辑的文本的用户输入，进行控制以将所述待编辑的文本显示为与其他文本区分开。
12.根据权利要求9所述的非暂时性计算机可读记录介质，其中，所述第一应用程序是用于创建电子表格文档的应用程序。
CN201880077282.1A 2017-11-30 2018-04-03 计算设备和计算设备的信息输入方法 Active CN111433786B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170163447A KR102458338B1 (ko) 2017-11-30 2017-11-30 컴퓨팅 장치의 정보 입력 방법 및 그 컴퓨팅 장치
KR10-2017-0163447 2017-11-30
PCT/KR2018/003912 WO2019107674A1 (en) 2017-11-30 2018-04-03 Computing apparatus and information input method of the computing apparatus

Publications (2)

Publication Number Publication Date
CN111433786A CN111433786A (zh) 2020-07-17
CN111433786B true CN111433786B (zh) 2024-05-24

Family

ID=66665045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077282.1A Active CN111433786B (zh) 2017-11-30 2018-04-03 计算设备和计算设备的信息输入方法

Country Status (5)

Country Link
US (1) US20200202068A1 (zh)
EP (1) EP3676760A4 (zh)
KR (1) KR102458338B1 (zh)
CN (1) CN111433786B (zh)
WO (1) WO2019107674A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325494B (zh) * 2018-08-27 2021-09-17 腾讯科技（深圳）有限公司 图片处理方法、任务数据处理方法和装置
JP7403777B2 (ja) 2019-05-30 2023-12-25 ソウル大学校産学協力団 ウイルス感染及び活性抑制方法
CN112507999B (zh) * 2020-11-18 2024-04-05 南京航空航天大学 基于视觉特征的非侵入式用户界面输入项识别方法
KR102473736B1 (ko) * 2020-12-29 2022-12-19 주식회사 디자이노블 학습된 조건 기반의 디자인 생성 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043181A1 (en) * 1997-03-21 1998-10-01 Medical Talk Systems Limited Form data entry with matching of the field type
EP1043674A2 (en) * 1999-04-09 2000-10-11 Hewlett-Packard Company Method for retrieval, update and storage of data
EP2980694A2 (en) * 2014-07-31 2016-02-03 Samsung Electronics Co., Ltd Device and method for performing functions
CN106815224A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 服务获取方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205530A1 (en) * 2001-06-28 2004-10-14 Borg Michael J. System and method to automatically complete electronic forms
US7287054B2 (en) * 2002-05-31 2007-10-23 Microsoft Corporation Systems and methods for shared browsing among a plurality of online co-users
US7305129B2 (en) * 2003-01-29 2007-12-04 Microsoft Corporation Methods and apparatus for populating electronic forms from scanned documents
US7426496B2 (en) * 2004-03-03 2008-09-16 Microsoft Corporation Assisted form filling
US20050246661A1 (en) * 2004-04-30 2005-11-03 Udo Klein Associating physical items with recorded information
US8799234B2 (en) * 2010-07-12 2014-08-05 Microsoft Corporation Semantic entity manipulation using input-output examples
US7487214B2 (en) * 2004-11-10 2009-02-03 Microsoft Corporation Integrated electronic mail and instant messaging application
US8364711B2 (en) * 2006-05-09 2013-01-29 John Wilkins Contact management system and method
US8261200B2 (en) * 2007-04-26 2012-09-04 Fuji Xerox Co., Ltd. Increasing retrieval performance of images by providing relevance feedback on word images contained in the images
US7849398B2 (en) * 2007-04-26 2010-12-07 Xerox Corporation Decision criteria for automated form population
US9263045B2 (en) * 2011-05-17 2016-02-16 Microsoft Technology Licensing, Llc Multi-mode text input
US20130117044A1 (en) * 2011-11-05 2013-05-09 James Kalamas System and method for generating a medication inventory
US9582486B2 (en) * 2014-05-13 2017-02-28 Lc Cns Co., Ltd. Apparatus and method for classifying and analyzing documents including text
US10067919B2 (en) * 2015-12-04 2018-09-04 Verizon Patent And Licensing Inc. Feedback tool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043181A1 (en) * 1997-03-21 1998-10-01 Medical Talk Systems Limited Form data entry with matching of the field type
EP1043674A2 (en) * 1999-04-09 2000-10-11 Hewlett-Packard Company Method for retrieval, update and storage of data
EP2980694A2 (en) * 2014-07-31 2016-02-03 Samsung Electronics Co., Ltd Device and method for performing functions
CN106815224A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 服务获取方法和装置

Also Published As

Publication number Publication date
KR20190064129A (ko) 2019-06-10
US20200202068A1 (en) 2020-06-25
EP3676760A1 (en) 2020-07-08
EP3676760A4 (en) 2020-10-21
KR102458338B1 (ko) 2022-10-25
CN111433786A (zh) 2020-07-17
WO2019107674A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
CN111444428B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN112955893B (zh) 文档的自动超链接
GB2547068B (en) Semantic natural language vector space
US9792534B2 (en) Semantic natural language vector space
CN111433786B (zh) 计算设备和计算设备的信息输入方法
KR20190094314A (ko) 콘텐츠 기반의 스타일을 갖는 텍스트 또는 음성을 생성하는 인공 지능 장치 및 그 방법
US11176453B2 (en) System and method for detangling of interleaved conversations in communication platforms
US10970493B1 (en) Systems and methods for slot relation extraction for machine learning task-oriented dialogue systems
US20170200065A1 (en) Image Captioning with Weak Supervision
US10430517B1 (en) Apparatus, system and method for providing an agent that intelligently solves information technology issues
KR20200052448A (ko) 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
US20210193127A1 (en) Systems and methods for automatically categorizing unstructured data and improving a machine learning-based dialogue system
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
US11928985B2 (en) Content pre-personalization using biometric data
CN111353091A (zh) 信息处理方法、装置、电子设备及可读存储介质
US10902209B2 (en) Method for content search and electronic device therefor
KR20190099153A (ko) 전자 장치
CN111831826A (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
KR20190053481A (ko) 사용자 관심 정보 생성 장치 및 그 방법
CN117011737A (zh) 一种视频分类方法、装置、电子设备和存储介质
JP2024509014A (ja) ソーティング方法、ソーティングモデルのトレーニング方法、装置、電子機器及び記憶媒体
KR102630820B1 (ko) 메신저 피싱 또는 보이스 피싱을 감지하는 전자 장치 및 그 동작 방법
CN113919361A (zh) 一种文本分类方法和装置
KR20190031829A (ko) 전자 장치 및 그 제어 방법
CN117121021A (zh) 用于用户界面预测和生成的经机器学习的模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant