JP2020187501A - Information processing system and program - Google Patents
Information processing system and program Download PDFInfo
- Publication number
- JP2020187501A JP2020187501A JP2019090996A JP2019090996A JP2020187501A JP 2020187501 A JP2020187501 A JP 2020187501A JP 2019090996 A JP2019090996 A JP 2019090996A JP 2019090996 A JP2019090996 A JP 2019090996A JP 2020187501 A JP2020187501 A JP 2020187501A
- Authority
- JP
- Japan
- Prior art keywords
- operation target
- image
- target object
- reference image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 79
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 6
- 102100027479 DNA-directed RNA polymerase I subunit RPA34 Human genes 0.000 description 4
- 101000650564 Homo sapiens DNA-directed RNA polymerase I subunit RPA34 Proteins 0.000 description 4
- 238000011017 operating method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
Landscapes
- Stored Programmes (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、操作対象となる装置やアプリケーション等の自動操作を可能にする情報処理システム及びプログラムに関する。 The present invention relates to an information processing system and a program that enable automatic operation of a device or application to be operated.
従来、各種の業務において、ワープロソフトでの文書作成、表計算ソフトを用いた計算処理、会計システムを用いた会計処理等が、日常的に行われている。また、最近では、これらの業務を自動化するに当たり、ＲＰＡ（Ｒｏｂｏｔｉｃ Ｐｒｏｃｅｓｓ Ａｕｔｏｍａｔｉｏｎ）が利用されている。 Conventionally, in various operations, document creation with word processing software, calculation processing using spreadsheet software, accounting processing using an accounting system, etc. are routinely performed. Recently, RPA (Robotic Process Automation) has been used to automate these operations.
上記ＲＰＡは、認知技術（機械学習、人工知能等）を活用したホワイトカラーの業務を効率化や自動化する技術として知られている。また、ＲＰＡを活用した技術として、ソフトウェアの操作手順を記録し、その記録された操作手順に従ってソフトウェアを自動的に実行する情報処理装置が知られている（例えば、特許文献１）。 The above RPA is known as a technology for streamlining and automating white-collar work utilizing cognitive technology (machine learning, artificial intelligence, etc.). Further, as a technique utilizing RPA, an information processing device that records a software operating procedure and automatically executes the software according to the recorded operating procedure is known (for example, Patent Document 1).
上記特許文献１の情報処理装置は、ユーザーが行うソフトウェアの操作手順を記録し、その記録された操作手順に従ってユーザーの操作を自動的に行う。具体的には、まず、ユーザーが表示部に表示されたオペレーションシステムのスタートボタンを指定することにより、ソフトウェアに紐付けられた起動タブ等の画像の一覧が表示部に表示され、当該画像の一覧からユーザーが所定のソフトウェアの起動タブ等の画像（以下、起動タブともいう）を指定する。これにより、スタートボタンの位置を基準として、起動タブの位置情報とユーザーの操作情報とが記録手段に記録される。前記情報処理装置は、前記記録に基づいて、操作内容を制御することでユーザーの操作の自動化を図る。 The information processing device of Patent Document 1 records the operating procedure of the software performed by the user, and automatically performs the user's operation according to the recorded operating procedure. Specifically, first, when the user specifies the start button of the operation system displayed on the display unit, a list of images such as a startup tab associated with the software is displayed on the display unit, and the list of the images is displayed. The user specifies an image of a predetermined software startup tab or the like (hereinafter, also referred to as a startup tab). As a result, the position information of the start tab and the operation information of the user are recorded in the recording means with reference to the position of the start button. The information processing device aims to automate the user's operation by controlling the operation content based on the record.
上述のように特許文献１の情報処理装置は表示部に表示されたスタートボタンの位置を基準とするものである。しかしながら、一般的にＲＰＡの作成は、上述のようなスタートボタンの位置を基にするものではなく、画像全体を検索して操作対象を認識することで行われる。また、一般的に操作対象の検索は、画面の左上から行われて、左上に最も近い操作対象を検出するように行われる。 As described above, the information processing apparatus of Patent Document 1 is based on the position of the start button displayed on the display unit. However, in general, the creation of RPA is not based on the position of the start button as described above, but is performed by searching the entire image and recognizing the operation target. Further, in general, the search for the operation target is performed from the upper left of the screen, and the operation target closest to the upper left is detected.
ところで、上述のような特許文献１の情報処理装置は、オペレーションシステムのスタートボタンを基準として起動タブの位置情報やユーザーの操作情報を記録し、これらの操作情報に基づいて、操作内容を制御している。 By the way, the information processing apparatus of Patent Document 1 as described above records the position information of the start tab and the operation information of the user with reference to the start button of the operation system, and controls the operation contents based on these operation information. ing.
しかしながら、上記特許文献１の情報処理装置は、環境の異なる別のパソコンで操作情報を記録する場合、起動タブの表示配列が異なることがあるので、誤って他のソフトウェアが起動される問題があった。また、タブレットやスマートフォン等では、画面内にスタートボタンがない場合（物理的なボタンがスタートボタンの場合）もある。かかる場合は、操作情報を取得できない問題があった。 However, the information processing device of Patent Document 1 has a problem that other software is erroneously started because the display arrangement of the start tabs may be different when the operation information is recorded by another personal computer having a different environment. It was. In addition, tablets, smartphones, etc. may not have a start button on the screen (when the physical button is a start button). In such a case, there is a problem that the operation information cannot be acquired.
また、環境が異なるパソコンでは、スタートボタンや起動タブの一覧の表示される位置が異なる配置となっている場合があり、このような場合も誤って他のソフトウェアが起動される問題があった。さらに、同一のパソコンを用いる場合であっても、ソフトウェアの新たな追加が行われた場合、ソフトウェアの起動タブの配列が変更され、正確な起動タブの位置情報を認識することができなくなる問題があった。 In addition, on personal computers with different environments, the positions where the list of start buttons and start tabs are displayed may be different, and even in such a case, there is a problem that other software is mistakenly started. Furthermore, even when using the same personal computer, if new software is added, the arrangement of the software startup tabs will be changed, and there will be a problem that accurate startup tab position information cannot be recognized. there were.
また、ＲＰＡで一般的に行われている画像全体の検索では、似た画像が複数存在する場合、誤って操作対象が認識される問題があった。このように操作対象が誤って認識されると、操作対象となるアプリケーションが誤動作を起こしたり、誤った実行結果が出力されたりする問題があった。 Further, in the search for the entire image, which is generally performed in RPA, there is a problem that the operation target is erroneously recognized when a plurality of similar images exist. If the operation target is erroneously recognized in this way, there is a problem that the application to be operated malfunctions or an erroneous execution result is output.
また、画面サイズ等が変わったり、微細な変化が生じたりした場合に対処する方法として、一般的に画像認識の精度を下げることが行われる（画面サイズや微細な変化に対してロバストにする）。しかしながら、この方法は、余計なオブジェクト１２も検出してしまうので、動作確率を上げることができるが、ＲＰＡの動作自体の精度が下がる問題があった。 In addition, as a method of dealing with a change in the screen size or a minute change, the accuracy of image recognition is generally lowered (to make the screen size or a minute change robust). .. However, since this method also detects an extra object 12, the operation probability can be increased, but there is a problem that the accuracy of the RPA operation itself is lowered.
そこで、本発明は、各種の環境が異なる端末を用いても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システム及びプログラムを提供することにある。 Therefore, the present invention provides a highly versatile information processing system and program capable of accurately and automatically selecting an object to be selected as an operation target object and processing information even when terminals having different environments are used. It is in.
上述した課題を解決すべく提供される本発明の情報処理システムは、表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行うものであって、前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定手段と、前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定手段と、前記操作対象特定手段により特定された前記操作対象オブジェクトの操作を実行する実行手段とを有し、前記選択基準規定手段が、前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、前記操作対象特定手段が、前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出部と、前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出部により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択部と、前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定部とを有し、前記実行手段が、前記操作対象特定手段により特定された前記操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするものである。 The information processing system of the present invention provided to solve the above-mentioned problems automatically selects an object to be selected as an operation target object from the objects displayed so as to be operable in the display area, and performs information processing. The operation target specifying means for defining the selection criteria for automatically selecting the operation target object, the operation target specifying means for specifying the operation target object according to the selection criteria, and the operation target specifying. It has an execution means for executing the operation of the operation target object specified by the means, and the selection criterion defining means sets an image of a region in a predetermined range as a reference for the operation target object and sets the operation as the operation target reference image. The selection criteria are defined based on the target reference image, and the operation target specifying means is the same as or similar to the image related to the operation target object by image recognition from the object displayed in the display area. The selection criterion is that the degree of coincidence between the extraction unit that detects the object related to the image to be used and extracts an image in a predetermined range as a candidate image based on the detected object and the operation target reference image is high. As a part or all of the conditions, a selection unit that selects one or a plurality of the candidate images extracted by the extraction unit as a selection image, and the object included in the selection image. It has a specific unit that specifies an operation target object, and the execution means automatically selects the operation target object specified by the operation target identification means according to a predetermined algorithm and executes information processing. It is a feature.
本発明によれば、例えば各種の環境が異なる端末を用いる等しても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システムを提供できる。すなわち、本発明の情報処理システムにおいては、操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて規定された選択基準が操作対象オブジェクトの自動選択に際して使用される。また、本発明の情報処理システムは、操作対象特定手段を備えており、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトが存在していたとしても、これらのオブジェクトから操作対象オブジェクトを適確に特定できる。 According to the present invention, it is possible to provide a highly versatile information processing system capable of accurately and automatically selecting an object to be selected as an operation target object and processing information even when terminals having different environments are used, for example. .. That is, in the information processing system of the present invention, an image in a predetermined range is used as an operation target reference image with reference to the operation target object, and a selection criterion defined based on the operation target reference image automatically selects the operation target object. Used in Further, the information processing system of the present invention includes means for identifying an operation target, and even if there are objects related to an image that is the same as or similar to the image related to the operation target object, the operation target object can be selected from these objects. Can be identified accurately.
すなわち、本発明の情報処理システムでは、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトを単に検出するだけでなく、検出されたオブジェクトを基準として所定範囲の領域の画像情報も加味して操作対象オブジェクトを選択することとしている。具体的には、本発明の情報処理システムでは、検出されたオブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する処理を抽出部によって行うと共に、操作対象基準画像との一致度合いが高いことを選択基準の一部又は全部の条件として、候補画像から選択画像を選択する。また、本発明の情報処理システムでは、このようにして選択された選択画像に含まれているオブジェクトから操作対象オブジェクトを特定することとしている。このように、本発明の情報処理システムでは、操作対象オブジェクトに係る画像との一致度だけではなく、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトが特定される。従って、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトを特定するので、ロバスト性を保ったまま、操作対象オブジェクトの特定精度を向上させることができる。本発明の情報処理システムは、このようにして特定された操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行できる。従って、本発明によれば、例えば各種の環境が異なる端末を用いる等しても、適確に操作対象オブジェクトを特定し、自動選択して情報処理可能な情報処理システムを提供できる。 That is, the information processing system of the present invention not only detects an object related to an image that is the same as or similar to the image related to the operation target object, but also adds image information in a predetermined range based on the detected object. It is decided to select the operation target object. Specifically, in the information processing system of the present invention, the extraction unit performs a process of extracting an image in a predetermined range as a candidate image based on the detected object, and the degree of matching with the operation target reference image is high. The selected image is selected from the candidate images, with that as a condition of part or all of the selection criteria. Further, in the information processing system of the present invention, the operation target object is specified from the objects included in the selected image selected in this way. As described above, in the information processing system of the present invention, the operation target object is specified by taking into consideration not only the degree of matching with the image related to the operation target object but also the degree of matching with the image around the operation target object. Therefore, since the operation target object is specified in consideration of the degree of matching with the image around the operation target object, it is possible to improve the identification accuracy of the operation target object while maintaining the robustness. The information processing system of the present invention can automatically select an operation target object identified in this way according to a predetermined algorithm and execute information processing. Therefore, according to the present invention, it is possible to provide an information processing system capable of accurately identifying an operation target object and automatically selecting and processing information even when terminals having different environments are used, for example.
上述の選択基準規定手段は、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することが好ましい。 The above-mentioned selection criterion defining means sets the non-operation target object on the condition that there is a non-operation target object that is the same as or similar to the operation target object in the display area and is not the target of automatic selection. As a reference, it is preferable that an image in a predetermined range is used as a non-operation target reference image, and a selection criterion is defined based on the operation target reference image and the non-operation target reference image.
かかる構成によれば、操作対象オブジェクトを基準とした操作対象基準画像と、自動選択の対象外である非操作対象オブジェクトを基準とした非操作対象基準画像とに基づいて選択基準が規定されるので、操作対象基準画像及び非操作対象基準画像のそれぞれと候補画像とを比較することができる。すなわち、操作対象基準画像のみを用いて候補画像から選択画像を選択することに比べて、より正確に候補画像から選択画像が選択されるので、操作対象オブジェクトを、所定のアルゴリズムに則って正確に自動選択して情報処理を実行することができる。 According to such a configuration, the selection criteria are defined based on the operation target reference image based on the operation target object and the non-operation target reference image based on the non-operation target object that is not the target of automatic selection. , Each of the operation target reference image and the non-operation target reference image can be compared with the candidate image. That is, since the selected image is selected from the candidate images more accurately than selecting the selected image from the candidate images using only the operation target reference image, the operation target object is accurately selected according to a predetermined algorithm. Information processing can be executed by automatic selection.
上述の選択基準規定手段は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致度合いが他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることが好ましい。 The above-mentioned selection criterion defining means has a higher degree of agreement with the operation target reference image than the other candidate images, or has a higher degree of agreement with the operation target reference image than the other candidate images. Instead, it is preferable that the candidate image has a lower degree of agreement with the non-operation target reference image than the other candidate images as part or all of the selection criteria.
かかる構成によれば、選択基準規定手段は、操作対象基準画像との一致度合いが高い候補画像であることに加えて、非操作対象基準画像との一致度合いが低い候補画像であることを選択基準の一部又は全部とすることができる。従って、操作対象基準画像との一致度合いの最も高い候補画像が選択できる。すなわち、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、より正確に操作対象オブジェクトを所定のアルゴリズムに則って自動選択して情報処理を実行することができる。 According to such a configuration, the selection criterion defining means selects a candidate image having a high degree of matching with the operation target reference image and a candidate image having a low degree of matching with the non-operation target reference image. Can be part or all of. Therefore, the candidate image having the highest degree of agreement with the operation target reference image can be selected. That is, even when a plurality of objects that are the same as or similar to the operation target object exist in the display area, the operation target object can be automatically selected according to a predetermined algorithm and information processing can be executed more accurately.
上述の選択部は、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることが好ましい。 It is preferable that the above-mentioned selection unit selects the selected image by deriving the degree of matching between the operation target reference image and the candidate image by image matching.
かかる構成によれば、選択部が、テンプレートマッチングやパターンマッチング等の画像マッチングにより、操作対象基準画像と前記候補画像との一致度合いを導出するので、選択基準の情報量が低減でき、選択画像の選択の高速化が図れる。 According to such a configuration, since the selection unit derives the degree of matching between the operation target reference image and the candidate image by image matching such as template matching and pattern matching, the amount of information of the selection reference can be reduced, and the selection image can be selected. The selection speed can be increased.
上述の選択部は、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することが好ましい。 It is preferable that the selection unit derives the degree of matching between the operation target reference image and the candidate image by comparing the feature amounts of the operation target reference image and the candidate image, and / or both of the feature points. ..
かかる構成によれば、操作対象基準画像及び候補画像の特徴量及び特徴点のいずれか一方又は双方の比較により、前記操作対象基準画像と前記候補画像との一致度合いが導出されるので、操作対象オブジェクトの周囲の画像が複雑であっても、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、少ない情報量で効率良く、操作対象基準画像と候補画像との比較が行えるので、情報処理の実行を高速に行うことができる。 According to such a configuration, the degree of matching between the operation target reference image and the candidate image is derived by comparing one or both of the feature amount and the feature point of the operation target reference image and the candidate image. Even if the image around the object is complicated, the candidate image to be automatically selected can be selected from the candidate images with high accuracy. Further, even when a plurality of objects that are the same as or similar to the operation target object exist in the display area, the candidate image to be automatically selected can be selected from the candidate images with high accuracy. In addition, since the operation target reference image and the candidate image can be compared efficiently with a small amount of information, information processing can be executed at high speed.
前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較による一致度合いは、操作対象基準画像と候補画像との類似度として導出しても良い。また、非操作対象基準画像が存在する場合は、操作対象基準画像及び非操作対象基準画像と候補画像とのそれぞれの類似度として導出しても良い。 The feature amount of the operation target reference image and the candidate image, and the degree of agreement by comparing one or both of the feature points may be derived as the similarity between the operation target reference image and the candidate image. Further, when the non-operation target reference image exists, it may be derived as the degree of similarity between the operation target reference image, the non-operation target reference image, and the candidate image.
上述した課題を解決すべく提供される本発明のプログラムは、表示領域内に操作可能なように表示されているオブジェクトから、選択すべきオブジェクトを操作対象オブジェクトとして自動選択して情報処理を行うものであって、前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定機能と、前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定機能と、前記操作対象特定機能により特定された前記操作対象オブジェクトの操作を実行する実行機能とを有し、前記選択基準規定機能が、前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、前記操作対象特定機能が、前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出機能と、前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出機能により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択機能と、前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定機能とを有し、前記実行機能が、 前記操作対象特定機能により特定された前記操作対象を、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするものである。 The program of the present invention provided to solve the above-mentioned problems automatically selects an object to be selected as an operation target object from objects displayed so as to be operable in the display area, and performs information processing. The operation target specifying function that defines the selection criteria for automatically selecting the operation target object, the operation target specifying function that specifies the operation target object according to the selection criteria, and the operation target specifying function. It has an execution function to execute the operation of the specified operation target object, and the selection criterion defining function sets an image of a predetermined range area as an operation target reference image with the operation target object as a reference, and the operation target reference. The selection criteria are defined based on the image, and the operation target identification function is the same as or similar to the image related to the operation target object by image recognition from the object displayed in the display area. One of the selection criteria is that the extraction function that detects the object related to the above object and extracts an image of a predetermined range area as a candidate image based on the detected object and a high degree of matching with the operation target reference image. As a part or all of the conditions, a selection function of selecting one or a plurality of the candidate images extracted by the extraction function as a selection image, and the operation target from the object included in the selection image. It has a specific function for specifying an object, and the execution function automatically selects the operation target specified by the operation target identification function according to a predetermined algorithm and executes information processing. It is a thing.
本発明によれば、例えば各種の環境が異なる端末を用いる等しても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高いプログラムを提供できる。すなわち、本発明のプログラムにおいては、操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて規定された選択基準が操作対象オブジェクトの自動選択に際して使用される。また、本発明のプログラムは、操作対象特定機能を備えており、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトが存在していたとしても、これらのオブジェクトから操作対象オブジェクトを適確に特定できる。 According to the present invention, it is possible to provide a highly versatile program capable of accurately and automatically selecting an object to be selected as an operation target object and processing information even when terminals having different environments are used, for example. That is, in the program of the present invention, an image in a predetermined range is used as an operation target reference image with reference to the operation target object, and a selection criterion defined based on the operation target reference image is used for automatic selection of the operation target object. Will be done. Further, the program of the present invention has an operation target specifying function, and even if there are objects related to an image that is the same as or similar to the image related to the operation target object, the operation target object can be accurately selected from these objects. Can be specified.
すなわち、本発明のプログラムでは、操作対象オブジェクトに係る画像と同一又は類似する画像に係るオブジェクトを単に検出するだけでなく、検出されたオブジェクトを基準として所定範囲の領域の画像情報も加味して操作対象オブジェクトを選択することとしている。具体的には、本発明のプログラムでは、検出されたオブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する処理を抽出部によって行うと共に、操作対象基準画像との一致度合いが高いことを選択基準の一部又は全部の条件として、候補画像から選択画像を選択する。また、プログラムでは、このようにして選択された選択画像に含まれているオブジェクトから操作対象オブジェクトを特定することとしている。このように、本発明のプログラムでは、操作対象オブジェクトに係る画像との一致度だけではなく、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトが特定される。従って、操作対象オブジェクトの周囲の画像との一致度も加味して操作対象オブジェクトを特定するので、ロバスト性を保ったまま、操作対象オブジェクトの特定精度を向上させたプログラムを提供できる。本発明のプログラムは、このようにして特定された操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行できる。従って、本発明によれば、例えば各種の環境が異なる端末を用いる等しても、適確に操作対象オブジェクトを特定し、自動選択して情報処理可能なプログラムを提供できる。 That is, in the program of the present invention, not only the object related to the image same or similar to the image related to the operation target object is simply detected, but also the image information of the region in a predetermined range is added to the operation based on the detected object. The target object is to be selected. Specifically, in the program of the present invention, the extraction unit performs a process of extracting an image in a predetermined range as a candidate image based on the detected object, and the degree of matching with the operation target reference image is high. A selected image is selected from the candidate images as a part or all of the selection criteria. Further, in the program, the operation target object is specified from the objects included in the selected image selected in this way. As described above, in the program of the present invention, the operation target object is specified by taking into consideration not only the degree of matching with the image related to the operation target object but also the degree of matching with the image around the operation target object. Therefore, since the operation target object is specified in consideration of the degree of matching with the image around the operation target object, it is possible to provide a program with improved identification accuracy of the operation target object while maintaining robustness. The program of the present invention can automatically select the operation target object identified in this way according to a predetermined algorithm and execute information processing. Therefore, according to the present invention, it is possible to provide a program capable of accurately identifying an operation target object and automatically selecting and processing information even when terminals having different environments are used, for example.
本発明のプログラムでは、前記選択基準規定機能が、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトであって、自動選択の対象外である非操作対象オブジェクトが存在することを条件として、前記非操作対象オブジェクトを基準として所定範囲の領域の画像を非操作対象基準画像とし、前記操作対象基準画像と前記非操作対象基準画像とに基づいて選択基準を規定することが好ましい。 In the program of the present invention, the selection criterion defining function is described on the condition that there is a non-operation target object that is the same as or similar to the operation target object in the display area and is not the target of automatic selection. It is preferable that the image of the region in a predetermined range is set as the non-operation target reference image with the non-operation target object as a reference, and the selection criterion is defined based on the operation target reference image and the non-operation target reference image.
かかる構成によれば、操作対象オブジェクトを基準とした操作対象基準画像と、自動選択の対象外である非操作対象オブジェクトを基準とした非操作対象基準画像とに基づいて選択基準が規定されるので、操作対象基準画像及び非操作対象基準画像のそれぞれと候補画像とを比較することができる。すなわち、操作対象基準画像のみを用いて候補画像から選択画像を選択することに比べて、より正確に候補画像から選択画像が選択されるので、操作対象オブジェクトを、所定のアルゴリズムに則って正確に自動選択して情報処理を実行することができる。 According to such a configuration, the selection criteria are defined based on the operation target reference image based on the operation target object and the non-operation target reference image based on the non-operation target object that is not the target of automatic selection. , Each of the operation target reference image and the non-operation target reference image can be compared with the candidate image. That is, since the selected image is selected from the candidate images more accurately than selecting the selected image from the candidate images using only the operation target reference image, the operation target object is accurately selected according to a predetermined algorithm. Information processing can be executed by automatic selection.
本発明のプログラムにおける前記選択基準規定機能は、前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに加えて、あるいは前記操作対象基準画像との一致度合いが他の前記候補画像よりも高いことに代えて、前記非操作対象基準画像との一致度合いが他の前記候補画像よりも低い前記候補画像であることを前記選択基準の一部又は全部とすることが好ましい。 The selection criterion defining function in the program of the present invention has a higher degree of agreement with the operation target reference image than the other candidate images, or has a degree of agreement with the operation target reference image of the other candidate. Instead of being higher than the image, it is preferable that the candidate image has a lower degree of agreement with the non-operation target reference image than the other candidate images as part or all of the selection criteria.
かかる構成によれば、選択基準規定機能は、操作対象基準画像との一致度合いが高い候補画像であることに加えて、非操作対象基準画像との一致度合いが低い候補画像であることを選択基準の一部又は全部とすることができる。従って、操作対象基準画像との一致度合いの最も高い候補画像が選択できる。すなわち、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、より正確に操作対象オブジェクトを所定のアルゴリズムに則って自動選択して情報処理を実行することができる。 According to such a configuration, the selection criterion defining function selects a candidate image having a high degree of matching with the operation target reference image and a candidate image having a low degree of matching with the non-operation target reference image. Can be part or all of. Therefore, the candidate image having the highest degree of agreement with the operation target reference image can be selected. That is, even when a plurality of objects that are the same as or similar to the operation target object exist in the display area, the operation target object can be automatically selected according to a predetermined algorithm and information processing can be executed more accurately.
本発明のプログラムにおける前記選択機能は、前記操作対象基準画像と前記候補画像との一致度合いを画像マッチングにより導出し、前記選択画像を選択するものであることが好ましい。 It is preferable that the selection function in the program of the present invention derives the degree of matching between the operation target reference image and the candidate image by image matching and selects the selected image.
かかる構成によれば、選択部が、テンプレートマッチングやパターンマッチング等の画像マッチングにより、操作対象基準画像と前記候補画像との一致度合いを導出するので、選択基準の情報量が低減でき、選択画像の選択の高速化が図れる。 According to such a configuration, since the selection unit derives the degree of matching between the operation target reference image and the candidate image by image matching such as template matching and pattern matching, the amount of information of the selection reference can be reduced, and the selection image can be selected. The selection speed can be increased.
本発明のプログラムにおける前記選択機能は、前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較により前記操作対象基準画像と前記候補画像との一致度合いを導出することが好ましい。 The selection function in the program of the present invention derives the degree of agreement between the operation target reference image and the candidate image by comparing the feature amounts of the operation target reference image and the candidate image, and / or both of the feature points. It is preferable to do so.
かかる構成によれば、操作対象基準画像及び候補画像の特徴量及び特徴点のいずれか一方又は双方の比較により、前記操作対象基準画像と前記候補画像との一致度合いが導出されるので、操作対象オブジェクトの周囲の画像が複雑であっても、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、表示領域内に操作対象オブジェクトと同一又は類似のオブジェクトが複数存在する場合でも、候補画像から精度良く自動選択の対象となる候補画像が選択できる。また、少ない情報量で効率良く、操作対象基準画像と候補画像との比較が行えるので、情報処理の実行を高速に行うことができる。 According to such a configuration, the degree of matching between the operation target reference image and the candidate image is derived by comparing one or both of the feature amount and the feature point of the operation target reference image and the candidate image. Even if the image around the object is complicated, the candidate image to be automatically selected can be selected from the candidate images with high accuracy. Further, even when a plurality of objects that are the same as or similar to the operation target object exist in the display area, the candidate image to be automatically selected can be accurately selected from the candidate images. In addition, since the operation target reference image and the candidate image can be compared efficiently with a small amount of information, information processing can be executed at high speed.
前記操作対象基準画像及び前記候補画像の特徴量、及び特徴点のいずれか一方又は双方の比較による一致度合いは、操作対象基準画像と候補画像との類似度として導出しても良い。また、非操作対象基準画像が存在する場合は、操作対象基準画像及び非操作対象基準画像と候補画像とのそれぞれの類似度として導出しても良い。 The feature amount of the operation target reference image and the candidate image, and the degree of agreement by comparing one or both of the feature points may be derived as the similarity between the operation target reference image and the candidate image. If a non-operation target reference image exists, it may be derived as the degree of similarity between the operation target reference image, the non-operation target reference image, and the candidate image.
本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを実行することで、操作者の被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。 The information processing system of the present invention stores the above-mentioned program in a server on the cloud, and the operator executes the program on the server to automatically select an operation target object on the operated terminal of the operator. It is characterized in that information processing is executed.
かかる構成によれば、操作者が前記プログラムを保有していない場合であっても、前記サーバー上のプログラムを実行することで、被操作端末で操作対象オブジェクトを自動選択して情報処理を実行することが可能となる。 According to such a configuration, even if the operator does not have the program, by executing the program on the server, the operation target object is automatically selected on the operated terminal and information processing is executed. It becomes possible.
本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、操作者が、前記サーバー上のプログラムを、被操作端末にダウンロードし、前記被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。 In the information processing system of the present invention, the above-mentioned program is stored in a server on the cloud, and the operator downloads the program on the server to the operated terminal and automatically operates the operation target object on the operated terminal. It is characterized in that it is selected to execute information processing.
かかる構成によれば、操作者が、クラウド上のプログラムをダウンロードして利用することが可能であるので、プログラムの管理がクラウド上で一括して行える。これにより、プログラムの管理が簡素化できる。 According to such a configuration, the operator can download and use the program on the cloud, so that the program can be managed collectively on the cloud. This simplifies program management.
本発明の情報処理システムは、上述のプログラムと、操作対象とをクラウド上のサーバーに保存しておき、前記サーバーとは異なる外部端末からサーバー上のプログラムの実行を指示することで、サーバー上の操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。 In the information processing system of the present invention, the above-mentioned program and the operation target are stored in a server on the cloud, and the execution of the program on the server is instructed from an external terminal different from the server to execute the program on the server. It is characterized in that the operation target object is automatically selected and information processing is executed.
かかる構成によれば、操作者が前記プログラムやアプリケーションを保有していなくても、操作者がクラウド上のサーバーに実行指令するだけで、前記プログラムがクラウド上で実行され、操作者がアプリケーションの実行結果を得られる。すなわち、操作者が、サーバーを仮想マシンとして、アプリケーションを仮想マシン上で実行できるので、操作者側でアプリケーションやアプリケーション実行用の機器や装置を用意しなくても良い。従って、操作者の負担が軽減される。 According to such a configuration, even if the operator does not own the program or application, the program is executed on the cloud and the operator executes the application simply by instructing the server to execute the program or application. You can get the result. That is, since the operator can execute the application on the virtual machine by using the server as a virtual machine, the operator does not have to prepare the application or the device or device for executing the application. Therefore, the burden on the operator is reduced.
本発明の情報処理システムは、上述のプログラムをクラウド上のサーバーに記憶しておき、ＡＩ機能が、操作者の操作対象オブジェクトの操作を推測して認識し、前記サーバー上のプログラムの実行を指示することで、被操作端末における操作対象オブジェクトを自動選択して情報処理を実行するようにしたことを特徴とするものである。 The information processing system of the present invention stores the above-mentioned program in a server on the cloud, and the AI function guesses and recognizes the operation of the operation target object of the operator and instructs the execution of the program on the server. By doing so, the operation target object on the operated terminal is automatically selected and information processing is executed.
かかる構成によれば、操作者からの実行指令をＡＩ機能が学習し、ＡＩ機能が自動的に操作者からの実行指令を予測して実行するようにすることが可能となる。従って、操作者の負担なく、自動的に操作対象オブジェクトを操作することが可能となる。 According to such a configuration, the AI function learns the execution command from the operator, and the AI function can automatically predict and execute the execution command from the operator. Therefore, it is possible to automatically operate the operation target object without burdening the operator.
本発明によれば、表示領域内に同一又は類似する操作対象オブジェクトが複数あっても、操作対象オブジェクトが正確に自動選択されて情報処理を自動的に実行することが可能になる。 According to the present invention, even if there are a plurality of the same or similar operation target objects in the display area, the operation target objects are accurately and automatically selected, and information processing can be automatically executed.
本発明によれば、画像表示体系が異なる被操作端末を用いても、被操作端末が、正確に操作対象オブジェクト（フォルダ、アプリケーションのショートカット、起動プログラム等）を認識できる。従って、端末を操作する操作者が行っていた定型処理等が、被操作端末で自動的に実行される。 According to the present invention, even if operated terminals having different image display systems are used, the operated terminal can accurately recognize the operation target object (folder, application shortcut, start program, etc.). Therefore, the routine processing or the like performed by the operator who operates the terminal is automatically executed on the operated terminal.
本発明のプログラムを、クラウドのサーバー上で実行可能としておくことで、操作者が被操作端末からサーバーに指示するだけで、操作者は、前記プログラムを使用でき、操作者が被操作端末を用意する必要がなくなる。これにより、操作者の負担を軽減できる。 By making the program of the present invention executable on a cloud server, the operator can use the program and the operator prepares the operated terminal simply by instructing the server from the operated terminal. You don't have to. As a result, the burden on the operator can be reduced.
本発明の一実施形態に係る情報処理システム１及びプログラムについて、図１及び図２に基づいて以下に説明する。 The information processing system 1 and the program according to the embodiment of the present invention will be described below with reference to FIGS. 1 and 2.
図１は、本発明の一実施形態を表す情報処理システム１の構成の概略図である。情報処理システム１は、選択基準規定手段２と、操作対象特定手段３と、実行手段７とを含んで構成されている。操作対象特定手段３は、抽出部４と、選択部５と、特定部６とを含んで構成されている。また、情報処理システム１には、ディスプレイ等の表示装置８が接続されている。なお、本実施形態においては、情報処理システム１が搭載された端末と、操作対象となる操作対象オブジェクトが搭載された被操作端末とが同一端末上で行われる場合を一例として説明する。 FIG. 1 is a schematic diagram of the configuration of an information processing system 1 representing an embodiment of the present invention. The information processing system 1 is configured to include a selection criterion defining means 2, an operation target specifying means 3, and an executing means 7. The operation target specifying means 3 includes an extraction unit 4, a selection unit 5, and a specific unit 6. Further, a display device 8 such as a display is connected to the information processing system 1. In the present embodiment, a case where the terminal on which the information processing system 1 is mounted and the operated terminal on which the operation target object to be operated is mounted are performed on the same terminal will be described as an example.
情報処理システム１は、例えば、会計システム等で定型的に行われる処理を自動的に実行することに使用される。本実施形態においては、操作者が、マウス等でファイル等の選択を行う作業を自動化することを例として説明する。 The information processing system 1 is used, for example, to automatically execute a process routinely performed in an accounting system or the like. In the present embodiment, an example will be described in which the operator automates the work of selecting a file or the like with a mouse or the like.
図２のように表示装置８の表示領域９内の画像には、操作可能なアイコン２０のようなオブジェクト１２が複数表示されている。オブジェクト１２には、操作対象オブジェクト１３が含まれている。 As shown in FIG. 2, a plurality of objects 12 such as the operable icon 20 are displayed in the image in the display area 9 of the display device 8. The object 12 includes the operation target object 13.
選択基準規定手段２は、操作対象オブジェクト１３を自動選択するための選択基準を規定する。選択基準規定手段２は、操作者が選択した操作対象オブジェクト１３を含む所定範囲の領域の画像を操作対象基準画像１０として抽出する。前記選択基準は、抽出された操作対象基準画像１０に基づいて規定される。 The selection criterion defining means 2 defines a selection criterion for automatically selecting the operation target object 13. The selection criterion defining means 2 extracts an image of a predetermined range area including the operation target object 13 selected by the operator as the operation target reference image 10. The selection criteria are defined based on the extracted operation target reference image 10.
前記操作対象基準画像１０は、画像認識によりピクセル情報として抽出することができる。なお、ピクセル情報に代えて、適宜所定範囲をブロック化して画像情報を抽出するようにしても良い。ここで、操作対象オブジェクト１３は、本実施形態においてはフォルダであるが、操作対象に応じて各種のもの（例えば、アプリケーションの実行用アイコン、画面表示されたデータ等）を操作対象オブジェクト１３として設定できる。 The operation target reference image 10 can be extracted as pixel information by image recognition. In addition, instead of the pixel information, the image information may be extracted by appropriately blocking a predetermined range. Here, the operation target object 13 is a folder in the present embodiment, but various objects (for example, application execution icons, screen-displayed data, etc.) are set as the operation target object 13 according to the operation target. it can.
ここで、所定範囲の領域は、例えば、表示領域９を超えない範囲で、かつ各オブジェクト１２の親領域（本実施形態では、領域１７に相当）を超えない範囲で、操作対象オブジェクト１３の縦幅及び横幅をそれぞれ定数倍した領域を好ましく設定できる。なお、前記定数倍とするのは、表示領域９又は前記親領域を超えると、超えた範囲のデータが各オブジェクト１２の認識の際のノイズとなるためである。本実施形態においては、例えば、操作対象オブジェクト１３の例えば３倍、操作対象オブジェクト１３が小さい場合は、例えば５倍程度の範囲内の領域を所定範囲の領域として設定できる。上述の所定範囲の領域の設定はあくまで例示であり、操作対象オブジェクト１３の大きさや、ノイズの発生度合いに応じて、適宜設定できる。 Here, the area of the predetermined range is, for example, a vertical range of the operation target object 13 within a range not exceeding the display area 9 and not exceeding the parent area of each object 12 (corresponding to the area 17 in the present embodiment). A region obtained by multiplying the width and the width by a constant can be preferably set. The reason why the constant multiple is used is that when the display area 9 or the parent area is exceeded, the data in the exceeded range becomes noise when recognizing each object 12. In the present embodiment, for example, when the operation target object 13 is 3 times smaller than the operation target object 13 and the operation target object 13 is small, an area within a range of about 5 times can be set as a predetermined range area. The setting of the above-mentioned predetermined range area is merely an example, and can be appropriately set according to the size of the operation target object 13 and the degree of noise generation.
また、選択基準規定手段２は、表示装置８に表示された表示領域９内の画像を検索し、操作対象オブジェクト１３に係る画像と同一又は類似する画像を検出する。前記検索は、操作対象オブジェクト１３に係る画像と、表示領域９全体の画像とを例えばテンプレートマッチングやパターンマッチング等の画像マッチングで比較することで行う。 Further, the selection criterion defining means 2 searches for an image in the display area 9 displayed on the display device 8 and detects an image that is the same as or similar to the image related to the operation target object 13. The search is performed by comparing the image related to the operation target object 13 with the image of the entire display area 9 by image matching such as template matching or pattern matching.
また、選択基準規定手段２は、前記検索によって、操作対象オブジェクト１３と同一又は類似であって、操作対象オブジェクト１３とは異なる非操作対象オブジェクト１５を検出した場合は、非操作対象オブジェクト１５として、当該非操作対象オブジェクト１５を含む所定範囲の領域の画像を非操作対象基準画像１６として抽出する。 Further, when the selection criterion defining means 2 detects a non-operation target object 15 that is the same as or similar to the operation target object 13 but different from the operation target object 13 by the search, the non-operation target object 15 is set as the non-operation target object 15. An image of a predetermined range including the non-operation target object 15 is extracted as a non-operation target reference image 16.
なお、前記検索によって複数の非操作対象オブジェクト１５が検出された場合は、選択基準規定手段２は、検出された非操作対象オブジェクト１５を含む所定範囲の領域の画像をそれぞれ非操作対象基準画像１６として抽出する。 When a plurality of non-operation target objects 15 are detected by the search, the selection criterion defining means 2 uses the images in a predetermined range including the detected non-operation target objects 15 as the non-operation target reference images 16 respectively. Extract as.
また、選択基準規定手段２は、抽出した画像から、後述する複数の特徴点１４（図３参照）を抽出する。特徴点１４は、本実施形態においては、数値化した特徴量として抽出している。なお、特徴点１４に代えて、選択基準規定手段２が、キャラクター、形状、色等の各種の情報を抽出するようにしても良い。抽出された特徴量は、画像と共にファイルへ書き込んだり、記憶手段等に記憶したりすることができる。なお、特徴点１４そのものを画像と共にファイルへ書き込んだり、記憶手段等に記憶したりするようにしても良い。 Further, the selection criterion defining means 2 extracts a plurality of feature points 14 (see FIG. 3) described later from the extracted image. The feature point 14 is extracted as a quantified feature amount in the present embodiment. In addition, instead of the feature point 14, the selection criterion defining means 2 may extract various information such as a character, a shape, and a color. The extracted feature amount can be written in a file together with the image or stored in a storage means or the like. The feature point 14 itself may be written in a file together with the image, or may be stored in a storage means or the like.
次に操作対象特定手段３で操作対象となる操作対象オブジェクト１３を特定することについて、以下に説明する。 Next, specifying the operation target object 13 to be operated by the operation target specifying means 3 will be described below.
操作対象特定手段３は、候補画像１１を抽出する抽出部４と、抽出部４で抽出された一又は複数の候補画像１１から選択画像１９を選択する選択部５と、選択画像１９に含まれているオブジェクト１２から操作対象オブジェクト１３を特定する特定部６とを含んで構成されている。 The operation target specifying means 3 is included in the extraction unit 4 that extracts the candidate image 11, the selection unit 5 that selects the selection image 19 from one or a plurality of candidate images 11 extracted by the extraction unit 4, and the selection image 19. It is configured to include a specific unit 6 that identifies the operation target object 13 from the object 12.
抽出部４は、表示装置８の表示領域９内の画像を検索し、操作対象オブジェクト１３と、操作対象オブジェクト１３と同一又は類似する非操作対象オブジェクト１５とを、検出して当該オブジェクトを含む所定範囲の領域の画像を候補画像１１として抽出する。なお、本実施形態においては、操作対象となる画像領域９内に操作対象オブジェクト１３と同一又は類似する非操作対象オブジェクト１５が１つ含まれている場合を例として説明する。 The extraction unit 4 searches for an image in the display area 9 of the display device 8, detects the operation target object 13 and the non-operation target object 15 that is the same as or similar to the operation target object 13, and determines that the object is included. The image of the area of the range is extracted as the candidate image 11. In the present embodiment, a case where one non-operation target object 15 which is the same as or similar to the operation target object 13 is included in the operation target image area 9 will be described as an example.
選択部５は、前記特徴量をファイル等から呼び出して取得する。なお、特徴点１４を基準とする場合は、選択部５は、特徴点１４の情報をファイル等から呼び出して取得すれば良い。また、選択部５は、抽出部４で抽出された一又は複数の候補画像１１の特徴量と操作対象基準画像１０の特徴量を比較して、一致度合いが高いことを一部又は全部の条件として、候補画像１１のうちの一つを選択画像１９として選択する。前記比較は、テンプレートマッチングやパターンマッチング等の画像マッチングを用いて行われる。 The selection unit 5 calls and acquires the feature amount from a file or the like. When the feature point 14 is used as a reference, the selection unit 5 may call and acquire the information of the feature point 14 from a file or the like. Further, the selection unit 5 compares the feature amount of one or a plurality of candidate images 11 extracted by the extraction unit 4 with the feature amount of the operation target reference image 10, and partially or all the conditions that the degree of matching is high. As a selection image 19, one of the candidate images 11 is selected as the selection image 19. The comparison is performed using image matching such as template matching and pattern matching.
また、選択部５は、操作対象基準画像１０の特徴量と候補画像１１の特徴量との類似する度合いを類似度として導出する。前記類似度は、例えば操作対象基準画像１０及び候補画像１１との特徴点１４の一致個数の比率を用いることができる。なお、類似度の導出は、上記以外に例えば複数の特徴点１４の位置、色、形状、又は、特徴点１４全体が形成する形状等との一致度合いから導出するようにしても良い。 Further, the selection unit 5 derives the degree of similarity between the feature amount of the operation target reference image 10 and the feature amount of the candidate image 11 as the similarity degree. For the similarity, for example, the ratio of the number of coincidents of the feature points 14 with the operation target reference image 10 and the candidate image 11 can be used. In addition to the above, the degree of similarity may be derived from, for example, the degree of agreement with the positions, colors, shapes of the plurality of feature points 14, or the shape formed by the entire feature points 14.
特定部６は、選択画像１９に含まれている複数のオブジェクト１２から操作対象オブジェクト１３を特定するものである。前記特定は、テンプレートマッチングやパターンマッチング等の画像マッチングを用いれば良い。 The identification unit 6 identifies the operation target object 13 from the plurality of objects 12 included in the selected image 19. For the above specification, image matching such as template matching or pattern matching may be used.
上述の選択基準規定手段２と、操作対象特定手段３と、抽出部４と、選択部５と、特定部と、実行手段７とをそれぞれ機能化し、情報処理システム１における処理をそれぞれ実現させるようにすることで、情報処理システム１をプログラムとすることもできる。 The above-mentioned selection criterion defining means 2, the operation target specifying means 3, the extracting unit 4, the selecting unit 5, the specifying unit, and the executing means 7 are each functionalized so as to realize the processing in the information processing system 1. By setting the information processing system 1, the information processing system 1 can be used as a program.
以上が、本発明の情報処理システム１又はプログラムの構成であり、次に図２から図７並びに図８及び図９に基づいて、上述の情報処理システム１における処理の詳細を説明する。 The above is the configuration of the information processing system 1 or the program of the present invention. Next, the details of the processing in the above-mentioned information processing system 1 will be described with reference to FIGS. 2 to 7, 8 and 9.
図２は、情報システム１に接続された表示装置８の表示画面の一例である。表示画面の表示領域９内には、アイコン２０等の複数のオブジェクト１２が表示されている。また、表示領域９内の図示左側の領域１７には、操作対象基準画像１０と非操作対象基準画像１５が表示されている。 FIG. 2 is an example of a display screen of the display device 8 connected to the information system 1. A plurality of objects 12 such as the icon 20 are displayed in the display area 9 of the display screen. Further, in the area 17 on the left side of the drawing in the display area 9, the operation target reference image 10 and the non-operation target reference image 15 are displayed.
図３（ａ）は、領域１７を拡大表示したものである。操作者は、マウス（図示しない）を操作して、領域１７内に存在する操作対象オブジェクト１３（本実施形態においては、下段の「デスクトップ」）付近にカーソル１８を移動させる。操作対象オブジェクト１３は、フォルダ、起動プログラム、ファイル等、操作者が操作する各種のものを割り当てることができる。 FIG. 3A is an enlarged display of the area 17. The operator operates a mouse (not shown) to move the cursor 18 near the operation target object 13 (in the present embodiment, the lower “desktop”) existing in the area 17. The operation target object 13 can be assigned various objects operated by the operator, such as folders, start programs, and files.
図８は、操作対象基準画像１０を抽出する処理を表すフローチャートである。ステップＳ１において、図３（ａ）のように操作者が、操作対象オブジェクト１３をカーソル１８で選択する。これにより、処理が開始され、操作対象オブジェクト１３が選択される。 FIG. 8 is a flowchart showing a process of extracting the operation target reference image 10. In step S1, the operator selects the operation target object 13 with the cursor 18 as shown in FIG. 3A. As a result, the process is started and the operation target object 13 is selected.
ステップＳ２において、図３（ａ）のように選択基準規定手段２が、まず操作対象オブジェクト１３に係る画像を抽出する。前記画像は、例えばピクセル情報として抽出される。次に、選択基準規定手段２が、操作対象オブジェクト１３を含むその周辺の所定範囲の領域の画像を操作対象基準画像１０として抽出する。操作対象基準画像１０は、例えば、ピクセル情報として抽出される。操作対象オブジェクト１３とその周辺の所定範囲を含む操作対象基準画像１０は、一括して抽出しても良い。 In step S2, as shown in FIG. 3A, the selection criterion defining means 2 first extracts an image related to the operation target object 13. The image is extracted as, for example, pixel information. Next, the selection criterion defining means 2 extracts an image of a predetermined range area around the operation target object 13 as the operation target reference image 10. The operation target reference image 10 is extracted as pixel information, for example. The operation target reference image 10 including the operation target object 13 and a predetermined range around the operation target object 13 may be collectively extracted.
ステップＳ３において、図３（ｂ）のように選択基準規定手段２は、操作対象基準画像１０の内部を検索し、特徴点１４を抽出する。特徴点１４は、本実施形態においては、オブジェクト１２の特定の部分を設定しているが、任意に設定することが可能である。抽出された特徴点１４は、特徴量Ａとして例えばファイル等に出力される。この時、操作対象基準画像１０及び操作対象オブジェクト１３に係る画像も特徴量Ａと併せてファイル等に出力される。なお、特徴量Ａは、特徴点１４を例えば個数や配置に基づいて数値化して表したものである。 In step S3, as shown in FIG. 3B, the selection criterion defining means 2 searches the inside of the operation target reference image 10 and extracts the feature point 14. In the present embodiment, the feature point 14 sets a specific part of the object 12, but it can be set arbitrarily. The extracted feature points 14 are output as feature quantities A to, for example, a file. At this time, the operation target reference image 10 and the image related to the operation target object 13 are also output to a file or the like together with the feature amount A. The feature amount A is represented by quantifying the feature points 14 based on, for example, the number and arrangement.
ステップＳ４において、選択基準規定手段２は、表示領域９全体の画像から、操作対象オブジェクト１３と同一又は類似の画像を検索する。前記検索は、テンプレートマッチングやパターンマッチング等の画像マッチングで行われる。 In step S4, the selection criterion defining means 2 searches the image of the entire display area 9 for an image that is the same as or similar to the operation target object 13. The search is performed by image matching such as template matching and pattern matching.
ステップＳ５において、選択基準規定手段２は、前記検索において、操作対象オブジェクト１３と同一又は類似する画像が他に存在するか否かを判断する。操作対象オブジェクト１３と同一又は類似する画像が１つしか存在しない場合、ステップＳ８で操作対象基準画像１０と特徴量Ａは、選択基準として規定され、選択基準規定手段２の処理が終了する。なお、本実施形態においては、特徴量Ａを選択基準として規定しているが、前記選択基準は、特徴量Ａ及び特徴点１４のいずれか一方又は双方を規定することができる。 In step S5, the selection criterion defining means 2 determines whether or not there is another image that is the same as or similar to the operation target object 13 in the search. When there is only one image that is the same as or similar to the operation target object 13, the operation target reference image 10 and the feature amount A are defined as selection criteria in step S8, and the processing of the selection criterion defining means 2 is completed. In the present embodiment, the feature amount A is defined as the selection criterion, but the selection criterion can specify either one or both of the feature amount A and the feature point 14.
操作対象オブジェクト１３と同一又は類似する画像が複数存在する場合、ステップＳ６として、図４（ｃ）のように選択基準規定手段２は、操作対象オブジェクト１３と同一又は類似する画像（以下、非操作対象オブジェクト１５ともいう）を抽出する。次に選択基準規定手段２は、非操作対象オブジェクト１５を含む所定範囲の領域の画像を非操作対象基準画像１６として抽出する。非操作対象オブジェクト１５を含む所定範囲の領域の画像は、一括で抽出しても良い。なお、本実施形態においては、非操作対象オブジェクト１５が１つである場合を例として説明する。 When there are a plurality of images that are the same as or similar to the operation target object 13, in step S6, as shown in FIG. 4C, the selection criterion defining means 2 uses the same or similar image as the operation target object 13 (hereinafter, non-operation). The target object 15) is extracted. Next, the selection criterion defining means 2 extracts an image of a predetermined range including the non-operation target object 15 as the non-operation target reference image 16. Images in a predetermined range including the non-operated object 15 may be collectively extracted. In this embodiment, the case where the number of non-operation target objects 15 is one will be described as an example.
ステップＳ７において、図４（ｄ）のように選択基準規定手段２は、非操作対象基準画像１６の特徴点１４として抽出する。抽出された特徴点１４は、特徴量Ｂとして例えばファイル等に出力される。この時、非操作対象基準画像１６及び非操作対象オブジェクト１５に係る画像も特徴量Ｂと併せてファイル等に出力される。なお、特徴量Ｂは、特徴量Ａと同様に特徴点１４を例えば個数や配置に基づいて数値化して表したものである。 In step S7, as shown in FIG. 4D, the selection criterion defining means 2 extracts as the feature point 14 of the non-operation target reference image 16. The extracted feature points 14 are output as feature quantities B to, for example, a file. At this time, the images related to the non-operation target reference image 16 and the non-operation target object 15 are also output to a file or the like together with the feature amount B. Note that the feature amount B is a numerical value of the feature points 14 based on, for example, the number and arrangement, as in the feature amount A.
ステップＳ８において、上述のように特徴量Ａと特徴量Ｂが抽出されると、特徴量Ａ及び特徴量Ｂが選択基準として規定され、選択基準規定手段２での処理が終了する。なお、図示しないが、非操作対象オブジェクト１５が複数ある場合は、ステップＳ６からステップＳ８を非操作対象オブジェクト１５の数に応じて繰り返し処理すれば良い。 In step S8, when the feature amount A and the feature amount B are extracted as described above, the feature amount A and the feature amount B are defined as selection criteria, and the processing by the selection criterion defining means 2 is completed. Although not shown, when there are a plurality of non-operation target objects 15, steps S6 to S8 may be repeated according to the number of non-operation target objects 15.
図９は、操作対象となる端末での処理についてのフローチャートである。ステップＳ１１において、ファイル等に出力された操作対象オブジェクト１３及び非操作対象オブジェクト１５に係る画像（以下、オブジェクト画像ともいう）の情報を抽出部４に呼び出して取得する。 FIG. 9 is a flowchart of processing on the terminal to be operated. In step S11, the extraction unit 4 calls and acquires the information of the image (hereinafter, also referred to as an object image) related to the operation target object 13 and the non-operation target object 15 output to the file or the like.
ステップＳ１２において、抽出部４は、表示装置８に表示された表示領域９全体の画像を取得する。画像は、例えばピクセル情報として取得される。 In step S12, the extraction unit 4 acquires an image of the entire display area 9 displayed on the display device 8. The image is acquired as pixel information, for example.
ステップＳ１３において、抽出部４は、表示領域９全体の画像からオブジェクト画像と同一又は類似する画像を検索する。前記検索は、例えばテンプレートマッチングやパターンマッチング等の画像マッチングで行われる。なお、本実施形態においては、候補画像１１が２つである場合を例として説明する。 In step S13, the extraction unit 4 searches the image of the entire display area 9 for an image that is the same as or similar to the object image. The search is performed by image matching such as template matching or pattern matching, for example. In this embodiment, the case where there are two candidate images 11 will be described as an example.
ステップＳ１４において、抽出部４は、オブジェクト画像が１つかどうかを判断する。オブジェクト画像が１つしか存在しない場合、ステップＳ２０において、選択部５は、認識されたオブジェクト画像を、操作対象オブジェクト１３として特定する。操作対象オブジェクト１３が特定されると操作対象オブジェクト１３の特定処理が終了する。 In step S14, the extraction unit 4 determines whether or not there is one object image. When there is only one object image, in step S20, the selection unit 5 identifies the recognized object image as the operation target object 13. When the operation target object 13 is specified, the identification process of the operation target object 13 ends.
オブジェクト画像が複数存在する場合、ステップＳ１５として、抽出部４は、全てのオブジェクト画像について、オブジェクト画像を含む所定範囲の領域の画像をそれぞれ候補画像１１として抽出する（図５（ｅ）参照）。なお、理解を容易にするため、操作対象オブジェクト１３を含む画像を候補画像１１ａ、非操作対象オブジェクト１５を含む画像を候補画像１１ｂとして、以下説明する。 When there are a plurality of object images, in step S15, the extraction unit 4 extracts images in a predetermined range including the object images as candidate images 11 for all the object images (see FIG. 5E). In order to facilitate understanding, the image including the operation target object 13 will be referred to as a candidate image 11a, and the image including the non-operation target object 15 will be referred to as a candidate image 11b.
ステップ１６において、選択部５は、選択基準としての特徴量Ａ及び特徴量Ｂをファイル等から呼び出して取得する。 In step 16, the selection unit 5 calls and acquires the feature amount A and the feature amount B as selection criteria from a file or the like.
ステップ１７において、図６（ｆ）のように、選択部５は、非操作対象基準画像１６の特徴量Ｂと、候補画像１１ａ及び１１ｂとをそれぞれ比較し、類似度を特徴点１４との一致度合いから導出する。特徴量Ｂに対する候補画像１１ａ及び１１ｂの類似度は、類似度Ｃとして取得する。 In step 17, as shown in FIG. 6 (f), the selection unit 5 compares the feature amount B of the non-operation target reference image 16 with the candidate images 11a and 11b, respectively, and matches the similarity with the feature point 14. Derived from the degree. The degree of similarity between the candidate images 11a and 11b with respect to the feature amount B is acquired as the degree of similarity C.
また、ステップ１７において、図６（ｇ）のように、選択部５は、操作対象基準画像１０の特徴量Ａと、候補画像１１ａ及び１１ｂとをそれぞれ比較し、類似度を特徴点１４との一致度合いから導出する。特徴量Ａに対する候補画像１１ａ及び１１ｂの類似度は、類似度Ｄとして取得する。 Further, in step 17, as shown in FIG. 6 (g), the selection unit 5 compares the feature amount A of the operation target reference image 10 with the candidate images 11a and 11b, respectively, and sets the similarity to the feature point 14. Derived from the degree of agreement. The similarity between the candidate images 11a and 11b with respect to the feature amount A is acquired as the similarity D.
ステップＳ１８において、選択部５は、類似度Ｃにおける類似度が低く、類似度Ｄにおける類似度が高いものを操作対象オブジェクト１３として認識する。すなわち、操作者が選択した操作対象オブジェクト１３を含む所定範囲の領域の画像（操作対象基準画像１０）との類似度が最も高い画像を選択画像１９として選択する。 In step S18, the selection unit 5 recognizes an object having a low similarity in the similarity C and a high similarity in the similarity D as the operation target object 13. That is, the image having the highest degree of similarity to the image (operation target reference image 10) in a predetermined range including the operation target object 13 selected by the operator is selected as the selection image 19.
ステップＳ１９において、特定部６は、選択画像１９内から操作対象オブジェクト１３の画像を検索する。前記検索は、例えばテンプレートマッチングやパターンマッチング等の画像マッチングで行われる。既に検索した結果がある場合は、その結果を用いても良い。 In step S19, the specific unit 6 searches the selected image 19 for an image of the operation target object 13. The search is performed by image matching such as template matching or pattern matching, for example. If there is already a search result, that result may be used.
ステップＳ２０において、操作対象オブジェクト１３が、操作対象となる端末（本実施形態においては同一の端末）において特定される。 In step S20, the operation target object 13 is specified on the operation target terminal (the same terminal in the present embodiment).
操作対象オブジェクト１３の特定が終了すると、実行手段７によって操作対象オブジェクト１３が実行処理される。これにより、操作対象オブジェクト１３に割り付けられたアプリケーション等が自動的に実行され、所要の実行結果が出力される。また、必要により一連の処理内容がＲＰＡ３４として作成される。また、上記処理を繰り返し行って、複数の操作の処理を記録することにより、自動的に複数の操作を行うことができる。以上により、本発明の情報処理システム１又はプログラムの処理が終了する。 When the identification of the operation target object 13 is completed, the operation target object 13 is executed by the execution means 7. As a result, the application or the like assigned to the operation target object 13 is automatically executed, and the required execution result is output. Further, if necessary, a series of processing contents are created as RPA34. Further, by repeating the above processing and recording the processing of a plurality of operations, a plurality of operations can be automatically performed. As described above, the processing of the information processing system 1 or the program of the present invention is completed.
次に別の実施形態について図１０に基づいて以下に説明する。図１０は、本発明の情報処理システム１を利用したシステム構成の一例である。 Next, another embodiment will be described below with reference to FIG. FIG. 10 is an example of a system configuration using the information processing system 1 of the present invention.
本発明の情報処理システム１を実現するプログラムは、端末となる複数のコンピューター３０上に実行可能に記憶されている。また、これらのコンピューター３０は、前記プログラムを実行して、ＲＰＡ３４を作成する。作成されたＲＰＡ３４は、クラウドサーバー３１に送信されて記憶される。 The program that realizes the information processing system 1 of the present invention is executably stored on a plurality of computers 30 that serve as terminals. In addition, these computers 30 execute the program to create the RPA 34. The created RPA 34 is transmitted to the cloud server 31 and stored.
ライセンサー３３は、クラウドサーバー３１上のＲＰＡ３４についてライセンシー３２に使用許諾する。ＲＰＡ３４の使用許諾を受けたライセンシー３２の操作者が、クラウドサーバー３１にログインしてアクセスすることにより、ライセンシー３２は、クラウドサーバー３１上のＲＰＡ３４を使用できる。すなわち、ライセンシー３２の企業内の各操作者が、ＲＰＡ３４を共有して使用することができる。また、クラウドサーバー３１上にＡＩ機能３８を置くことにより、例えば、ＡＩ機能３８がライセンシー３２からの要請を自動的に取得できる。これにより、ＡＩ機能３８が、前記要請に応じたＲＰＡ３４を自動的に作成することができる。また、ライセンシー３２のＲＰＡ３４の使用状況からＡＩ機能３８がライセンシー３２の要請を推測し、推測した要請に応じたＲＰＡ３４を新たに作成することも可能となる。 The licensor 33 licenses the licensee 32 for the RPA 34 on the cloud server 31. When the operator of the licensee 32 licensed for the RPA 34 logs in and accesses the cloud server 31, the licensee 32 can use the RPA 34 on the cloud server 31. That is, each operator in the licensee 32 company can share and use the RPA 34. Further, by placing the AI function 38 on the cloud server 31, for example, the AI function 38 can automatically acquire the request from the licensee 32. As a result, the AI function 38 can automatically create the RPA 34 in response to the request. Further, it is also possible for the AI function 38 to infer the request of the licensee 32 from the usage status of the RPA34 of the licensee 32, and to newly create the RPA34 in response to the inferred request.
また、クラウド（仮想マシン）３６にＲＰＡ３４と、このＲＰＡ３４により実行される操作対象オブジェクト１３となるアプリケーションとを、記憶し、クラウド３６がＲＰＡ３４と前記アプリケーションとを実行できるようにする。このようにすることで、操作者がスマートフォン等の端末からクラウド３６に実行指示するだけで、操作者は、クラウド３６で実行されたＲＰＡ３４の実行結果を得ることができる。すなわち、特定のコンピューター３０上でしか利用できないＲＰＡ３４がクラウド３６上で実行できるので、操作者が、コンピューター３０を別途用意しなくとも、ＲＰＡ３４の実行結果を得ることができる。スマートフォン３６からの実行指示は、例えば日時の指定、入力データの設定、ＲＰＡ３４の選択等である。 Further, the cloud (virtual machine) 36 stores the RPA 34 and the application to be the operation target object 13 executed by the RPA 34, so that the cloud 36 can execute the RPA 34 and the application. By doing so, the operator can obtain the execution result of the RPA 34 executed in the cloud 36 only by the operator instructing the cloud 36 to execute from a terminal such as a smartphone. That is, since the RPA 34 that can be used only on the specific computer 30 can be executed on the cloud 36, the operator can obtain the execution result of the RPA 34 without separately preparing the computer 30. The execution instruction from the smartphone 36 is, for example, designation of a date and time, setting of input data, selection of RPA34, and the like.
以上が、本発明の実施形態であるが、本発明は、発明の範囲内で適宜変更することができる。 The above is the embodiment of the present invention, but the present invention can be appropriately modified within the scope of the invention.
本実施形態においては、表示領域９全体の画像を取得しているが、表示領域９の中でオブジェクト１２が所定の範囲に表示されることが確実な場合は、表示領域９を所定の範囲に設定しても良い。 In the present embodiment, the image of the entire display area 9 is acquired, but when it is certain that the object 12 is displayed in a predetermined range in the display area 9, the display area 9 is set to a predetermined range. You may set it.
選択基準規定手段２は、操作対象特定手段３と同様にそれぞれの機能に応じて抽出部４、選択部５等を設けるようにしても良い。また、操作対象特定手段３は、それぞれの機能を分けて抽出部４、選択部５、特定部６を設けているが、これらを一体に形成しても良い。また、それぞれの機能を細分化して構成しても良い。 Similar to the operation target specifying means 3, the selection criterion defining means 2 may be provided with the extraction unit 4, the selection unit 5, and the like according to their respective functions. Further, although the operation target specifying means 3 is provided with an extraction unit 4, a selection unit 5, and a specific unit 6 by dividing each function, these may be integrally formed. Moreover, each function may be subdivided and configured.
画像マッチングは、テンプレートマッチングやパターンマッチングに関わらず、各種の手法が採用できる。すなわち、操作対象基準画像１０と対比して、判断を付けることができるものであれば、例えば、色の階調や図形の形状に基づくものであっても良い。 For image matching, various methods can be adopted regardless of template matching or pattern matching. That is, as long as it is possible to make a judgment in comparison with the operation target reference image 10, it may be based on, for example, a color gradation or a shape of a figure.
本発明は、各種の環境が異なる端末を用いても、選択すべきオブジェクトを操作対象オブジェクトとして正確に自動選択して情報処理可能な、汎用性の高い情報処理システム及びプログラムとして利用できる。従って、パソコン、サーバー、携帯端末に広く利用できる。また、本発明は、仮想マシンやクラウド上においても利用することができる。 The present invention can be used as a highly versatile information processing system and program capable of accurately and automatically selecting an object to be selected as an operation target object and processing information even when terminals having different environments are used. Therefore, it can be widely used in personal computers, servers, and mobile terminals. The present invention can also be used on a virtual machine or the cloud.
１ 情報処理システム
２ 選択基準規定手段
３ 操作対象特定手段
４ 抽出部
５ 選択部
６ 特定部
７ 実行手段
９ 表示領域
１０ 基準画像
１１ 候補画像
１２ オブジェクト
１３ 操作対象オブジェクト
１４ 特徴点
１５ 非操作対象オブジェクト
１６ 非操作対象基準画像
１９ 選択画像
３０ コンピューター
３１ クラウドサーバー
３４ ＲＰＡ
３６ クラウド（仮想マシン）
３８ ＡＩ機能
1 Information processing system 2 Selection criteria defining means 3 Operation target identification means 4 Extraction unit 5 Selection unit 6 Specific unit 7 Execution means 9 Display area 10 Reference image 11 Candidate image 12 Object 13 Operation target object 14 Feature point 15 Non-operation target object 16 Non-operation target reference image 19 Selected image 30 Computer 31 Cloud server 34 RPA
36 cloud (virtual machine)
38 AI function
Claims (14)
前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定手段と、
前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定手段と、
前記操作対象特定手段により特定された前記操作対象オブジェクトの操作を実行する実行手段とを有し、
前記選択基準規定手段が、
前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、
前記操作対象特定手段が、
前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出部と、
前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出部により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択部と、
前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定部とを有し、
前記実行手段が、
前記操作対象特定手段により特定された前記操作対象オブジェクトを、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とする情報処理システム。 An information processing system that automatically selects an object to be selected as an operation target object from the objects displayed so that it can be operated in the display area and performs information processing.
Selection criterion defining means for defining selection criteria for automatically selecting the operation target object, and
An operation target specifying means for specifying the operation target object according to the selection criteria, and
It has an execution means for executing an operation of the operation target object specified by the operation target identification means.
The selection criteria defining means
An image in a predetermined range with the operation target object as a reference is used as an operation target reference image, and the selection criterion is defined based on the operation target reference image.
The operation target identifying means
From the object displayed in the display area, the object related to an image that is the same as or similar to the image related to the operation target object is detected by image recognition, and the area within a predetermined range is defined based on the detected object. An extraction unit that extracts images as candidate images,
One or a plurality of the candidate images extracted by the extraction unit is selected as the selection image, subject to a high degree of agreement with the operation target reference image as a condition of part or all of the selection criteria. Selection part and
It has a specific unit that identifies the operation target object from the object included in the selected image.
The execution means
An information processing system characterized in that the operation target object specified by the operation target specifying means is automatically selected according to a predetermined algorithm and information processing is executed.
前記操作対象オブジェクトを自動選択するための選択基準を規定する選択基準規定機能と、
前記選択基準に則って前記操作対象オブジェクトを特定する操作対象特定機能と、
前記操作対象特定機能により特定された前記操作対象オブジェクトの操作を実行する実行機能とを有し、
前記選択基準規定機能が、
前記操作対象オブジェクトを基準として所定範囲の領域の画像を操作対象基準画像とし、当該操作対象基準画像に基づいて前記選択基準を規定するものであり、
前記操作対象特定機能が、
前記表示領域内に表示されている前記オブジェクトから、画像認識により前記操作対象オブジェクトに係る画像と同一又は類似する画像に係る前記オブジェクトを検出し、検出された前記オブジェクトを基準として所定範囲の領域の画像を候補画像として抽出する抽出機能と、
前記操作対象基準画像との一致度合いが高いことを前記選択基準の一部又は全部の条件として、前記抽出機能により抽出された一又は複数の前記候補画像のうちの一つを選択画像として選択する選択機能と、
前記選択画像に含まれている前記オブジェクトから前記操作対象オブジェクトを特定する特定機能とを有し、
前記実行機能が、
前記操作対象特定機能により特定された前記操作対象を、所定のアルゴリズムに則って自動選択して情報処理を実行することを特徴とするプログラム。 A program that automatically selects an object to be selected as an operation target object from the objects displayed so that it can be operated in the display area, and performs information processing.
The selection criterion defining function that defines the selection criteria for automatically selecting the operation target object, and
An operation target identification function that specifies the operation target object according to the selection criteria, and
It has an execution function for executing the operation of the operation target object specified by the operation target identification function.
The selection criterion defining function
An image in a predetermined range with the operation target object as a reference is used as an operation target reference image, and the selection criterion is defined based on the operation target reference image.
The operation target identification function
From the object displayed in the display area, the object related to an image that is the same as or similar to the image related to the operation target object is detected by image recognition, and the area within a predetermined range is defined based on the detected object. An extraction function that extracts images as candidate images,
One or a plurality of the candidate images extracted by the extraction function is selected as the selection image, subject to a high degree of agreement with the operation target reference image as a condition of part or all of the selection criteria. Selection function and
It has a specific function of identifying the operation target object from the object included in the selected image.
The executive function
A program characterized in that the operation target specified by the operation target identification function is automatically selected according to a predetermined algorithm and information processing is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090996A JP7367917B2 (en) | 2019-05-13 | 2019-05-13 | Information processing systems and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090996A JP7367917B2 (en) | 2019-05-13 | 2019-05-13 | Information processing systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020187501A true JP2020187501A (en) | 2020-11-19 |
| JP7367917B2 JP7367917B2 (en) | 2023-10-24 |
Family
ID=73223444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019090996A Active JP7367917B2 (en) | 2019-05-13 | 2019-05-13 | Information processing systems and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7367917B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023503532A (en) * | 2020-11-20 | 2023-01-31 | ユーアイパス，インコーポレイテッド | Automatic anchor determination and target graphical element identification in user interface automation |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225683A (en) * | 2007-03-09 | 2008-09-25 | Toshiba Corp | Screen operation system and program |
| JP2009032099A (en) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | Scenario creation apparatus and scenario creation program |
| JP2012221318A (en) * | 2011-04-11 | 2012-11-12 | Toshiba Corp | Scenario generation device and scenario generation program |
| JP2015049520A (en) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | Scenario generation program, scenario execution program, scenario generation method, scenario execution method, scenario generation apparatus, and scenario execution apparatus |
| JP2017049773A (en) * | 2015-09-01 | 2017-03-09 | 株式会社プロモート | Kitting system, kitting program, and kitting method |
-
2019
- 2019-05-13 JP JP2019090996A patent/JP7367917B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225683A (en) * | 2007-03-09 | 2008-09-25 | Toshiba Corp | Screen operation system and program |
| JP2009032099A (en) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | Scenario creation apparatus and scenario creation program |
| JP2012221318A (en) * | 2011-04-11 | 2012-11-12 | Toshiba Corp | Scenario generation device and scenario generation program |
| JP2015049520A (en) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | Scenario generation program, scenario execution program, scenario generation method, scenario execution method, scenario generation apparatus, and scenario execution apparatus |
| JP2017049773A (en) * | 2015-09-01 | 2017-03-09 | 株式会社プロモート | Kitting system, kitting program, and kitting method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023503532A (en) * | 2020-11-20 | 2023-01-31 | ユーアイパス，インコーポレイテッド | Automatic anchor determination and target graphical element identification in user interface automation |
| JP7332845B2 (en) | 2020-11-20 | 2023-08-24 | ユーアイパス，インコーポレイテッド | Automatic anchor determination and target graphical element identification in user interface automation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7367917B2 (en) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461689B2 (en) | Techniques for automatically testing/learning the behavior of a system under test (SUT) | |
| US9952819B2 (en) | Method and system of automated generation of user form interface | |
| AU2010203220B2 (en) | Organizing digital images by correlating faces | |
| US20200250453A1 (en) | Content-aware selection | |
| CN111443912B (en) | Component-based page rendering method, device, computer equipment and storage medium | |
| US11513670B2 (en) | Learning user interface controls via incremental data synthesis | |
| US20160069007A1 (en) | Sewing machine system, terminal device, method of synchronizing embroidery data for sewing machine system, and recording non-transitory medium storing program for terminal device | |
| US8381104B2 (en) | Systems and methods for providing context recognition | |
| JP2011081778A (en) | Method and device for display-independent computerized guidance | |
| JP2022183351A (en) | Information processing apparatus and program | |
| JP2015076064A (en) | Information processing device, information processing method, program, and storage medium | |
| CN109144871B (en) | Automatic test element identification method and device | |
| JP2019109924A (en) | Information processing system, information processing method, and program | |
| JP7367917B2 (en) | Information processing systems and programs | |
| US11954008B2 (en) | User action generated process discovery | |
| JP2005216201A (en) | Job processing system | |
| KR101635054B1 (en) | Method for controlling a plurality of terminals collectively | |
| CN110909739B (en) | Picture identification and operation method and device, computer equipment and storage medium | |
| Veuskens et al. | Rataplan: Resilient automation of user interface actions with multi-modal proxies | |
| CN112612469A (en) | Interface element processing method and device and electronic equipment | |
| CN113010161A (en) | View conversion method, view conversion apparatus, and storage medium | |
| US11644954B2 (en) | Method and apparatus for providing a document editing interface for providing resource information related to a document using a backlink button | |
| JP2019128899A (en) | Display control program, display control device, and display control method | |
| JP7248279B2 (en) | Computer system, program and method | |
| US20230251879A1 (en) | Methods and systems for reidentification in a user interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220511 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231003 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7367917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |