JP2022087396A - アノテーション支援装置、方法、及びプログラム - Google Patents
アノテーション支援装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2022087396A JP2022087396A JP2020199307A JP2020199307A JP2022087396A JP 2022087396 A JP2022087396 A JP 2022087396A JP 2020199307 A JP2020199307 A JP 2020199307A JP 2020199307 A JP2020199307 A JP 2020199307A JP 2022087396 A JP2022087396 A JP 2022087396A
- Authority
- JP
- Japan
- Prior art keywords
- annotation
- gripping position
- gripping
- image
- start point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000010365 information processing Effects 0.000 claims description 5
- 239000013256 coordination polymer Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000012636 effector Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】 画像に対する把持位置のアノテーションを容易にする。【解決手段】一実施形態にかかるアノテーション支援装置は、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、前記始点及び前記終点に応じた把持位置を記憶する記憶部と、を備え、前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む。【選択図】図５
Description
本発明は、アノテーション支援装置、方法、及びプログラムに関する。
ロボットアームにより物体を把持する技術が知られている。引用文献１には、メモリと、少なくとも１つのプロセッサと、を備える学習装置であって、前記少なくとも１のプロセッサは、ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習すること、を実行するよう構成され、出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、学習装置が記載されている。
このような学習装置では、教師データとして、把持位置がアノテーションされたターゲット物体の画像データが利用される場合がある。把持位置のアノテーションは手作業で行われるため、教師データの用意には大きな手間がかかる。
本発明は、上記の課題を鑑みてなされたものであり、画像に対する把持位置のアノテーションを容易にすることを目的とする。
一実施形態にかかるアノテーション支援装置は、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、前記始点及び前記終点に応じた把持位置を記憶する記憶部と、を備え、前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む。
一実施形態によれば、画像に対する把持位置のアノテーションを容易にすることができる。
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
＜アノテーション支援装置の概要＞
まず、本実施形態に係るアノテーション支援装置１の概要について説明する。本実施形態に係るアノテーション支援装置１は、ユーザによる対象物画像Ｉｍに対する把持位置のアノテーションを支援する、すなわち、アノテーションデータ１２２の作成を支援する情報処理装置（コンピュータ）である。対象物画像Ｉｍとは、把持対象となる任意の物体の画像である。把持位置のアノテーションとは、対象物画像Ｉｍの画像データである対象物画像データ１２１に、把持位置を示すメタデータを付加することをいう。アノテーションデータ１２２とは、把持位置をアノテーションされた対象物画像データ１２１のことである。なお、把持位置について詳しくは後述する。
まず、本実施形態に係るアノテーション支援装置１の概要について説明する。本実施形態に係るアノテーション支援装置１は、ユーザによる対象物画像Ｉｍに対する把持位置のアノテーションを支援する、すなわち、アノテーションデータ１２２の作成を支援する情報処理装置（コンピュータ）である。対象物画像Ｉｍとは、把持対象となる任意の物体の画像である。把持位置のアノテーションとは、対象物画像Ｉｍの画像データである対象物画像データ１２１に、把持位置を示すメタデータを付加することをいう。アノテーションデータ１２２とは、把持位置をアノテーションされた対象物画像データ１２１のことである。なお、把持位置について詳しくは後述する。
本実施形態において、アノテーション支援装置１は、ユーザがアノテーションを実施するためのアノテーション画面に対象物画像Ｉｍ及び把持位置操作画像ｇｐを表示する。そして、ユーザは、アノテーション画面上でポインタＰを操作する。把持位置操作画像ｇｐは、把持位置のアノテーションを支援する画像であり、ユーザのポインタ操作に応じてアノテーションされる把持位置を視覚的に示す画像である。ユーザは、把持位置操作画像ｇｐを確認しながらアノテーションを行うことにより、対象物画像Ｉｍの所望の位置に容易に把持位置をアノテーションすることができる。なお、把持位置操作画像ｇｐについて詳しくは後述する。
アノテーション支援装置１により作成されたアノテーションデータは、例えば、対象物画像Ｉｍから把持位置を推論する機械学習モデルを学習させるための教師データとして利用される。機械学習モデルは、例えば、ニューラルネットワークであるが、これに限られない。
＜ハードウェア構成＞
次に、アノテーション支援装置１のハードウェア構成について説明する。図１は、アノテーション支援装置１のハードウェア構成の一例を示す図である。図１に示すように、アノテーション支援装置１は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
次に、アノテーション支援装置１のハードウェア構成について説明する。図１は、アノテーション支援装置１のハードウェア構成の一例を示す図である。図１に示すように、アノテーション支援装置１は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
プロセッサ１０１は、ストレージ１０３に記憶されたプログラムをメモリ１０２に展開して実行することにより、アノテーション支援装置１の各構成を制御し、アノテーション支援装置１の機能を実現する。プロセッサ１０１が実行するプログラムは、ＯＳ（Operating System）及びアノテーション支援プログラムを含むが、これに限られない。プロセッサ１０１がアノテーション支援プログラムを実行することにより、本実施形態に係るアノテーション支援方法が実現される。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。
ストレージ１０３は、ＯＳ、アノテーション支援プログラム、及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
通信Ｉ／Ｆ１０４は、アノテーション支援装置１を、ネットワークを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４ は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、 Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Fibre Channel）に準拠したアダプタであるが、これに限られない。
入出力Ｉ／Ｆ１０５は、アノテーション支援装置１に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。
なお、本実施形態において、アノテーション支援プログラムは、アノテーション支援装置１の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークを介してアノテーション支援装置１に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介してアノテーション支援装置１に提供されてもよい。また、アノテーション支援装置１は、図１に示すように、一の情報処理装置により構成されてもよいし、ネットワークを介して接続された複数の情報処理装置により構成されてもよい。
＜機能構成＞
次に、アノテーション支援装置１の機能構成について説明する。図２は、アノテーション支援装置１の機能構成の一例を示す図である。図２に示すように、アノテーション支援装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
次に、アノテーション支援装置１の機能構成について説明する。図２は、アノテーション支援装置１の機能構成の一例を示す図である。図２に示すように、アノテーション支援装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークを介して外部装置との間で情報の送受信を行う。
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象物画像データ１２１、及びアノテーションデータ１２２を記憶する。
制御部１３は、プロセッサ１０１がメモリ１０２からアノテーション支援プログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、アノテーション支援装置１の動作全体を制御する。制御部１３は、表示制御部１３１を備える。
表示制御部１３１は、アノテーション支援装置１のディスプレイの表示を制御する。具体的には、表示制御部１３１は、アノテーション支援装置１のディスプレイにアノテーション画面を表示する。
図３は、アノテーション前のアノテーション画面の一例を示す図である。図３のアノテーション画面は、アノテーション領域Ａ１と、操作領域Ａ２と、を含む。
アノテーション領域Ａ１は、ユーザがポインタＰを操作して対象物画像Ｉｍに把持位置をアノテーションするための領域である。アノテーション領域Ａ１には、対象物画像Ｉｍと、ポインタＰと、が表示される。図３の例では、対象物はスパナＳであり、ポインタＰは矢印形状である。
なお、対象物画像Ｉｍには、複数の対象物が含まれてもよいし、複数種類の対象物が含まれてもよい。また、ポインタＰの形状は任意である。また、ポインタＰは、アノテーション領域Ａ１だけで操作可能であってもよいし、アノテーション画面全体で操作可能であってもよい。
また、アノテーション領域Ａ１には、ユーザのポインタ操作に応じて、把持位置操作画像ｇｐと、把持位置画像ＧＰと、が表示される。ここで、本実施形態における把持位置、把持位置操作画像ｇｐ、及び把持位置画像ＧＰについて詳細に説明する。
把持位置は、ロボットアームのエンドエフェクタがそこに位置した場合、対象物をエンドエフェクタで把持可能である、とユーザが考える、対象物画像上におけるエンドエフェクタの位置である。本実施形態では、エンドエフェクタが２指のグリッパであることを想定しているため、把持位置はグリッパの２指の位置に相当する。
把持位置は、例えば、Ｘ，Ｙ，Ｗ，Ｈ，θで表され得る。Ｘは、グリッパの中心のＸ座標である。Ｙは、グリッパの中心のＹ座標である。Ｗは、グリッパの２指の間の幅である。Ｈは、グリッパの指の先端の幅である。θは、Ｘ軸又はＹ軸に対するグリッパの傾きである。このとき、対象物画像データに付加される把持位置を示すメタデータは、Ｘ，Ｙ，Ｗ，Ｈ，θの値を示すデータとなる。
なお、把持位置の表現方法は、上記の例に限られない。把持位置は、対象物画像上におけるグリッパの２指の位置を特定可能な任意の方法で表現され得る。また、把持位置は、グリッパの高さＺを含んでもよい。
把持位置操作画像ｇｐは、ユーザのポインタ操作に応じてアノテーションされる把持位置を視覚的に示す画像である。図４は、把持位置操作画像ｇｐの一例を示す図である。図４の把持位置操作画像ｇｐは、中心点ＣＰと、中心線ＣＬと、一対の把持線ＧＬ１，ＧＬ２と、を含む。
中心点ＣＰは、グリッパの中心を示す画像である。Ｘは、中心点ＣＰのＸ座標に相当する。Ｙは、中心点ＣＰのＹ座標に相当する。
中心線ＣＬは、中心点ＣＰとポインタＰを通る直線ＳＬと平行な直線状の画像である。中心線ＣＬは、中心点ＣＰを通り、中心点ＣＰから両側に伸びる。図４の例では、θは、Ｘ軸に対する中心線ＣＬの傾きであるが、Ｙ軸に対する中心線ＣＬの傾きであってもよい。中心線ＣＬの長さは任意である。
把持線ＧＬ１は、グリッパの一方の指の先端の位置を示す直線状の画像である。把持線ＧＬ２は、グリッパの他方の指の先端の位置を示す直線状の画像である。把持線ＧＬ１，ＧＬ２は、中心線ＣＬ及び直線ＳＬと平行であり、中心線ＣＬ及び直線ＳＬを軸として対称に配置される。Ｈは、把持線ＧＬ１，ＧＬ２の長さに相当する。Ｗは、把持線ＧＬ１，ＧＬ２の間の幅に相当する。Ｗは、中心点ＣＰとポインタＰとの間の距離Ｌに比例し、例えば、Ｗ＝ｋＬで表される（ｋは正の実数）。
把持位置画像ＧＰは、ユーザのポインタ操作によりアノテーションされた把持位置を視覚的に示す画像である。図５は、把持位置画像ＧＰの一例を示す図である。図５の把持位置画像ＧＰは、一対の把持線ＧＬ１，ＧＬ２と、一対の幅線ＷＬ１，ＷＬ２と、を含む。把持位置画像ＧＰの把持線ＧＬ１，ＧＬ２は、把持位置操作画像ｇｐの把持線ＧＬ１，ＧＬ２と同様である。
幅線ＷＬ１は、把持線ＧＬ１，ＧＬ２の一端を結ぶ直線状の画像である。幅線ＷＬ２は、把持線ＧＬ１，ＧＬ２の他端を結ぶ直線状の画像である。幅線ＷＬ１，ＷＬ２は、中心線ＣＬ及び直線ＳＬと垂直である。Ｗは、幅線ＷＬ１，ＷＬ２の長さに相当する。Ｈは、幅線ＷＬ１，ＷＬ２の間の幅に相当する。把持位置画像ＧＰは、把持線ＧＬ１，ＧＬ２及び幅線ＷＬ１，ＷＬ２により形成された、高さがＨ、幅がＷの矩形となる。
なお、把持位置、把持位置操作画像ｇｐ、及び把持位置画像ＧＰは上記の例に限られない。例えば、把持線ＧＬ１，ＧＬ２は、中心点ＣＰを挟んで対向して配置されればよく、中心点ＣＰを中心として対称に配置されてもよいし、中心線ＳＬに対して（例えば、垂直に）傾いて配置されてもよい。また、把持線ＧＬ１，ＧＬ２の間の幅Ｗは、中心点ＣＰとポインタＰとの間の距離Ｌに反比例してもよいし、中心点ＣＰからみたポインタＰの方向（角度θに相当）に比例又は反比例してもよい。
操作領域Ａ２は、各種の操作要素を表示するための領域である。操作領域Ａ２には、ロードボタンＢ１、セーブボタンＢ２、デリートボタンＢ３、オプションボタンＢ４、第１種類ボタンＢ５、及び第２種類ボタンＢ６が表示される。
ロードボタンＢ１は、記憶部１２に記憶された対象物画像データ１２１を読み出し、アノテーション領域Ａ１に対象物画像Ｉｍを表示するためのボタンである。ユーザがロードボタンＢ１を選択すると、記憶部１２に記憶された対象物画像データ１２１の一覧が表示される。ユーザが対象物画像データ１２１を選択すると、対応する対象物画像１２１がアノテーションＡ１に表示される。
セーブボタンＢ２は、ユーザがアノテーションした把持位置を記憶部１２に保存するためのボタンである。ユーザが把持位置をアノテーションした後、セーブボタンＢ２を選択すると、アノテーションされた把持位置を示すメタデータを含むアノテーションデータ１２２が記憶部１２に保存される。
デリートボタンＢ３は、ユーザがアノテーションした把持位置を削除するためのボタンである。ユーザが把持位置をアノテーションした後、デリートボタンＢ３を選択すると、アノテーションされた把持位置が削除される。
オプションボタンＢ４は、オプション画面を表示するためのボタンである。オプション画面には、各種の設定を変更するための操作要素が表示される。オプション画面に表示される操作要素は任意である。
第１種類ボタンＢ５は、アノテーションする把持位置の種類を第１種類に指定するためのボタンである。ユーザが第１種類ボタンＢ５を選択すると、ユーザが指定した把持位置が第１種類の把持位置としてアノテーションされる。すなわち、把持位置を示すメタデータに第１種類を示すメタデータが追加される。第１種類は、例えば、把持許可位置である。把持許可位置とは、そこで把持してもよい把持位置のことである。
第２種類ボタンＢ６は、アノテーションする把持位置の種類を第２種類に指定するためのボタンである。ユーザが第２種類ボタンＢ６を選択すると、ユーザが指定した把持位置が第２種類の把持位置としてアノテーションされる。すなわち、把持位置を示すメタデータに第２種類を示すメタデータが追加される。第２種類は、例えば、把持禁止位置である。把持禁止位置とは、そこで把持してはいけない把持位置のことである。
なお、操作領域Ａ２に表示される操作要素は上記の例に限られない。また、把持位置の種類は、１種類又は３種類以上であってもよい。また、対象物画像データ１２１は、カメラから入力されてもよい。
＜アノテーション支援方法＞
次に、アノテーション支援装置１が実行するアノテーション支援方法について説明する。図６は、アノテーション支援方法の一例を示すフローチャートである。
次に、アノテーション支援装置１が実行するアノテーション支援方法について説明する。図６は、アノテーション支援方法の一例を示すフローチャートである。
（ステップＳ１０１）
ユーザは、アノテーション画面に対象物画像１２１を表示し、ポインタＰで始点を指定する（ステップＳ１０１）。始点は、クリック操作やタップ操作などの、画面上の一点を指定する任意の操作で指定可能である。
ユーザは、アノテーション画面に対象物画像１２１を表示し、ポインタＰで始点を指定する（ステップＳ１０１）。始点は、クリック操作やタップ操作などの、画面上の一点を指定する任意の操作で指定可能である。
（ステップＳ１０２）
ユーザが始点を指定すると、表示制御部１３１は、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。具体的には、表示制御部１３１は、始点の位置に中心点ＣＰを表示する（ステップＳ１０２）。
ユーザが始点を指定すると、表示制御部１３１は、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。具体的には、表示制御部１３１は、始点の位置に中心点ＣＰを表示する（ステップＳ１０２）。
（ステップＳ１０３）
表示制御部１３１は、中心点ＣＰ（始点）を通る中心線ＣＬを表示する（ステップＳ１０３）。中心線ＣＬの長さは、固定（例えば、Ｈ）であってもよいし、オプション画面から任意に変更可能であってもよい。
表示制御部１３１は、中心点ＣＰ（始点）を通る中心線ＣＬを表示する（ステップＳ１０３）。中心線ＣＬの長さは、固定（例えば、Ｈ）であってもよいし、オプション画面から任意に変更可能であってもよい。
（ステップＳ１０４）
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰとの間の距離Ｌを計算し、距離Ｌに応じた幅Ｗを計算する（ステップＳ１０４）。幅Ｗは、例えば、Ｗ＝ｋＬで計算される。係数ｋは、固定（例えば、１）であってもよいし、オプション画面から任意に変更可能であってもよい。
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰとの間の距離Ｌを計算し、距離Ｌに応じた幅Ｗを計算する（ステップＳ１０４）。幅Ｗは、例えば、Ｗ＝ｋＬで計算される。係数ｋは、固定（例えば、１）であってもよいし、オプション画面から任意に変更可能であってもよい。
（ステップＳ１０５）
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰを通る直線ＳＬを軸として対称な位置に、幅Ｗの間隔で一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０５）。把持線ＧＬ１，ＧＬ２の長さＨは、固定であってもよいし、オプション画面から任意に変更可能であってもよい。以上のステップＳ１０２からステップＳ１０５により、ユーザが指定した始点の位置とポインタＰの位置に応じた把持位置操作画像ｇｐが表示される。
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰを通る直線ＳＬを軸として対称な位置に、幅Ｗの間隔で一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０５）。把持線ＧＬ１，ＧＬ２の長さＨは、固定であってもよいし、オプション画面から任意に変更可能であってもよい。以上のステップＳ１０２からステップＳ１０５により、ユーザが指定した始点の位置とポインタＰの位置に応じた把持位置操作画像ｇｐが表示される。
（ステップＳ１０６）
ユーザが終点を指定しない場合（ステップＳ１０６：ＮＯ）、処理はステップＳ１０２に戻る。すなわち、表示制御部１３１は、ユーザにより始点が指定されてから終点が指定されるまで、ステップＳ１０２からステップＳ１０５までの処理を繰り返し、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。ユーザが終点を指定した場合（ステップＳ１０６：ＹＥＳ）、処理はステップＳ１０７に進む。
ユーザが終点を指定しない場合（ステップＳ１０６：ＮＯ）、処理はステップＳ１０２に戻る。すなわち、表示制御部１３１は、ユーザにより始点が指定されてから終点が指定されるまで、ステップＳ１０２からステップＳ１０５までの処理を繰り返し、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。ユーザが終点を指定した場合（ステップＳ１０６：ＹＥＳ）、処理はステップＳ１０７に進む。
（ステップＳ１０７）
ユーザが終点を指定すると、表示制御部１３１は、始点及び終点に応じた把持位置画像ＧＰを表示する。具体的には、表示制御部１３１は、ユーザが終点を指定した際に表示されていた一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０７）。
ユーザが終点を指定すると、表示制御部１３１は、始点及び終点に応じた把持位置画像ＧＰを表示する。具体的には、表示制御部１３１は、ユーザが終点を指定した際に表示されていた一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０７）。
（ステップＳ１０８）
また、表示制御部１３１は、ステップＳ１０７で表示した一対の把持線ＧＬ１，ＧＬ２に応じた幅線ＷＬ１，ＷＬ２を表示する（ステップＳ１０８）。以上のステップＳ１０７及びステップＳ１０８により、対象物にして、ユーザが指定した始点及び終点の位置に応じた把持位置がアノテーションされ、アノテーションされた把持位置に対応する把持位置画像ＧＰが表示される。ユーザがセーブボタンＢ２を選択すると、把持位置画像ＧＰに対応する把持位置がアノテーションデータ１２２として記憶部１２に保存される。
また、表示制御部１３１は、ステップＳ１０７で表示した一対の把持線ＧＬ１，ＧＬ２に応じた幅線ＷＬ１，ＷＬ２を表示する（ステップＳ１０８）。以上のステップＳ１０７及びステップＳ１０８により、対象物にして、ユーザが指定した始点及び終点の位置に応じた把持位置がアノテーションされ、アノテーションされた把持位置に対応する把持位置画像ＧＰが表示される。ユーザがセーブボタンＢ２を選択すると、把持位置画像ＧＰに対応する把持位置がアノテーションデータ１２２として記憶部１２に保存される。
＜アノテーション方法＞
ここで、本実施形態に係るアノテーション支援装置１を利用したアノテーション方法について説明する。図７は、アノテーション方法の概要を説明する図である。以下では、スパナＳに把持位置をアノテーションする場合を例に説明する。
ここで、本実施形態に係るアノテーション支援装置１を利用したアノテーション方法について説明する。図７は、アノテーション方法の概要を説明する図である。以下では、スパナＳに把持位置をアノテーションする場合を例に説明する。
まず、ユーザは、ポインタＰで対象物画像Ｉｍ上に始点を指定する。始点が指定されると、表示制御部１３１は、始点とポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。図７左の例では、スパナＳの柄の中心部に始点が指定されている。
次に、ユーザは、把持線ＧＬ１，ＧＬ２が所望の位置にくるように、ポインタＰを移動させる。ユーザは、中心線ＣＬの傾きを調整することで、把持線ＧＬ１，ＧＬ２の傾きを調整できる。また、ユーザは、中心点ＣＰからポインタＰまでの距離Ｌを調整することで、把持線ＧＬ１，ＧＬ２の間の幅Ｗを調整できる。図７中央の例では、把持線ＧＬ１，ＧＬ２は、スパナＳの柄を挟んだ位置にあり、かつ、スパナＳの柄と平行に配置されている。
そして、ユーザは、把持線ＧＬ１，ＧＬ２が所望の位置にきた際のポインタＰの位置を終点に指定する。終点が指定されると、表示制御部１３１は、始点及び終点の位置に応じた把持位置画像ＧＰを表示する。図７右の例では、スパナＳの柄を囲む把持位置画像ＧＰが表示されている。
図８は、アノテーション後のアノテーション画面の一例を示す図である。図８の例では、対象物画像Ｉｍ（スパナＳ）に４つの把持位置がアノテーションされており、各把持位置に対応する把持位置画像ＧＰ１～ＧＰ４が対象物画像Ｉｍ上に表示されている。把持位置画像ＧＰ１，ＧＰ２は、第１種類の把持位置の把持位置画像であり、把持位置画像ＧＰ３，ＧＰ４は、第２種類の把持位置の把持位置画像である。
図８の例のように、一の対象物画像Ｉｍに対して複数の把持位置画像ＧＰが表示されてもよい。また、把持位置画像ＧＰは、把持位置の種類に応じて異なる表示形式で表示されもよい。例えば、把持位置の種類に応じて、把持位置画像ＧＰの少なくとも一部の色、模様、太さを変えることが考えられる。また、複数の把持位置画像ＧＰが重複していてもよい。
＜まとめ＞
以上説明した通り、本実施形態によれば、ユーザが対象物画像Ｉｍに対して把持位置をアノテーションする際に、ユーザのポインタ操作に応じた把持位置操作画像ｇｐが表示される。ユーザは、把持位置操作画像ｇｐにより、アノテーションされる把持位置を確認できるため、所望の把持位置に容易にアノテーションを行うことができる。また、ユーザは、ポインタＰで始点及び終点を指定するだけで、把持位置を指定することができる。また、中心点ＣＰ（始点）に対するポインタＰの位置を調整するだけで把持位置を調整できるため、ユーザは、所望の把持位置を直感的な操作でアノテーションできる。
以上説明した通り、本実施形態によれば、ユーザが対象物画像Ｉｍに対して把持位置をアノテーションする際に、ユーザのポインタ操作に応じた把持位置操作画像ｇｐが表示される。ユーザは、把持位置操作画像ｇｐにより、アノテーションされる把持位置を確認できるため、所望の把持位置に容易にアノテーションを行うことができる。また、ユーザは、ポインタＰで始点及び終点を指定するだけで、把持位置を指定することができる。また、中心点ＣＰ（始点）に対するポインタＰの位置を調整するだけで把持位置を調整できるため、ユーザは、所望の把持位置を直感的な操作でアノテーションできる。
＜付記＞
本実施形態は、以下の開示を含む。
本実施形態は、以下の開示を含む。
（付記１）
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、
前記始点及び前記終点に応じた把持位置を記憶する記憶部と、
を備え、
前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援装置。
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、
前記始点及び前記終点に応じた把持位置を記憶する記憶部と、
を備え、
前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援装置。
（付記２）
前記一対の把持線は、前記始点と前記ポインタを通る直線を軸として対称に配置される
付記１に記載のアノテーション支援装置。
前記一対の把持線は、前記始点と前記ポインタを通る直線を軸として対称に配置される
付記１に記載のアノテーション支援装置。
（付記３）
前記一対の把持線は、前記直線と平行である
付記２に記載のアノテーション支援装置。
前記一対の把持線は、前記直線と平行である
付記２に記載のアノテーション支援装置。
（付記４）
前記一対の把持線の間の幅は、前記始点と前記ポインタとの間の距離に比例する
付記１から付記３までのいずれかに記載のアノテーション支援装置。
前記一対の把持線の間の幅は、前記始点と前記ポインタとの間の距離に比例する
付記１から付記３までのいずれかに記載のアノテーション支援装置。
（付記５）
前記把持位置操作画像は、前記始点を通り、前記直線と平行な中心線を含む
付記１から付記４までのいずれかに記載のアノテーション支援装置。
前記把持位置操作画像は、前記始点を通り、前記直線と平行な中心線を含む
付記１から付記４までのいずれかに記載のアノテーション支援装置。
（付記６）
前記表示制御部は、前記終点が指定された後、把持位置画像を表示し、
前記把持位置画像は、当該終点が指定された際に表示されていた前記一対の把持線を含む
付記１から付記５までのいずれかに記載のアノテーション支援装置。
前記表示制御部は、前記終点が指定された後、把持位置画像を表示し、
前記把持位置画像は、当該終点が指定された際に表示されていた前記一対の把持線を含む
付記１から付記５までのいずれかに記載のアノテーション支援装置。
（付記７）
前記表示制御部は、アノテーションされる把持位置の種類に応じて前記一対の把持線を異なる表示形式で表示する
付記１から付記６までのいずれかに記載のアノテーション支援装置。
前記表示制御部は、アノテーションされる把持位置の種類に応じて前記一対の把持線を異なる表示形式で表示する
付記１から付記６までのいずれかに記載のアノテーション支援装置。
（付記８）
情報処理装置が実行する、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法。
情報処理装置が実行する、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法。
（付記９）
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法をコンピュータに実行させるためのプログラム。
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法をコンピュータに実行させるためのプログラム。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１：アノテーション支援装置
１１：通信部
１２：記憶部
１３：制御部
１２１：対象物画像データ
１２２：アノテーションデータ
１３１：表示制御部
１１：通信部
１２：記憶部
１３：制御部
１２１：対象物画像データ
１２２：アノテーションデータ
１３１：表示制御部
Claims (9)
- 対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、
前記始点及び前記終点に応じた把持位置を記憶する記憶部と、
を備え、
前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援装置。 - 前記一対の把持線は、前記始点と前記ポインタを通る直線を軸として対象に配置される
請求項１に記載のアノテーション支援装置。 - 前記一対の把持線は、前記直線と平行である
請求項２に記載のアノテーション支援装置。 - 前記一対の把持線の間の幅は、前記始点と前記ポインタとの間の距離に比例する
請求項１から請求項３までのいずれか１項に記載のアノテーション支援装置。 - 前記把持位置操作画像は、前記始点を通り、前記直線と平行な中心線を含む
請求項１から請求項４までのいずれか１項に記載のアノテーション支援装置。 - 前記表示制御部は、前記終点が指定された後、把持位置画像を表示し、
前記把持位置画像は、当該終点が指定された際に表示されていた前記一対の把持線を含む
請求項１から請求項５までのいずれか１項に記載のアノテーション支援装置。 - 前記表示制御部は、アノテーションされる把持位置の種類に応じて前記一対の把持線を異なる表示形式で表示する
請求項１から請求項６までのいずれか１項に記載のアノテーション支援装置。 - 情報処理装置が実行する、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法。 - 対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020199307A JP6878727B1 (ja) | 2020-12-01 | 2020-12-01 | アノテーション支援装置、方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020199307A JP6878727B1 (ja) | 2020-12-01 | 2020-12-01 | アノテーション支援装置、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6878727B1 JP6878727B1 (ja) | 2021-06-02 |
| JP2022087396A true JP2022087396A (ja) | 2022-06-13 |
Family
ID=76083793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020199307A Active JP6878727B1 (ja) | 2020-12-01 | 2020-12-01 | アノテーション支援装置、方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6878727B1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04303273A (ja) * | 1991-03-30 | 1992-10-27 | Toshiba Corp | 図形作成装置 |
| JPH1158279A (ja) * | 1997-08-22 | 1999-03-02 | Meidensha Corp | 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体 |
| WO2012066819A1 (ja) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
| WO2014034294A1 (ja) * | 2012-08-28 | 2014-03-06 | 株式会社日立メディコ | 画像表示装置及び医用画像撮像装置 |
| JP2020080022A (ja) * | 2018-11-12 | 2020-05-28 | 富士通株式会社 | 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置 |
-
2020
- 2020-12-01 JP JP2020199307A patent/JP6878727B1/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04303273A (ja) * | 1991-03-30 | 1992-10-27 | Toshiba Corp | 図形作成装置 |
| JPH1158279A (ja) * | 1997-08-22 | 1999-03-02 | Meidensha Corp | 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体 |
| WO2012066819A1 (ja) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
| WO2014034294A1 (ja) * | 2012-08-28 | 2014-03-06 | 株式会社日立メディコ | 画像表示装置及び医用画像撮像装置 |
| JP2020080022A (ja) * | 2018-11-12 | 2020-05-28 | 富士通株式会社 | 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6878727B1 (ja) | 2021-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140313223A1 (en) | Display control method and device | |
| JP6364893B2 (ja) | 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム | |
| CN100390718C (zh) | 信息处理系统、以及其方法 | |
| JP4883791B2 (ja) | 情報処理装置及び表示方法 | |
| JP3757925B2 (ja) | 図形表示制御装置及び図形表示制御プログラム | |
| JP4831793B2 (ja) | データ制御装置 | |
| JP6035971B2 (ja) | 情報処理装置、プログラム及び画像処理システム | |
| US9513772B2 (en) | Information processing device, information processing method, and computer-readable medium | |
| US20160132182A1 (en) | Digital Cursor Display Linked to a Smart Pen | |
| TW201423293A (zh) | 多軸控制系統設定、調整功能支援裝置 | |
| JP6878727B1 (ja) | アノテーション支援装置、方法、及びプログラム | |
| JP6928340B2 (ja) | 施工管理システム、施工管理方法、風量測定方法、携帯端末及びプログラム | |
| WO2015129244A1 (ja) | 情報処理装置、情報表示方法、及び、記録媒体 | |
| TW202326318A (zh) | 履歷管理裝置及程式 | |
| JP5970434B2 (ja) | 教示データ作成システムおよびプログラム | |
| JP2008097401A (ja) | 電子表示装置 | |
| US20030052881A1 (en) | Graphical value display program, graphical value display method and recording medium | |
| JPWO2015129245A1 (ja) | 情報処理装置、情報表示方法およびプログラム | |
| EP2562634A2 (en) | Data copy processing system, storage device, and data copy processing method | |
| JP2006301729A (ja) | 画面作成方法および画面作成装置 | |
| JPH05181582A (ja) | 表示データ転送方式およびペン・ペンアダプタ装置 | |
| JPS60254376A (ja) | 図形検出装置 | |
| WO2023145361A1 (ja) | ロボット制御システムおよびロボット制御システムを構成する方法 | |
| JP2005142614A (ja) | スキャナドライバプログラム、情報処理装置、及びコピーシステム | |
| TWI820651B (zh) | 路徑教導資料生成裝置、其方法以及其記錄媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201201 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201201 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210331 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6878727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |