JP2016055954A - Portable information terminal, information processing method, and program - Google Patents

Portable information terminal, information processing method, and program Download PDF

Info

Publication number
JP2016055954A
JP2016055954A JP2014182364A JP2014182364A JP2016055954A JP 2016055954 A JP2016055954 A JP 2016055954A JP 2014182364 A JP2014182364 A JP 2014182364A JP 2014182364 A JP2014182364 A JP 2014182364A JP 2016055954 A JP2016055954 A JP 2016055954A
Authority
JP
Japan
Prior art keywords
article
unit
code
identifier
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014182364A
Other languages
Japanese (ja)
Other versions
JP6386311B2 (en
Inventor
潔 上野
Kiyoshi Ueno
潔 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wom System Design Co
Original Assignee
Wom System Design Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wom System Design Co filed Critical Wom System Design Co
Priority to JP2014182364A priority Critical patent/JP6386311B2/en
Publication of JP2016055954A publication Critical patent/JP2016055954A/en
Application granted granted Critical
Publication of JP6386311B2 publication Critical patent/JP6386311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a portable information terminal which can adequately indicate a position of an article which is an acquisition object for a user.SOLUTION: A portable information terminal is equipped with: a reception part 101 which receives one or more article identifiers as an identifier for an article of an acquisition object; a photographing part 102 for acquiring a photographed image in which an area including one or more codes which are located at a position corresponding to the article and are linked with article identifiers of the article; a determination part 104 which acquires an article identifier of the article linked with one or more codes in the photographed image, and determines whether or not the acquired article identifier is coincident with any one of the article identifiers received by the reception part 101; and a display part 105 which, when the determination part 104 determines that the acquired article identifier is coincident with any one of the article identifiers received by the reception part 101, displays acquired notice information, which indicates the article corresponding to a code is an article of an acquisition object, at a position corresponding to the code which corresponds to the coincident article identifier.SELECTED DRAWING: Figure 1

Description

本発明は、物品に対する作業を支援する携帯情報端末等に関するものである。   The present invention relates to a portable information terminal or the like that supports work on an article.

従来の技術として、物品処理部を撮像対象領域として画像を撮像自在な撮像装置が設けられ、制御部が、撮像装置にて撮像された撮像対象領域の画像に基づいて物品処理部にて処理された物品の種別及び数量を算出し、算出した物品の種別及び数量に基づいて、物品処理作業が物品処理情報にて指定された通りの種別及び数量の物品に対して実行されたか否かを判定するものが知られていた(例えば、特許文献1参照)。   As a conventional technique, an imaging device capable of capturing an image using an article processing unit as an imaging target region is provided, and a control unit is processed by the article processing unit based on an image of the imaging target region captured by the imaging device. The type and quantity of the selected article are calculated, and based on the calculated article type and quantity, it is determined whether or not the article processing operation has been performed on the article of the type and quantity specified in the article processing information. (See, for example, Patent Document 1).

特開2014−91608号公報(第1頁、第1図等)JP 2014-91608 A (first page, FIG. 1 etc.)

しかしながら、従来の技術においては、ピッキング作業等の取得の対象として指定された物品が配置されている場所をユーザに適切に示すことができない、という課題があった。   However, in the related art, there is a problem in that it is not possible to appropriately indicate to the user a place where an article designated as an acquisition target such as picking work is arranged.

本発明は、上記のような課題を解消するためになされたものであり、ユーザに、取得対象となる物品の位置を適切に示すことができる携帯情報端末を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a portable information terminal that can appropriately indicate the position of an article to be acquired to a user.

本発明の携帯情報端末は、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、物品と対応する位置に配置されたコードであって、物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、判断部が、受付部が受け付けた物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部とを備えた携帯情報端末である。   The portable information terminal of the present invention includes a receiving unit that receives one or more article identifiers that are identifiers of articles to be acquired, and a code that is arranged at a position corresponding to the article, and is associated with the article identifier of the article. A photographing unit that captures a photographed image of an area including one or more codes, and an article identifier of an article associated with one or more codes in the photographed image, and the accepting part accepts the obtained article identifier. A determination unit that determines whether or not it matches any one of the received product identifiers, and when the determination unit determines that the received product identifier matches the received product identifier, the code corresponding to the matching product identifier It is a portable information terminal provided with a display unit that displays acquisition notification information, which is information indicating that an article corresponding to a code is an acquisition target article.

かかる構成により、物品の位置を適切にユーザに示すことができる。   With this configuration, the position of the article can be appropriately shown to the user.

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部は、二以上の物品識別子を受け付け、撮影部は、二以上のコードを含む領域を撮影した撮影画像を取得し、判断部は、撮影画像内の二以上の各コードに対応づけられた物品の物品識別子を取得し、取得した物品識別子のそれぞれについて、受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断し、表示部は、判断部が、撮影画像内の二以上のコードに対応づけられた物品の物品識別子のそれぞれが、受付部が受け付けた物品識別子のいずれか一つと一致すると判断した場合に、一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、取得通知情報を表示する携帯情報端末である。   In the portable information terminal of the present invention, in the portable information terminal, the accepting unit accepts two or more article identifiers, the photographing unit acquires a photographed image obtained by photographing an area including two or more codes, and the judging unit Obtains an article identifier of an article associated with each of the two or more codes in the captured image, and determines whether each of the obtained article identifiers matches any one of the article identifiers received by the reception unit. When the determination unit determines that each of the article identifiers of the articles associated with two or more codes in the photographed image matches any one of the article identifiers received by the reception unit. The portable information terminal displays acquisition notification information at positions corresponding to codes corresponding to two or more matching article identifiers.

かかる構成により、複数の取得対象の物品が同じ撮影画像内に含まれる場合であっても、複数の物品の位置をユーザに示すことができ、取得対象となる複数の物品の位置を適切にユーザに示すことができる。   With this configuration, even when a plurality of articles to be acquired are included in the same captured image, the positions of the plurality of articles can be shown to the user, and the positions of the plurality of articles to be acquired can be appropriately displayed by the user. Can be shown.

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部は、物品識別子に対応づけられた数量を更に受け付け、表示部は、受付部が受け付けた数量のうちの、判断部が一致すると判断した物品識別子と対応づけられた数量を、取得通知情報として表示する携帯情報端末である。   In the portable information terminal according to the present invention, in the portable information terminal, the reception unit further receives a quantity associated with the article identifier, and the display unit matches the determination unit among the quantities received by the reception unit. Then, the mobile information terminal displays the quantity associated with the determined article identifier as acquisition notification information.

かかる構成により、ユーザに取得対象となる物品の取得すべき数量を視覚的にわかりやすく示すことができる。   With this configuration, it is possible to visually indicate the quantity to be acquired of the articles to be acquired to the user in an easily understandable manner.

また、本発明の携帯情報端末は、前記携帯情報端末において、表示部は、受付部が受け付けた数量のうちの、判断部が一致すると判断した物品識別子と対応づけられた数量を、取得通知情報として、撮影画像が撮影された領域内の物品識別子と対応するコード上の位置に表示する携帯情報端末である。   In the portable information terminal of the present invention, in the portable information terminal, the display unit obtains the quantity associated with the article identifier determined to be the same by the determination unit among the quantities received by the reception unit. As a portable information terminal that displays a position on a code corresponding to an article identifier in a region where a photographed image is photographed.

かかる構成により、ユーザに取得対象となる物品の取得すべき数量を、視覚的によりわかりやすく示すことができる。   With such a configuration, it is possible to visually indicate the quantity to be acquired of the articles to be acquired to the user in a more easily understandable manner.

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部が受け付けた物品識別子に一致すると判断部が判断した物品識別子と対応づけられたコードが示す物品がユーザにより取り出されたか否かを、撮影部が取得した撮影画像を用いて判断する取得判断部と、取得判断部の判断結果に応じた出力を行う出力部とを備えた携帯情報端末である。   In the portable information terminal of the present invention, in the portable information terminal, whether or not an article indicated by a code associated with the article identifier determined by the determination unit to be matched with the article identifier received by the reception unit is taken out by the user. This is a portable information terminal including an acquisition determination unit that determines a captured image acquired by the imaging unit, and an output unit that performs output according to the determination result of the acquisition determination unit.

かかる構成により、物品の取得状況に応じた出力を行うことができ、物品の取得作業を確認することができる。   With such a configuration, it is possible to perform output according to the acquisition status of the article, and to confirm the acquisition operation of the article.

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部が受け付けた物品識別子に一致すると判断部が判断した物品識別子と対応づけられたコードが示す物品が、受付部が受け付けた物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、撮影部が取得した撮影画像を用いて判断する取得判断部と、取得判断部の判断結果に応じた出力を行う出力部とを備えた携帯情報端末である。   In the portable information terminal of the present invention, in the portable information terminal, the article indicated by the code associated with the article identifier determined by the determination unit to match the article identifier received by the reception unit is an article received by the reception unit. An acquisition determining unit that determines whether or not only the quantity associated with the identifier has been acquired by the user using the captured image acquired by the imaging unit; and an output unit that performs output according to the determination result of the acquisition determining unit; It is a portable information terminal provided with.

かかる構成により、物品が正しい数量だけ取得されたか否かを確認することができる。   With this configuration, it can be confirmed whether or not the correct quantity of articles has been acquired.

また、本発明の携帯情報端末は、前記携帯情報端末において、取得判断部は、撮影部が撮影した撮影画像において手を検出し、検出した手を用いて、物品がユーザにより取得されたか否かを判断する携帯情報端末である。   In the portable information terminal according to the present invention, in the portable information terminal, the acquisition determination unit detects a hand in a captured image captured by the imaging unit, and whether or not the article is acquired by the user using the detected hand. It is a portable information terminal that judges

かかる構成により、物品の移動を、物品の形状や、色等に依存せずに検出ことができ、物品の取得を適切に判断することができる。   With this configuration, the movement of the article can be detected without depending on the shape or color of the article, and the acquisition of the article can be appropriately determined.

また、本発明の携帯情報端末は、前記携帯情報端末において、ヘッドマウントディスプレイを更に備えており、表示部は、ヘッドマウントディスプレイに取得通知情報を表示し、撮影部は、ヘッドマウントディスプレイの前方方向が撮影領域となるよう配置されている携帯情報端末である。   In the portable information terminal of the present invention, the portable information terminal further includes a head mounted display, the display unit displays the acquisition notification information on the head mounted display, and the photographing unit is in the forward direction of the head mounted display. Is a portable information terminal arranged so as to be an imaging region.

かかる構成により、ディスプレイを手で持つ必要が無く、作業性が向上させることができる。また、撮影画像の向きをユーザが意識せずにユーザの視野の方向に向けることができ、操作性を向上させることができる。   With this configuration, it is not necessary to hold the display by hand, and workability can be improved. Further, the direction of the captured image can be directed to the direction of the user's visual field without being conscious of the user, and the operability can be improved.

本発明による携帯情報端末等によれば、ユーザに取得対象となる物品の位置を適切に示すことができる。   According to the portable information terminal and the like according to the present invention, it is possible to appropriately indicate the position of the article to be acquired to the user.

本発明の実施の形態における携帯情報端末のブロック図Block diagram of portable information terminal in an embodiment of the present invention 同携帯情報端末のヘッドマウントディスプレイの一例を示す図The figure which shows an example of the head mounted display of the portable information terminal 同携帯情報端末の動作について説明するフローチャートFlow chart for explaining the operation of the portable information terminal 同携帯情報端末の動作を説明するための、コードが配置された棚の一例を示す図(図4(a))、及び棚に配置されたコードを示す図(図4(b))The figure which shows an example of the shelf by which the code | cord is arrange | positioned for describing operation | movement of the portable information terminal (FIG. 4 (a)), and the figure which shows the code | cord | chord arrange | positioned on a shelf (FIG.4 (b)) 同携帯情報端末の識別子管理表を示す図The figure which shows the identifier management table of the portable information terminal 同携帯情報端末の受付管理表を示す図The figure which shows the reception management table of the portable information terminal 同携帯情報端末の撮影画像の一例を示す図The figure which shows an example of the picked-up image of the portable information terminal 同携帯情報端末の表示例を示す図The figure which shows the example of a display of the portable information terminal 同携帯情報端末の撮影画像の一例を示す図The figure which shows an example of the picked-up image of the portable information terminal 本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図The figure which shows an example of the external appearance of the computer system in embodiment of this invention 同コンピュータシステムの構成の一例を示す図The figure which shows an example of a structure of the computer system

以下、携帯情報端末等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。   Hereinafter, embodiments of a portable information terminal and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.

(実施の形態)
図1は、本実施の形態における携帯情報端末1のブロック図である。
(Embodiment)
FIG. 1 is a block diagram of portable information terminal 1 in the present embodiment.

携帯情報端末1は、受付部101、撮影部102、識別子格納部103、判断部104、表示部105、取得判断部106、出力部107、ヘッドマウントディスプレイ108を備えている。   The portable information terminal 1 includes a reception unit 101, an imaging unit 102, an identifier storage unit 103, a determination unit 104, a display unit 105, an acquisition determination unit 106, an output unit 107, and a head mounted display 108.

受付部101は、一以上の物品識別子を受け付ける。受付部101が受け付ける物品識別子は、取得対象となる物品の識別子である。受付部101は、二以上の物品識別子を受け付けてもよい。物品とは、例えば、商品である。また、物品は、図書館の本のように、貸与用の物や、無料サンプル等であってもよい。ここでの取得とは、例えば、物品を、物品が配置されている位置(例えば棚やコンベヤ等)から取り出したり、集めることである。取得は、例えば、販売対象や出荷対象や配送対象である物品を、取り出したり集めたりすることであってもよい。ここでの取得は、例えば、いわゆるピッキングや取出や選出等も含む概念である。物品識別子は、例えば、販売や、配送等のためのピッキングや取出作業の対象となる物品の識別子である。例えば、受付部101が受け付ける物品識別子は、倉庫や、配送センター等で管理されている物品の物品識別子である。物品識別子は、例えば、物品名や、物品に割り当てられた文字列や数字列や、製造番号等である。   The receiving unit 101 receives one or more article identifiers. The article identifier received by the receiving unit 101 is an identifier of an article to be acquired. The receiving unit 101 may receive two or more article identifiers. The article is, for example, a product. Further, the article may be a loaned item, a free sample, or the like like a library book. Acquisition here is, for example, taking out or collecting articles from a position (for example, a shelf or a conveyor) where the articles are arranged. The acquisition may be, for example, taking out or collecting articles that are to be sold, shipped, or delivered. The acquisition here is a concept including, for example, so-called picking, taking out, selecting, and the like. The item identifier is, for example, an identifier of an item to be picked up or taken out for sales or delivery. For example, the article identifier received by the receiving unit 101 is an article identifier of an article managed in a warehouse, a distribution center, or the like. The article identifier is, for example, an article name, a character string or a numeric string assigned to the article, a manufacturing number, or the like.

受付部101は、物品識別子に対応づけられた数量を更に受け付けてもよい。例えば、受付部101は、物品識別子と数量とを対応づけて有する一または二以上の情報を受け付けても良い。物品識別子と数量との組を、以下、物品数量情報と称す場合がある。また、受付部101は、更に、物品識別子に対応づけられた注文番号等の注文の識別子や、物品識別子に対応づけられた配送番号等の、一括配送される物品群に付与された識別子や、日付の情報等を受け付けても良い。   The accepting unit 101 may further accept the quantity associated with the article identifier. For example, the reception unit 101 may receive one or more pieces of information having an article identifier and a quantity associated with each other. Hereinafter, the combination of the article identifier and the quantity may be referred to as article quantity information. The receiving unit 101 further includes an identifier assigned to a group of articles to be delivered in a batch such as an order identifier such as an order number associated with the article identifier, a delivery number associated with the article identifier, Date information or the like may be received.

受付部101は、通常、図示しないサーバ装置や、配送対象となる物品のピッキング(取出)等を指示する装置(図示せず)等から送信される物品識別子を受信する。図示しないサーバ装置は、例えば、配送や出荷の指示等を受け付けて、配送対象や出荷対象となる物品の識別子等を、携帯情報端末1等に送信するサーバ装置等である。ただし、受付部101は、紙面等に印刷されたピッキング(取出)の対象となる物品の物品識別子と対応づけられたバーコード等のコードをカメラ等で読み出すことにより、物品識別子を受け付けても良い。また、図示しない入力デバイス等を介してユーザにより手入力された物品識別子を受け付けても良い。   The receiving unit 101 normally receives an article identifier transmitted from a server apparatus (not shown), an apparatus (not shown) for instructing picking (taking out) an article to be delivered, or the like. A server device (not shown) is, for example, a server device or the like that receives a delivery or shipping instruction and transmits an identifier of a delivery target or an article to be shipped to the portable information terminal 1 or the like. However, the receiving unit 101 may receive the article identifier by reading a code such as a barcode associated with the article identifier of the article to be picked (removed) printed on the paper or the like with a camera or the like. . In addition, an article identifier manually input by the user via an input device (not shown) or the like may be received.

なお、以下、受付部101が受け付けた物品識別子を、説明の便宜上、受付物品識別子と呼ぶ場合がある。受付物品識別子は、取得対象となる物品の物品識別子と考えてもよい。   Hereinafter, the article identifier received by the receiving unit 101 may be referred to as a received article identifier for convenience of explanation. The received article identifier may be considered as an article identifier of an article to be acquired.

ここでの受付とは、通常は、有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。受付部101は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。   The reception here is usually reception of information transmitted via a wired or wireless communication line, but reception of information input from an input device such as a keyboard, a mouse, a touch panel, an optical disk or a magnetic disk The concept includes reception of information read from a recording medium such as a semiconductor memory. The receiving unit 101 can be realized by a device driver for input means such as a numeric keypad or a keyboard, control software for a menu screen, and the like.

撮影部102は、一以上のコードを含む領域を撮影した撮影画像を取得する。一以上のコードは、物品と対応する位置に配置されたコードであって、物品識別子と対応づけられたコードである。撮影部102は、例えば、二以上のコードを含む領域を撮影した撮影画像を取得してもよい。   The imaging unit 102 acquires a captured image obtained by capturing an area including one or more codes. The one or more codes are codes arranged at positions corresponding to the articles, and are codes associated with the article identifiers. For example, the photographing unit 102 may acquire a photographed image obtained by photographing a region including two or more codes.

撮影部102は、例えば、CCDやCMOS等の撮像素子を備えたカメラである。撮影部102は、ビデオカメラであっても良く、デジタルスチルカメラであっても良い。撮影画像は、通常、動画像であるが、予め指定された時間間隔を隔てて撮影された連続した複数の静止画像等であっても良い。また、撮影画像は、動画像を構成する一または二以上のフレーム画像と考えてもよい。二以上のフレーム画像は、連続していてもよく、連続していなくても良い。例えば、二以上のフレーム画像は、予め指定された数のフレーム画像を隔てて取得された二以上のフレーム画像であっても良い。また、撮影部102が撮影する撮影画像の画素数や、撮影部102が送信する撮影画像のファイル形式や、圧縮方式等は問わない。また、撮影部102が撮影画像を撮影するタイミング等は問わない。なお、撮影部102は、外部のカメラ等を制御するドドライバー等と考えてもよい。   The photographing unit 102 is a camera including an image sensor such as a CCD or a CMOS, for example. The photographing unit 102 may be a video camera or a digital still camera. The captured image is usually a moving image, but may be a plurality of continuous still images captured at predetermined time intervals. The captured image may be considered as one or two or more frame images constituting a moving image. Two or more frame images may or may not be continuous. For example, the two or more frame images may be two or more frame images obtained by separating a predetermined number of frame images. Further, the number of pixels of the captured image captured by the capturing unit 102, the file format of the captured image transmitted by the capturing unit 102, the compression method, and the like are not limited. Moreover, the timing at which the imaging unit 102 captures a captured image is not limited. Note that the photographing unit 102 may be considered as a driver for controlling an external camera or the like.

コードとは、バーコード、二次元バーコード、QRコード(登録商標)、カメレオンコード、文字列、数字列等、識別できるものであれば何でも良い。コードは、カメレオンコード等の、色の配列を識別情報として有する二次元コードであることは好適である。コードが、物品識別子と対応づけられているということは、例えば、コードから読み出される情報が、物品識別子と対応づけられていることであってもよい。例えば、コードから読み出される情報と、物品識別子とを対応づけて有する情報を図示しない格納部等に予め格納しておくことで、コードと、物品識別子とを対応づけて管理することができる。また、コードから読み出される情報が、物品識別子であっても良い。例えば、コードから読み出されるコード識別子が、物品識別子であっても良い。   The code may be anything that can be identified, such as a barcode, a two-dimensional barcode, a QR code (registered trademark), a chameleon code, a character string, and a numeric string. The code is preferably a two-dimensional code having a color arrangement as identification information, such as a chameleon code. That the code is associated with the article identifier may be, for example, that the information read from the code is associated with the article identifier. For example, information stored in association with information read from a code and an article identifier is stored in advance in a storage unit (not shown), so that the code and the article identifier can be managed in association with each other. The information read from the code may be an article identifier. For example, the code identifier read from the code may be an article identifier.

なお、以下、本実施の形態においては、各コードから読み出される情報が、コードの識別子であるコード識別子であり、各コード識別子を物品識別子と対応づけて管理することにより、コードが物品識別子と対応づけられている場合を例に挙げて説明する。コード識別子とは、例えば、コードに割り当てれらた文字列や数字列等である。   Hereinafter, in the present embodiment, the information read from each code is a code identifier that is an identifier of the code, and the code corresponds to the article identifier by managing each code identifier in association with the article identifier. The case where it is attached will be described as an example. The code identifier is, for example, a character string or a numeric string assigned to the code.

物品と対応する位置に配置されたコードとは、例えば、物品に配置(例えば添付)されたコードである。また、物品と対応する位置に配置されたコードは、例えば、物品を特定可能な位置に配置されたコードであってもよい。ここでの位置は、領域も含む概念である。物品を特定可能な位置とは、例えば、物品が配置された位置(例えば、領域)であってもよく、物品が配置される位置の周辺の位置(例えば、領域)であっても良い。物品が配置される位置の周辺の位置に配置されたコードは、例えば、物品が配置されている棚やパレットに配置(例えば添付)されたコードや、物品を仕切っている仕切板等に配置(例えば添付)されたコードであってもよい。   The code arranged at a position corresponding to the article is, for example, a code arranged (for example, attached) to the article. Moreover, the code arrange | positioned in the position corresponding to an article | item may be the code arrange | positioned in the position which can identify an article | item, for example. The position here is a concept including a region. The position where the article can be specified may be, for example, a position (for example, an area) where the article is arranged, or a position (for example, an area) around the position where the article is arranged. For example, the cords arranged around the position where the article is arranged are arranged on a shelf or a pallet on which the article is arranged (for example, attached), on a partition plate which partitions the article ( For example, it may be an attached code.

識別子格納部103には、一または二以上の識別子管理情報が格納される。識別子管理情報は、コード識別子と、物品識別子とを有する情報である。通常、異なる識別子管理情報は、異なるコード識別子を有している。識別子格納部103に格納された物品識別子は、コード識別子と対応づけられた物品識別子である。なお、以下、コード識別子と対応づけられた物品識別子を、説明の便宜上、対応物品識別子と呼ぶ場合がある。対応物品識別子は、識別子格納部103に格納されている物品識別子と考えてもよい。   The identifier storage unit 103 stores one or more identifier management information. The identifier management information is information having a code identifier and an article identifier. Usually, different identifier management information has different code identifiers. The article identifier stored in the identifier storage unit 103 is an article identifier associated with the code identifier. Hereinafter, an article identifier associated with a code identifier may be referred to as a corresponding article identifier for convenience of explanation. The corresponding article identifier may be considered as an article identifier stored in the identifier storage unit 103.

識別子格納部103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。   The identifier storage unit 103 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The same applies to other storage units.

判断部104は、撮影部102が取得した撮影画像を用いて、この撮影画像内の一以上のコードに対応づけられた一以上の物品の物品識別子を取得する。そして、判断部104は、取得した一以上の物品識別子が、受付部101が受け付けた物品識別子のいずれか一つと一致するか否かを判断する。   The determination unit 104 uses the captured image acquired by the imaging unit 102 to acquire an article identifier of one or more articles associated with one or more codes in the captured image. Then, the determination unit 104 determines whether or not the acquired one or more article identifiers match any one of the article identifiers received by the reception unit 101.

判断部104は、例えば、撮影画像内の二以上の各コードに対応づけられた物品の物品識別子をそれぞれ取得する。そして、判断部104は、例えば、取得した二以上の物品識別子のそれぞれについて、受付部101が受け付けた物品識別子のいずれか一つと一致するか否かを判断する。   For example, the determination unit 104 obtains an article identifier of an article associated with each of two or more codes in the captured image. Then, for example, the determination unit 104 determines whether each of the acquired two or more item identifiers matches any one of the item identifiers received by the reception unit 101.

例えば、判断部104は、撮影部102が取得した撮影画像内において、一または二以上のコードを検出する。ここでのコードの検出は、コードの画像や、コードの領域を検出することと考えてもよい。例えば、撮影画像が動画像である場合、判断部104は、撮影部102が取得したフレーム画像を二値化して、パターンマッチングや特徴量を検出する処理等により、コードの外枠等の形状を認識して、撮影画像内のコードが配置されている領域を検出する。そして、検出したコードの画像を取得する。撮影画像が静止画像である場合においても同様である。なお、判断部104は、一の撮影画像から、複数のコードの画像を取得しても良い。また、判断部104は、取得したコードの画像の形状を、適宜補正してもよい。なお、これらの、画像から、コードを検出してコード識別子を取得する処理等は、公知技術であるため、ここでは詳細な説明は省略する。   For example, the determination unit 104 detects one or more codes in the captured image acquired by the imaging unit 102. The code detection here may be considered to detect a code image or a code area. For example, when the captured image is a moving image, the determination unit 104 binarizes the frame image acquired by the imaging unit 102, and forms a shape such as an outer frame of the code by processing such as pattern matching or feature amount detection. Recognizing and detecting a region where a code in the photographed image is arranged. Then, an image of the detected code is acquired. The same applies when the captured image is a still image. Note that the determination unit 104 may acquire images of a plurality of codes from one captured image. The determination unit 104 may appropriately correct the shape of the acquired code image. In addition, since the process etc. which detect a code | cord | chord and acquire a code identifier from these images are well-known techniques, detailed description is abbreviate | omitted here.

次に、判断部104は、検出した一または二以上のコードから、それぞれコード識別子を取得する。そして、取得した各コード識別子に対応する物品識別子(即ち、対応物品識別子)を、識別子格納部103に格納された識別子管理情報を用いて取得する。なお、コードから読み出される情報が、物品識別子である場合、コードから読み出した情報を物品識別子として取得する。   Next, the determination unit 104 acquires a code identifier from one or more detected codes. Then, an article identifier (that is, a corresponding article identifier) corresponding to each acquired code identifier is acquired using the identifier management information stored in the identifier storage unit 103. If the information read from the code is an article identifier, the information read from the code is acquired as the article identifier.

次に、判断部104は、取得した一以上の物品識別子が、受付部101が受け付けた物品識別子(即ち、受付物品識別子)のいずれか一つと一致するか否かを判断する。例えば、判断部104は、上記で取得した一または二以上の対応物品識別子の一つについて、受付部101が受け付けた一または二以上の受付物品識別子のいずれか一つと一致するか否かを判断する。そして、この対応物品識別子が、受付物品識別子のいずれか一つと一致する場合、例えば、この対応物品識別子について、一致することを示す判断結果を取得する。判断結果は、例えば、図示しない格納部に、対応物品識別子と対応づけて蓄積する。なお、対応物品識別子について判断結果を取得し、蓄積することは、対応物品識別子と一致する値の受付物品識別子について判断結果を取得して、蓄積することと実質的に同じことと考えても良い。判断部104は、同様の処理を、上記で取得した他の対応物品識別子についても行う。   Next, the determination unit 104 determines whether or not the acquired one or more article identifiers match any one of the article identifiers received by the receiving unit 101 (that is, the received article identifiers). For example, the determination unit 104 determines whether one of the one or more corresponding article identifiers acquired above matches one of the one or more reception article identifiers received by the reception unit 101. To do. When the corresponding article identifier matches any one of the received article identifiers, for example, a determination result indicating that the corresponding article identifier matches is acquired. The determination result is accumulated in a storage unit (not shown) in association with the corresponding article identifier, for example. Note that acquiring and storing the determination result for the corresponding article identifier may be considered to be substantially the same as acquiring and storing the determination result for the received article identifier whose value matches the corresponding article identifier. . The determination unit 104 performs the same process for the other corresponding article identifiers acquired above.

なお、例えば、カメレオンコード等の、色の配列を識別情報として有する二次元コードの場合、一の撮影画像に複数のコードが存在する場合であっても、複数の各コードからそれぞれコード識別子等のコードに対応する情報を取得可能なものがあることが知られている。このため、このようなコードを使うことで、一の撮影画像内の複数のコードについて取得した二以上の対応物品識別子のそれぞれについて、受付部101が受け付けた受付物品識別子のいずれか一つと一致するか否かを判断することが可能である。   For example, in the case of a two-dimensional code having a color array as identification information, such as a chameleon code, even if there are a plurality of codes in one photographed image, a code identifier or the like It is known that there is something that can acquire information corresponding to a code. For this reason, by using such a code, each of two or more corresponding article identifiers acquired for a plurality of codes in one photographed image matches one of the accepted article identifiers received by the receiving unit 101. It is possible to determine whether or not.

なお、受付部101が受け付けた受付物品識別子のうちの、一度、撮影画像のコードについて取得された一の対応物品識別子と一致すると判断された受付物品識別子については、検出済であることを示すフラグ等の情報を付与することで、それ以降の処理においては、上記の判断処理に利用しないようにしても良い。   Of the received article identifiers received by the receiving unit 101, a flag indicating that a received article identifier that has been determined to coincide with one corresponding article identifier acquired for the code of the photographed image has already been detected. By giving such information, it may not be used in the above determination processing in the subsequent processing.

表示部105は、判断部104が、撮影画像内の一以上のコードについて取得された一以上の対応物品識別子が、受付部101が受け付けた受付物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、このコードに対応する物品が取得対象の物品であることを示す情報を表示する。コードに対応する物品とは、例えば、コードに対応する対応物品識別子が示す物品である。取得対象の物品とは、例えば、受付部101が受け付けた受付物品識別子のいずれか一つが示す物品である。なお、コードに対応する位置に表示されるこのコードに対応する物品が取得対象の物品であることを示す情報を、ここでは、取得通知情報と称す。取得通知情報は、コードが、受付部101が受け付けた受付物品識別子のいずれか一つに対応することを示す情報と考えてもよい。   When the determination unit 104 determines that one or more corresponding article identifiers acquired for one or more codes in the captured image match the received article identifier received by the receiving unit 101, the display unit 105 Information indicating that the article corresponding to the code is the article to be acquired is displayed at a position corresponding to the code corresponding to the identifier. The article corresponding to the code is, for example, an article indicated by a corresponding article identifier corresponding to the code. The acquisition target article is, for example, an article indicated by any one of the received article identifiers received by the receiving unit 101. Information indicating that the article corresponding to the code displayed at the position corresponding to the code is the acquisition target article is referred to as acquisition notification information here. The acquisition notification information may be considered as information indicating that the code corresponds to any one of the received article identifiers received by the receiving unit 101.

表示部105は、判断部104が、撮影画像内の二以上のコードに対応づけられた対応物品の物品識別子のそれぞれが、受付部101が受け付けた受付物品識別子のいずれか一つと一致すると判断した場合に、一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、取得通知情報を表示してもよい。   The display unit 105 determines that each of the article identifiers of the corresponding articles associated with the two or more codes in the photographed image matches any one of the received article identifiers received by the receiving unit 101. In this case, the acquisition notification information may be displayed at a position corresponding to a code corresponding to each of two or more matching article identifiers.

ここでのコードに対応する位置とは、コード上の領域や、コード上の領域の少なくとも一部を含んだ領域であっても良く、コードの上下左右等の、コードに対して予め指定された位置関係にある位置であっても良い。また、コードに対して予め指定された方向に、予め指定された距離だけ離れた位置であっても良い。また、コードからの距離が予め指定された範囲内である位置であってもよい。また、ここでの位置は、領域であっても良く、取得通知情報の一点が配置される位置の座標であっても良い。   The position corresponding to the code here may be an area on the code or an area including at least a part of the area on the code. It may be a position in a positional relationship. Further, it may be a position separated by a predetermined distance in a predetermined direction with respect to the code. Moreover, the position where the distance from a code | cord is in the range designated beforehand may be sufficient. Further, the position here may be a region, or may be coordinates of a position where one point of the acquisition notification information is arranged.

一のコードに対応した位置に表示される取得通知情報は、例えば、予め指定された画像、具体的には、予め指定された形状の画像であっても良い。この画像は、例えば、予め指定された色の矩形や、コードに対応する物品の位置を示す矢印等の記号の画像である。また、一のコードに対応した位置に表示される取得通知情報は、例えば、このコードに対応する対応物品識別子と一致する受付物品識別子に対応づけられた数量であってもよい。例えば、このコードに対応する対応物品識別子と一致する物品識別子を有する物品数量情報が有する数量であっても良い。また、一のコードに対応した位置に表示される取得通知情報は、例えば、このコードに対応した対応物品識別子であってもよく、この対応物品識別子と一致する受付物品識別子と対応づけられた配送識別子等の情報であっても良い。   The acquisition notification information displayed at a position corresponding to one code may be, for example, an image designated in advance, specifically, an image having a shape designated in advance. This image is, for example, a symbol image such as a rectangle of a color designated in advance or an arrow indicating the position of the article corresponding to the code. Further, the acquisition notification information displayed at the position corresponding to one code may be, for example, the quantity associated with the accepted article identifier that matches the corresponding article identifier corresponding to this code. For example, the quantity included in the article quantity information having an article identifier that matches the corresponding article identifier corresponding to this code may be used. Further, the acquisition notification information displayed at a position corresponding to one code may be, for example, a corresponding article identifier corresponding to this code, and a delivery associated with a received article identifier that matches the corresponding article identifier. Information such as an identifier may be used.

このように、取得通知情報を表示するようにすることで、例えば、一の物品に対応したコードを、この一の物品に配置したり、この物品が配置されている位置に配置しておくことで、取得通知情報が表示された位置の物品が、取得対象の物品であることをユーザに示すことができる。   In this way, by displaying the acquisition notification information, for example, a code corresponding to one article is arranged on the one article, or arranged at a position where the article is arranged. Thus, it is possible to indicate to the user that the article at the position where the acquisition notification information is displayed is the article to be acquired.

例えば、表示部105は、受付部101が受け付けた数量のうちの、判断部104が一致すると判断した受付物品識別子と対応づけられた数量を、取得通知情報として表示する。また、表示部105は、受付部101が受け付けた数量のうちの、判断部104が一致すると判断した受付物品識別子と対応づけられた数量を、取得通知情報として、撮影画像が撮影された領域内の物品識別子と対応するコード上の位置に表示してもよい。このように、コードに対応した物品識別子に対応づけられた数量である取得通知情報をコードに対応した位置に表示することで、ユーザが、取得すべき物品数を適切に把握することができる。特に、複数のコードにそれぞれ対応した位置に、同時に、取得通知情報が表示された場合であっても、それぞれの取得通知情報として、それぞれが対応するコードに対応する物品識別子に対応した数量を表示することで、それぞれの物品を取得する数量を、瞬時に、適切に把握することができ、物品を取り出す際の数量等の間違いを低減させることができる。   For example, the display unit 105 displays, as the acquisition notification information, the quantity associated with the received article identifier determined by the determination unit 104 among the quantities received by the reception unit 101. In addition, the display unit 105 uses the quantity associated with the received article identifier determined by the determination unit 104 out of the quantities received by the reception unit 101 as the acquisition notification information in the area where the captured image is captured. May be displayed at a position on the code corresponding to the article identifier. In this way, by displaying the acquisition notification information, which is the quantity associated with the article identifier corresponding to the code, at the position corresponding to the code, the user can appropriately grasp the number of articles to be acquired. In particular, even if the acquisition notification information is displayed at the same time at a position corresponding to each of a plurality of codes, the quantity corresponding to the article identifier corresponding to each corresponding code is displayed as each acquisition notification information. By doing so, it is possible to immediately and appropriately grasp the quantity to acquire each article, and to reduce errors such as quantity when taking out the article.

表示部105は、取得通知情報を、例えば、撮影部102が撮影した撮影画像とを重ねて表示する。例えば、表示部105は、取得通知情報と、撮影部102が撮影した画像とを重ね合わせる合成を行って得られた画像を、液晶モニタ等の表示デバイス(図示せず)に、表示する。重ねる際の合成モードや、重ね合わせる画像の透過率等は問わない。この場合、例えば、撮影画像が撮影された領域内の、コードに対応した位置とは、撮影画像内のコードが表示されている位置に対応した位置である。   The display unit 105 displays the acquisition notification information, for example, superimposed on the captured image captured by the imaging unit 102. For example, the display unit 105 displays an image obtained by combining the acquisition notification information and the image captured by the imaging unit 102 on a display device (not shown) such as a liquid crystal monitor. There is no limitation on the composition mode for superimposing, the transmittance of the superimposed image, and the like. In this case, for example, the position corresponding to the code in the area where the captured image is captured is the position corresponding to the position where the code is displayed in the captured image.

また、表示部105は、撮影部102が撮影した撮影画像を表示せずに、取得通知情報を、透過性を有するミラーやレンズ等に投影表示してもよい。このような場合の、コードに対応した位置とは、例えば、ユーザの視野内の、このコードが見える位置に対応した位置である。例えば、撮影部102の視野と、投影表示されるディスプレイの視野との対応関係(例えば、座標の対応関係)を予め調整しておくことで、ディスプレイのコードが見える位置に、このコードに対応した取得通知情報を表示することができる。   The display unit 105 may project and display the acquisition notification information on a transmissive mirror or lens without displaying the captured image captured by the capturing unit 102. In such a case, the position corresponding to the code is, for example, a position corresponding to a position where the code can be seen in the user's visual field. For example, by adjusting the correspondence between the field of view of the photographing unit 102 and the field of view of the display to be projected and displayed (for example, the correspondence of coordinates), the code on the display can be seen at a position where the code can be seen. Acquisition notification information can be displayed.

表示部105は、例えば、ヘッドマウントディスプレイ108に、取得通知情報を表示しても良い。ヘッドマウントディスプレイ108は、ユーザの頭部に装着される表示デバイスである。ヘッドマウントディスプレイ108は、例えば、ユーザの視野を覆う位置に、液晶パネルや有機ELパネル等のディスプレイパネルを備えた非透過型ヘッドマウントディスプレイであってもよく、眼鏡のレンズや、視線上に配置されたハーフミラー等に投影する透過表示型のヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイ108については、公知技術であるため、詳細な説明は省略する。なお、表示部105が、ヘッドマウントディスプレイ108に、取得通知情報等を表示する場合、撮影部102(例えば、カメラ)は、ヘッドマウントディスプレイ108の前方方向が撮影領域となるよう配置されていることが好ましい。ヘッドマウントディスプレイ108の前方方向とは、例えば、ヘッドマウントディスプレイ108を装着したユーザの前方方向である。   The display unit 105 may display the acquisition notification information on the head mounted display 108, for example. The head mounted display 108 is a display device worn on the user's head. The head mounted display 108 may be, for example, a non-transmissive head mounted display provided with a display panel such as a liquid crystal panel or an organic EL panel at a position covering the user's visual field. A transmissive display type head mounted display that projects onto a half mirror or the like may be used. Since the head mounted display 108 is a known technique, a detailed description thereof will be omitted. When the display unit 105 displays acquisition notification information or the like on the head mounted display 108, the photographing unit 102 (for example, a camera) is arranged so that the front direction of the head mounted display 108 is the photographing region. Is preferred. The forward direction of the head mounted display 108 is, for example, the forward direction of the user wearing the head mounted display 108.

表示部105は、表示デバイスを含むと考えても含まないと考えても良い。例えば、表示部105は、携帯情報端末1の外部に設けられた表示デバイス(図示せず)に、取得通知情報等の表示を行っても良く、内部に設けられた表示デバイス(図示せず)に表示を行っても良い。表示部105は、表示デバイスのドライバーソフトまたは、表示デバイスのドライバーソフトと表示デバイス等で実現され得る。   The display unit 105 may or may not include a display device. For example, the display unit 105 may display acquisition notification information or the like on a display device (not shown) provided outside the portable information terminal 1, and a display device (not shown) provided inside. Display may be performed. The display unit 105 may be realized by display device driver software, or display device driver software and a display device.

なお、以下においては、表示部105が、非透過型のヘッドマウントディスプレイ108に取得通知情報を表示する場合を例に挙げて説明する。ただし、ヘッドマウントディスプレイ108は、透過型ヘッドマウントディスプレイであっても良い。   In the following, a case where the display unit 105 displays the acquisition notification information on the non-transmissive head mounted display 108 will be described as an example. However, the head mounted display 108 may be a transmissive head mounted display.

図2は、表示部105が取得通知情報の表示に利用する非透過型のヘッドマウントディスプレイ108を示す図である。ここでは、一例として、ヘッドマウントディスプレイ108には、撮影部102(例えば、カメラ)が、ヘッドマウントディスプレイ108の前方方向が撮影領域となるようヘッドマウントディスプレイ108に取り付けられている。例えば、撮影部102の視野が、ヘッドマウントディスプレイ108を装着したユーザの視野とほぼ一致するよう、撮影部102は設置されている。また、ここでは、一例として、携帯情報端末1のヘッドマウントディスプレイ108と撮影部102とを除いた部分を収容したケース108aが、ヘッドマウントディスプレイ108に取り付けられているものとする。ただし、撮影部102や、携帯情報端末1のヘッドマウントディスプレイ108と撮影部102とを除いた部分は、ヘッドマウントディスプレイ108に取り付けられていなくてもよい。例えば、携帯情報端末1のヘッドマウントディスプレイ108を除いた部分が、このヘッドマウントディスプレイ108との間で有線通信や無線通信が可能な、図示しない携帯電話や、いわゆるスマートフォン等の多機能携帯電話や、タブレット型端末や、携帯型コンピュータ等で構成されていてもよい。また、ヘッドマウントディスプレイ108に取り付けられた撮影部102の代わりに、これらの携帯電話や多機能携帯電話やタブレット型端末や携帯型コンピュータ等が有する図示しないカメラを、撮影部102として利用してもよい。   FIG. 2 is a diagram showing a non-transmissive head mounted display 108 that is used by the display unit 105 to display acquisition notification information. Here, as an example, the imaging unit 102 (for example, a camera) is attached to the head mounted display 108 such that the front direction of the head mounted display 108 is the imaging area. For example, the photographing unit 102 is installed so that the field of view of the photographing unit 102 substantially matches the field of view of the user wearing the head mounted display 108. Here, as an example, it is assumed that a case 108 a that accommodates a portion of the portable information terminal 1 excluding the head mounted display 108 and the photographing unit 102 is attached to the head mounted display 108. However, the imaging unit 102 and the part other than the head mounted display 108 and the imaging unit 102 of the portable information terminal 1 may not be attached to the head mounted display 108. For example, a portion other than the head-mounted display 108 of the portable information terminal 1 can perform wired communication and wireless communication with the head-mounted display 108, a mobile phone (not shown), a multi-function mobile phone such as a so-called smartphone, Further, it may be configured by a tablet terminal, a portable computer, or the like. Further, instead of the photographing unit 102 attached to the head mounted display 108, a camera (not shown) included in the mobile phone, the multifunctional mobile phone, the tablet terminal, the portable computer, or the like may be used as the photographing unit 102. Good.

ヘッドマウントディスプレイ108は、ユーザの目を覆うように、ユーザの頭部に装着されるディスプレイである。ヘッドマウントディスプレイ108は、通常は、両目を覆うものであるが、片目だけを覆うものであってもよい。   The head mounted display 108 is a display attached to the user's head so as to cover the user's eyes. The head mounted display 108 normally covers both eyes, but may cover only one eye.

非透過型であるヘッドマウントディスプレイ108は、ユーザの視野となる位置に液晶パネル等のディスプレイが配置されているため、装着した状態では、ユーザは、直接外部を見ることはできない。このため、撮影部102が撮影した外の様子を示す撮影画像を、ヘッドマウントディスプレイ108の内部のディスプレイに表示することで、ユーザは安全に行動することができる。このため、非透過型のヘッドマウントディスプレイ108を表示デバイスとして用いる場合、表示部105は、撮影画像に取得通知情報を重ねて表示することが好ましい。   Since the non-transmissive head-mounted display 108 has a display such as a liquid crystal panel disposed at a position that is a visual field of the user, the user cannot directly see the outside in a mounted state. For this reason, the user can behave safely by displaying a captured image showing a state outside the image captured by the imaging unit 102 on the display inside the head mounted display 108. For this reason, when the non-transmissive head mounted display 108 is used as a display device, the display unit 105 preferably displays the acquisition notification information superimposed on the captured image.

ヘッドマウントディスプレイ108を表示デバイスとして用いることで、表示デバイス等を手で保持する必要が無く、手が自由に使え、作業性を向上させることができるという利点がある。   By using the head mounted display 108 as a display device, there is an advantage that it is not necessary to hold the display device or the like by hand, the hand can be used freely, and workability can be improved.

取得判断部106は、受付部101が受け付けた受付物品識別子に一致すると判断部104が判断した対応物品識別子と対応づけられたコードが示す物品がユーザにより取得されたか否かを、撮影部102が取得した撮影画像を用いて判断する。このことは、受付部101が受け付けた受付物品識別子と対応づけられた物品が取得されたか否かを判断することと考えてもよい。   The acquisition determining unit 106 determines whether or not the user has acquired the article indicated by the code associated with the corresponding article identifier determined by the determining unit 104 to match the received article identifier received by the receiving unit 101. Judgment is made using the acquired photographed image. This may be considered as determining whether or not an article associated with the accepted article identifier received by the receiving unit 101 has been acquired.

例えば、取得判断部106は、判断部104が受付部101が受け付けた受付物品識別子に一致すると判断した撮影画像内のコードに対応する位置の画像の変化から、この一致すると判断された受付物品識別子に対応する物品が取得されたか否かを判断する。ここでのコードに対応する位置は、コードに対応する領域も含む概念である。コードに対応する位置としては、例えば、取得通知情報が表示される位置と同様の位置が利用可能である。コードに対応する位置は、例えば、コード上の領域である。   For example, the acquisition determining unit 106 determines that the received article identifier is determined to match from the change in the image at the position corresponding to the code in the captured image that the determining unit 104 determines to match the received article identifier received by the receiving unit 101. It is determined whether or not an article corresponding to is acquired. The position corresponding to the code here is a concept including an area corresponding to the code. As the position corresponding to the code, for example, a position similar to the position where the acquisition notification information is displayed can be used. The position corresponding to the code is, for example, an area on the code.

例えば、取得判断部106は、一致すると判断したコードに対応する位置から他の位置に移動したオブジェクトが検出された場合に、コードが示す一の物品が取得された(例えばピッキングされた)と判断してもよい。なお、撮影画像等から、特徴量の検出等によりオブジェクトを検出したり、フレーム画像間の差分から移動するオブジェクトを検出したり、検出したオブジェクトの移動方向を検出したりする技術は、公知技術であるため、ここでは詳細な説明は省略する。   For example, the acquisition determining unit 106 determines that one article indicated by the code has been acquired (for example, picked) when an object that has moved from the position corresponding to the code determined to match to another position is detected. May be. A technique for detecting an object from a captured image by detecting a feature amount, detecting an object moving from a difference between frame images, and detecting a moving direction of the detected object are known techniques. Therefore, detailed description is omitted here.

また、取得判断部106は、撮影部102が撮影した撮影画像において手を検出し、検出した手を用いて、物品がユーザにより取得されたか否かを判断するようにしてもよい。例えば、取得判断部106は、撮影画像において手を検出し、検出した手の位置が、判断部104が、受付部101が受け付けた受付物品識別子に一致すると判断した対応物品識別子と対応づけられた撮影画像内のコードに対応する位置である場合(例えば、コードに対応する領域内の位置である場合)に、物品がユーザにより取得されたと判断してもよい。コードに対応する位置とは、例えば、撮影画像内の、コード上の位置や、コード上の位置を含む領域や、コードの上方に位置する領域である。また、ユーザの手が、撮影画像内のコードに対応する位置において検出された連続した時間が、予め指定された閾値以上である場合に、物品がユーザにより取得されたと判断してもよい。例えば、検出された手が、コードに対応する領域内に連続して位置している時間が、予め指定された閾値以上である場合に、物品が取得されたと判断し、閾値未満であれば、物品が取得されていないと判断してもよい。なお、撮影画像から、例えば、手の特徴量(例えば、色の特徴量)等を用いて、手を検出する処理等は、公知技術であるため、ここでは詳細な説明は省略する。   In addition, the acquisition determination unit 106 may detect a hand in the captured image captured by the imaging unit 102 and determine whether or not the article has been acquired by the user using the detected hand. For example, the acquisition determining unit 106 detects a hand in the captured image, and the detected hand position is associated with the corresponding article identifier that the determining unit 104 determines to match the received article identifier received by the receiving unit 101. When the position corresponds to the code in the captured image (for example, the position in the area corresponding to the code), it may be determined that the article has been acquired by the user. The position corresponding to the code is, for example, a position on the code, an area including the position on the code, or an area located above the code in the photographed image. Further, it may be determined that the article is acquired by the user when the continuous time detected at the position corresponding to the code in the photographed image of the user's hand is equal to or greater than a predetermined threshold value. For example, when the time when the detected hand is continuously located in the area corresponding to the code is equal to or greater than a predetermined threshold value, it is determined that the article has been acquired. It may be determined that the article has not been acquired. In addition, since the process etc. which detect a hand using the feature amount (for example, color feature amount) etc. of a hand from a picked-up image are well-known techniques, detailed description is abbreviate | omitted here.

また、取得判断部106は、撮影画像において検出した手から、手の移動パターンを取得し、この移動パターンが、物品を取得を判断するための予め指定されたパターンに一致する場合に、物品が取得されたことを判断してもよい。移動パターンは、例えば、手の移動方向や、手の動きを示す経路や、ベクトル等の情報である。例えば、手が、一のコードに対して予め指定された領域を折り返し点とした往復運動をした場合に、このコードに対応する物品を取得したと判断しても良い。   Further, the acquisition determination unit 106 acquires a movement pattern of the hand from the hand detected in the photographed image, and when the movement pattern matches a predesignated pattern for determining acquisition of the article, the acquisition is performed. You may judge having acquired. The movement pattern is information such as a moving direction of the hand, a route indicating the movement of the hand, a vector, and the like. For example, when the hand performs a reciprocating motion with a region designated in advance for one cord as a turning point, it may be determined that an article corresponding to the cord has been acquired.

また、取得判断部106は、受付部101が受け付けた受付物品識別子に一致すると判断部104が判断した対応物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、撮影部102が取得した撮影画像を用いて判断してもよい。ここでの受付物品識別子と対応づけられた数量は、具体的には、受付物品識別子と対応づけて受付部101が受け付けた数量である。   In addition, the acquisition determination unit 106 is configured such that the article indicated by the code associated with the corresponding article identifier determined by the determination unit 104 that matches the received article identifier received by the reception unit 101 is associated with the received article identifier. Therefore, whether or not the image has been acquired by the user may be determined using the captured image acquired by the imaging unit 102. The quantity associated with the received article identifier here is specifically the quantity received by the receiving unit 101 in association with the received article identifier.

例えば、取得判断部106は、上述したように、受付部101が受け付けた受付物品識別子と一致すると判断した対応物品識別子と対応づけられたコードに対応する位置から他の位置に移動したオブジェクトを検出するとともに、移動したオブジェクトの数をカウントし、カウントした回数が、受付部101が受け付けた受付物品識別子と対応づけられた数量と一致した場合に、コードに対応する対応物品識別子と対応づけられた物品が、このコードに対応する受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。   For example, as described above, the acquisition determination unit 106 detects an object that has moved from the position corresponding to the code associated with the corresponding article identifier determined to match the received article identifier received by the reception unit 101 to another position. In addition, the number of moved objects is counted, and when the counted number matches the quantity associated with the accepted article identifier accepted by the accepting unit 101, the number is associated with the corresponding article identifier corresponding to the code. It may be determined that the product has been acquired by the user by the quantity associated with the received product identifier corresponding to this code.

また、取得判断部106は、撮影部102が撮影した撮影画像において手を検出し、検出した手を用いて、コードに対応する対応物品識別子と対応づけられた物品が、この対応物品識別子と対応づけられた受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを判断するようにしてもよい。   In addition, the acquisition determination unit 106 detects a hand in the photographed image captured by the photographing unit 102, and an article associated with the corresponding article identifier corresponding to the code using the detected hand corresponds to the corresponding article identifier. It may be determined whether or not the user has acquired only the quantity associated with the received received article identifier.

例えば、上述したように、取得判断部106は、撮影画像において手を検出し、検出した手の位置が、一の受付物品識別子に一致する対応物品識別子と対応づけられた撮影画像内の一のコードに対応する位置と重なった回数が、この一の受付物品識別子と対応づけられた数量と一致した場合に、この一のコードに対応する受付物品識別子と対応づけられた物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。つまり、撮影画像において検出した手が、コードに対応する領域に入った回数で、コードに対応する物品識別子が示す物品が、この物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを判断するようにしてもよい。なお、手の位置がコードに対応する位置と重なりつづけている間を、一回として、重なった回数をカウントすることが好ましい。また、検出した手が、コードに対応する領域に入ってから出るまでの回数を、一回として、コードに対応する領域に入った回数としてカウントすることが好ましい。また、このような場合においても、上記と同様に、ユーザの手が、撮影画像内のコードに対応する位置において検出された連続した時間が、予め指定された閾値以上である場合に、回数の値を1増加するようにしても良い。   For example, as described above, the acquisition determining unit 106 detects a hand in the photographed image, and the position of the detected hand is one of the photographed images associated with the corresponding article identifier that matches the one accepted article identifier. When the number of times of overlapping with the position corresponding to the code coincides with the quantity associated with this one accepted article identifier, the article associated with the accepted article identifier corresponding to this one code is It may be determined that only the quantity associated with the identifier has been acquired by the user. That is, whether or not the number of times the hand detected in the photographed image has entered the area corresponding to the code and the number indicated by the item identifier corresponding to the code is acquired by the user. May be determined. In addition, it is preferable to count the number of times of overlapping as one time while the position of the hand continues to overlap the position corresponding to the code. Further, it is preferable to count the number of times that the detected hand has entered the area corresponding to the code and the number of times it has entered the area corresponding to the code as one. Also in such a case, as described above, when the user's hand has a continuous time detected at a position corresponding to the code in the captured image is equal to or greater than a predetermined threshold value, The value may be increased by one.

また、例えば、上述したように、取得判断部106は、撮影画像において検出した手の移動パターンから取得した、一の受付物品識別子に一致する対応物品識別子と対応づけられた撮影画像内の一のコードに対応する位置の物品を取得した物品を取得した回数が、この一の受付物品識別子と対応づけられた数量と一致した場合に、この一のコードに対応する受付物品識別子と対応づけられた物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。   In addition, for example, as described above, the acquisition determination unit 106 acquires one of the captured images associated with the corresponding article identifier that matches the one received article identifier acquired from the hand movement pattern detected in the captured image. When the number of times of acquisition of the article that acquired the article at the position corresponding to the code matches the quantity associated with this one accepted article identifier, it is associated with the accepted article identifier corresponding to this one code. It may be determined that the product has been acquired by the user by the quantity associated with the received product identifier.

なお、取得判断部106は、受付部101が受け付けた受付物品識別子に一致すると判断部104が判断した対応物品識別子と対応づけられたコードが示す物品が、一以上取得されたと判断した後であって、このコードが示す物品が、受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断されるよりも前に、ユーザがこのコードが配置されている位置の周辺から立ち去った場合、このコードに対応する物品が適切に取得されていないと判断しても良い。例えば、上記のコードが示す物品が、一以上取得されたと判断した後であって、このコードが示す物品が、受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断されるよりも前に、撮影画像内においてこのコードが検出できなくなった場合、このコードに対応する物品が適切に取得されていないと判断しても良い。この場合は、特に、取得した数量が不足していることを示す判断結果を取得しても良い。   The acquisition determining unit 106 determines that one or more articles indicated by the code associated with the corresponding article identifier determined by the determining unit 104 to match the received article identifier received by the receiving unit 101 have been acquired. If the user leaves the vicinity of the position where the code is placed before it is determined that the article indicated by the code is acquired by the user by the quantity associated with the received article identifier, It may be determined that the article corresponding to this code has not been properly acquired. For example, after determining that one or more articles indicated by the above code have been acquired, it is determined that the article indicated by this code has been acquired by the user by the amount associated with the received article identifier. Before, when this code cannot be detected in the photographed image, it may be determined that an article corresponding to this code has not been properly acquired. In this case, in particular, a determination result indicating that the acquired quantity is insufficient may be acquired.

また、取得判断部106は、受付部101が受け付けた受付物品識別子に一致すると判断部104が判断した対応物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応づけられた数量より多く、ユーザに取得されたと判断した場合に、このコードに対応する物品が適切に取得されていないと判断しても良い。この場合は、特に、コードに対応する物品を取得した数量が超過していることを示す判断結果を取得しても良い。なお、かかる判断は、例えば、上述したカウント数を、受付物品識別子と対応づけられた数量と比較することで可能である。   In addition, the acquisition determination unit 106 is configured such that the article indicated by the code associated with the corresponding article identifier determined by the determination unit 104 that matches the received article identifier received by the reception unit 101 is associated with the received article identifier. When it is determined that the user has acquired the code more, the article corresponding to the code may be determined not to be acquired appropriately. In this case, in particular, a determination result indicating that the number of articles acquired corresponding to the code is excessive may be acquired. Such determination can be made, for example, by comparing the above-described count number with the quantity associated with the received article identifier.

出力部107は、取得判断部106の判断結果に応じた出力を行う。判断結果に応じた出力とは、判断結果そのものの出力であっても良く、判断結果に応じて決定される出力や、判断結果に応じて予め指定されている出力や、判断結果に応じてテンプレート等を用いて作成される出力であっても良い。なお、判断結果に応じて出力を行うということは、判断結果によっては出力を行わないことも含むと考えてもよい。ここでの出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。   The output unit 107 performs output according to the determination result of the acquisition determination unit 106. The output according to the determination result may be an output of the determination result itself, an output determined according to the determination result, an output specified in advance according to the determination result, or a template according to the determination result It is also possible to use an output created using the above. Note that outputting according to the determination result may include not outputting depending on the determination result. The output here includes display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, processing to another processing device or other program, etc. It is a concept that includes delivery of results.

例えば、出力部107は、取得判断部106の判断結果が、判断部104が一致すると判断した受付物品識別子と対応づけられたコードが示す物品が、ユーザにより取得されたことを示す判断結果である場合に、適切に物品が取得されたことを示す情報を出力する。例えば、出力部107は、予め指定された情報として、予め指定された確認音を出力したり、「商品取得完了」等の予め指定された文字列や画像を、ヘッドマウントディスプレイ108等の表示デバイスに表示する。また、出力部107は、適切に物品が取得されたことを示す情報を、図示しないサーバ装置等に送信してもよい。   For example, the output unit 107 is a determination result indicating that the article indicated by the code associated with the accepted article identifier determined by the determination unit 104 that the determination result of the acquisition determination unit 106 matches is acquired by the user. In this case, information indicating that the article has been appropriately acquired is output. For example, the output unit 107 outputs a pre-designated confirmation sound as pre-designated information, or displays a pre-designated character string or image such as “product acquisition complete” or the like as a display device such as the head-mounted display 108. To display. Further, the output unit 107 may transmit information indicating that the article has been appropriately acquired to a server device or the like (not shown).

また、出力部107は、取得判断部106の判断結果が、判断部104が一致すると判断した受付物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応付けらた数量だけユーザにより取得されたことを示す判断結果である場合に、適切な物品が適切な数量だけ取得されたことを示す情報を出力してもよい。例えば、出力部107は、予め指定された情報として、予め指定された確認音を出力したり、「所定数量商品取得完了」等の予め指定された文字列や画像を、ヘッドマウントディスプレイ108等の表示デバイスに表示する。また、出力部107は、物品が正しい数量だけ取得されたことを示す情報を、図示しないサーバ装置等に送信してもよい。   Further, the output unit 107 is configured so that an article indicated by a code associated with the received article identifier that the determination result of the acquisition determining unit 106 matches is determined by the quantity corresponding to the received article identifier. In the case of the determination result indicating that it has been acquired by the above, information indicating that an appropriate quantity of an appropriate article has been acquired may be output. For example, the output unit 107 outputs a pre-designated confirmation sound as pre-designated information, or displays a pre-designated character string or image such as “predetermined quantity product acquisition” on the head mounted display 108 or the like. Display on the display device. Further, the output unit 107 may transmit information indicating that the correct quantity of articles has been acquired to a server device or the like (not shown).

また、取得判断部106の判断結果が、適切に物品が取得されていないことを示す判断結果である場合、出力部107は、適切に物品が取得されていないことを警告する情報を出力しても良い。例えば、警告音や、警告を示す文字列や画像を出力してもよい。また、出力部107は、適切に物品が取得されていないことを警告する情報を図示しないサーバ装置等に送信してもよい。   Further, when the determination result of the acquisition determination unit 106 is a determination result indicating that the article has not been acquired properly, the output unit 107 outputs information that warns that the article has not been acquired properly. Also good. For example, a warning sound, a character string indicating a warning, or an image may be output. Further, the output unit 107 may transmit information for warning that an article has not been acquired properly to a server device or the like (not shown).

また、特に、取得判断部106の判断結果が、取得した数量が不足していることを示す判断結果である場合、出力部107は、適切に物品が取得されていないことを警告する情報として、数量が不足していることを示す情報や、不足している数量等を示す情報を出力しても良い。   In particular, when the determination result of the acquisition determination unit 106 is a determination result indicating that the acquired quantity is insufficient, the output unit 107 provides information that warns that the article has not been acquired appropriately. Information indicating that the quantity is insufficient or information indicating the insufficient quantity may be output.

また、特に、取得判断部106の判断結果が、取得した数量が超過していることを示す判断結果である場合、出力部107は、適切に物品が取得されていないことを警告する情報として、数量が超過していることを示す情報や、超過している数量等を示す情報を出力しても良い。   In particular, when the determination result of the acquisition determination unit 106 is a determination result indicating that the acquired quantity has exceeded, the output unit 107 provides information that warns that the article has not been acquired appropriately. Information indicating that the quantity has been exceeded or information indicating the quantity that has been exceeded may be output.

出力部107は、ディスプレイやスピーカーや通信手段等の出力デバイスを含むと考えても含まないと考えても良い。出力部107は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。   The output unit 107 may or may not include an output device such as a display, a speaker, or a communication unit. The output unit 107 can be realized by output device driver software, or output device driver software and an output device.

次に、携帯情報端末1の動作の一例について図3のフローチャートを用いて説明する。なお、ここでは、撮影画像内で検出した手の位置が、コードに対応した位置であるか否かを判断することによって、物品が取得されたか否かを判断する場合を例に挙げて説明している。ただし、本実施の形態においては、ここで述べた例以外の処理により、物品が取得されたか否かを判断してもよい。   Next, an example of operation | movement of the portable information terminal 1 is demonstrated using the flowchart of FIG. Here, an example will be described in which it is determined whether or not an article has been acquired by determining whether or not the position of the hand detected in the captured image is a position corresponding to the code. ing. However, in the present embodiment, it may be determined whether or not the article has been acquired by a process other than the example described here.

(ステップS101)受付部101は、物品識別子と、数量との一以上の組を受け付けたか否かを判断する。受け付けた物品識別子が受付物品識別子である。受け付けた場合、ステップS102に進み、受け付けていない場合、ステップS101に戻る。   (Step S101) The receiving unit 101 determines whether or not one or more sets of an article identifier and a quantity have been received. The received article identifier is the received article identifier. If accepted, the process proceeds to step S102. If not accepted, the process returns to step S101.

(ステップS102)撮影部102は、撮影画像を取得する。例えば、撮影部102は、動画像である撮影画像のフレーム画像を取得する。   (Step S102) The photographing unit 102 acquires a photographed image. For example, the imaging unit 102 acquires a frame image of a captured image that is a moving image.

(ステップS103)判断部104は、ステップS102で取得した撮影画像(例えば、フレーム画像)において、一または二以上のコードを検出する処理を行い、コードを検出できたか否かを判断する。検出できた場合、ステップS104に進み、検出できなかった場合、ステップS102に戻る。   (Step S103) The determination unit 104 performs a process of detecting one or more codes in the captured image (for example, a frame image) acquired in Step S102, and determines whether or not the code has been detected. When it can detect, it progresses to step S104, and when it cannot detect, it returns to step S102.

(ステップS104)判断部104は、カウンターmの値に1を代入する。   (Step S104) The determination unit 104 substitutes 1 for the value of the counter m.

(ステップS105)判断部104は、ステップS103で検出したコードのうちのm番目のコードに対応する対応物品識別子が、ステップS101で受け付けた一以上の受付物品識別子のいずれかと一致するか否かを判断する。例えば、判断部104は、識別子格納部103に格納された識別子管理情報を用いて、m番目のコードから読み取られるコード識別子に対応する対応物品識別子を取得し、この対応物品識別子が、ステップS101で受け付けた一以上の受付物品識別子のいずれかと一致するか否かを順次判断する。一致する場合、ステップS106に進み、一致しない場合、ステップS108に進む。なお、後述するステップS115において、取得済であることを示す情報が対応づけられた受付物品識別子については、コードに対応する受付物品識別子と一致するか否かの判断には、用いないようにしてもよい。   (Step S105) The determination unit 104 determines whether or not the corresponding article identifier corresponding to the m-th code among the codes detected in Step S103 matches any one or more of the received article identifiers received in Step S101. to decide. For example, the determination unit 104 uses the identifier management information stored in the identifier storage unit 103 to obtain a corresponding product identifier corresponding to the code identifier read from the mth code, and the corresponding product identifier is determined in step S101. It is sequentially determined whether or not it matches one of the received one or more received article identifiers. If they match, the process proceeds to step S106, and if they do not match, the process proceeds to step S108. In step S115, which will be described later, the received article identifier associated with the acquired information is not used for determining whether or not it matches the received article identifier corresponding to the code. Also good.

(ステップS106)表示部105は、ステップS101で受け付けた数量のうちの、ステップS105で一致すると判断された受付物品識別子と対応づけられた数量を、取得通知情報として取得する。   (Step S106) The display unit 105 acquires, as the acquisition notification information, the quantity associated with the received article identifier determined to match in Step S105 among the quantities received in Step S101.

(ステップS107)表示部105は、m番目のコードに対応した位置に、取得通知情報を表示する。例えば、表示部105は、m番目のコード上に、ステップS105で取得した数量を表示する。例えば、表示部105は、ヘッドマウントディスプレイ108に表示を行う。   (Step S107) The display unit 105 displays the acquisition notification information at a position corresponding to the m-th code. For example, the display unit 105 displays the quantity acquired in step S105 on the mth code. For example, the display unit 105 performs display on the head mounted display 108.

(ステップS108)判断部104は、カウンターmの値を1インクリメントする。   (Step S108) The determination unit 104 increments the value of the counter m by 1.

(ステップS109)判断部104は、ステップS103で撮影画像から検出したコードに、m番目のコードがあるか否かを判断し、ある場合、ステップS104に戻り、ない場合、ステップS110に進む。   (Step S109) The determination unit 104 determines whether or not there is an m-th code in the code detected from the captured image in step S103. If there is, the process returns to step S104. If not, the process proceeds to step S110.

(ステップS110)取得判断部106は、ステップS102で取得した撮影画像(例えば、フレーム画像)の、ステップS106で取得通知情報が取得されたコードの内のいずれか一つに対応する位置に、手が検出されたか否かを判断する。例えば、取得判断部106は、ステップS102で取得した撮影画像において手の検出を行い、検出した手が、ステップS106で取得通知情報が取得されたコードの内のいずれか一つに対応する領域と重なっているか否かを判断し、重なっている場合、コードのいずれかに対応する位置に手が検出されたと判断する。コードのいずれかに対応する位置に手が検出された場合、このコードを示す情報、例えばコードの識別子等やコードの領域を示す情報等を取得して、ステップS111に進み、コードのいずれかに対応する位置に手が検出されなかった場合、ステップS102に戻る。なお、以下においては、説明の便宜上、取得通知情報が取得されたコードの内のいずれか一つであって、ステップS110において対応する位置に手が検出されたコードを、手が検出されたコードと呼ぶ。   (Step S110) The acquisition determination unit 106 moves the hand image to the position corresponding to one of the codes from which the acquisition notification information is acquired in Step S106 of the captured image (for example, a frame image) acquired in Step S102. It is determined whether or not is detected. For example, the acquisition determining unit 106 detects a hand in the captured image acquired in step S102, and the detected hand is an area corresponding to any one of the codes from which the acquisition notification information is acquired in step S106. It is determined whether or not they overlap, and if they overlap, it is determined that a hand has been detected at a position corresponding to one of the codes. When a hand is detected at a position corresponding to one of the codes, information indicating the code, for example, information indicating the code identifier or the code area is acquired, and the process proceeds to step S111. If no hand is detected at the corresponding position, the process returns to step S102. In the following, for convenience of explanation, any one of the codes from which the acquisition notification information has been acquired, and the code in which the hand is detected in the corresponding position in step S110 is referred to as the code in which the hand is detected. Call it.

(ステップS111)取得判断部106は、ステップS110において手が検出されたコードが、直前に手が検出されたコードと同じであるか否かを判断する。例えば、ステップS110で、ステップS106で取得通知情報が取得されたコードの内のいずれか一つに対応する位置に、手が検出された場合、このコードから読み出したコード識別子等を図示しない格納部等に蓄積するようにし、ステップS110で手が検出されたコードのコード識別子と、この直前の(つまり一つ前の)ステップS110で手が検出されたコードのコード識別子を比較することで、コードが同じであるか否かを判断する。コードが同じである場合、ステップS102に戻り、コードが異なる場合、ステップS112に進む。   (Step S111) The acquisition determining unit 106 determines whether or not the code in which the hand is detected in Step S110 is the same as the code in which the hand has been detected immediately before. For example, in step S110, when a hand is detected at a position corresponding to any one of the codes from which the acquisition notification information has been acquired in step S106, a storage unit (not shown) such as a code identifier read from the code By comparing the code identifier of the code whose hand has been detected in step S110 with the code identifier of the code whose hand has been detected in step S110 immediately before (that is, the immediately preceding step), Are the same. If the codes are the same, the process returns to step S102, and if the codes are different, the process proceeds to step S112.

なお、ここでの直前に手が検出された位置とは、例えば、直前の撮影画像(例えば、フレーム画像)において手が検出された位置と考えても良く、直前のステップS110の、更に一つ前に行われたステップS110の処理において手が検出された位置と考えてもよい。また、直前の撮影画像や、直前のステップS110の更に一つ前のステップS110において、コードのいずれか一つに対応する位置に、手が検出されなかった場合、取得判断部106は、ステップS110で手が検出された位置に対応するコードが、直前に手が検出された位置に対応するコードと同じでないと判断してよい。   In addition, the position where the hand is detected immediately before here may be considered as the position where the hand is detected in the immediately preceding captured image (for example, frame image), for example. You may think that it is the position where the hand was detected in the process of step S110 performed previously. In addition, when a hand is not detected at a position corresponding to any one of the codes in the immediately preceding photographed image or in step S110 immediately before the immediately preceding step S110, the acquisition determining unit 106 performs step S110. It may be determined that the code corresponding to the position where the hand is detected is not the same as the code corresponding to the position where the hand was detected immediately before.

(ステップS112)取得判断部106は、ステップS101で受付部101が受け付けた受付物品識別子に対応づけられたカウンターのうちの、ステップS111で手が検出されたコードに対応する対応物品識別子と一致する受付物品識別子と対応づけられたカウンターの値を、1インクリメントする。なお、このカウンターの値は、例えば、ステップS101で受付部101が受付物品識別子を受け付けた時点で、0等の初期値に設定しておく。   (Step S112) The acquisition determination unit 106 matches the corresponding product identifier corresponding to the code whose hand is detected in Step S111, out of the counters associated with the received product identifier received by the reception unit 101 in Step S101. The counter value associated with the received article identifier is incremented by one. Note that the value of this counter is set to an initial value such as 0 when the receiving unit 101 receives the received article identifier in step S101, for example.

(ステップS113)取得判断部106は、ステップS112で値をインクリメントしたカウンターの値と、このカウンターに対応する受付物品識別子と対応づけられた数量とが一致するか否かを判断する。一致する場合、ステップS114に進み、一致しない場合、ステップS102に進む。   (Step S113) The acquisition determination unit 106 determines whether or not the counter value incremented in Step S112 matches the quantity associated with the received article identifier corresponding to the counter. If they match, the process proceeds to step S114, and if they do not match, the process proceeds to step S102.

(ステップS114)出力部107は、適切に物品が取得されたことを示す情報を出力する。例えば、出力部107は、ステップS111で手が検出されたコードに対応する対応物品識別子や受付物品識別子と対応づけて、適切に物品が取得されたことを示す情報を出力する。   (Step S114) The output unit 107 outputs information indicating that the article has been appropriately acquired. For example, the output unit 107 outputs information indicating that an article has been appropriately acquired in association with the corresponding article identifier or the received article identifier corresponding to the code whose hand is detected in step S111.

(ステップS115)取得判断部106は、ステップS101で受付部101が受け付けた受付物品識別子のうちの、ステップS111で手が検出されたコードに対応する対応物品識別子と一致する受付物品識別子に、この受付物品識別子に対応する物品が取得済であることを示す情報(例えば、フラグ情報等)を付与する。   (Step S115) The acquisition determination unit 106 sets the received article identifier that matches the corresponding article identifier corresponding to the code whose hand is detected in Step S111 among the received article identifiers received by the receiving unit 101 in Step S101. Information (for example, flag information) indicating that the article corresponding to the received article identifier has been acquired is assigned.

(ステップS116)取得判断部106は、ステップS101で受付部101が受け付けた全ての受付物品識別子に対して、対応する物品が取得済であることを示す情報が付与されているか否かを判断する。全てに取得済である情報が対応づけられている場合、処理を終了し、全てに対応づけられていない場合、ステップS102に戻る。   (Step S116) The acquisition determining unit 106 determines whether or not information indicating that the corresponding article has been acquired is assigned to all the received article identifiers received by the receiving unit 101 in step S101. . If the acquired information is associated with all, the process ends. If not, the process returns to step S102.

以下、本実施の形態における携帯情報端末1の具体的な動作について一例を挙げて説明する。この具体例においては、携帯情報端末1が、物品の出荷作業を支援するための装置である場合を例に挙げて説明する。ここでは、倉庫内の棚に配置された物品(商品)の中から、図示しないサーバ装置から送信された受付物品識別子が示す物品を、出荷のための取得して集める場合を例に挙げて説明する。また、ここでは、コードとして、カラーバーコードを用いる場合を例に挙げて説明する。   Hereinafter, a specific operation of portable information terminal 1 in the present embodiment will be described with an example. In this specific example, the case where the portable information terminal 1 is an apparatus for supporting the shipment operation of an article will be described as an example. Here, an example will be described in which the articles indicated by the received article identifiers transmitted from a server device (not shown) are acquired and collected for shipment from among the articles (products) arranged on the shelves in the warehouse. To do. Here, a case where a color barcode is used as the code will be described as an example.

図4は、倉庫内に配置された複数の物品が配置された棚の一例を示す図(図4(a))、及び棚に配置されたコード20を拡大して示す図(図4(b))である。   FIG. 4 is a diagram (FIG. 4A) showing an example of a shelf on which a plurality of articles arranged in a warehouse is arranged, and a diagram showing an enlarged view of a cord 20 arranged on the shelf (FIG. 4B). )).

例えば、図4(a)に示すように、複数の物品が棚50に配置されており、一の物品が配置された棚50の前面には、この物品の物品識別子と対応づけられたであるコード20が添付されているものとする。コード20は、ここでは、カラーバーコードであるとする。このカラーバーコードは、ここでは、一例として、黒い背景に、水色・紫・黄・緑・赤・青・オレンジの最大8色の色を有する矩形の図柄を、3行9列となるよう2次元に配列した構成を有しているものを用いる場合について説明する。   For example, as shown in FIG. 4A, a plurality of articles are arranged on the shelf 50, and the front of the shelf 50 on which one article is arranged is associated with the article identifier of the article. It is assumed that a code 20 is attached. Here, it is assumed that the code 20 is a color barcode. In this example, the color barcode is, as an example, a rectangular design having a maximum of eight colors of light blue, purple, yellow, green, red, blue, and orange on a black background. A case of using one having a configuration arranged in a dimension will be described.

図5は、識別子格納部103に格納されている識別子管理情報を管理する識別子管理表である。識別子管理表は、「コードID」と、「対応物品ID」という属性を有している。「コードID」は、コード識別子である。「対応物品ID」は、コード識別子と対応づけられた対応物品識別子である。   FIG. 5 is an identifier management table for managing identifier management information stored in the identifier storage unit 103. The identifier management table has attributes of “code ID” and “corresponding article ID”. “Code ID” is a code identifier. The “corresponding article ID” is a corresponding article identifier associated with the code identifier.

まず、ユーザが、図2に示したような非透過型のヘッドマウントディスプレイ108を頭部に装着する。ここでは、上述したように、一例として、ヘッドマウントディスプレイ108に、携帯情報端末1の構成が全て取り付けられているものとする。   First, the user wears the non-transmissive head mounted display 108 as shown in FIG. 2 on the head. Here, as described above, as an example, it is assumed that the configuration of the portable information terminal 1 is attached to the head mounted display 108.

携帯情報端末1の受付部101は、図示しないサーバ装置から送信される取得対象となる受付物品識別子と、その受付物品識別子が示す物品を取得する数量の情報との一以上の組(即ち一以上の物品数量情報)を受信する。ここでは、複数の組を受信したとする。また、ここでは、物品の取得を依頼する識別子である依頼識別子を、これらの受付物品識別子と数量との組とともに受信する。ユーザは、この依頼識別子毎に、対応する受付物品識別子が示す物品を、対応する数量が示す数量だけ取得して集めることとなる。受付部101は、受け付けた情報を、図示しない格納部等に蓄積する。   The receiving unit 101 of the portable information terminal 1 has at least one set (that is, one or more sets) of a received article identifier to be acquired transmitted from a server device (not shown) and quantity information for acquiring the article indicated by the received article identifier. Item quantity information). Here, it is assumed that a plurality of sets are received. Here, a request identifier, which is an identifier for requesting acquisition of an article, is received together with a set of these accepted article identifiers and quantities. For each request identifier, the user acquires and collects the articles indicated by the corresponding accepted article identifiers by the quantity indicated by the corresponding quantity. The receiving unit 101 accumulates the received information in a storage unit (not shown) or the like.

図6は、受付部101が受け付けた情報を管理する受付管理表である。受付管理表は、「依頼ID」と、「物品ID」と、「数量」と、「取得」という属性を有している。「依頼ID]は依頼識別子である。「物品ID」は、物品識別子であり、ここでは受付物品識別子である。「数量」は、受付物品識別子と対応づけられた数量である。「取得」は、同じレコード(行)の「物品ID」が示す物品が、「数量」が示す数量だけ取得されたか否かを示す情報であり、値「0」は、「物品ID」が示す物品が、「数量」が示す数量だけ取得されていないことを示し、値「1」は、「物品ID」が示す物品が、「数量」が示す数量だけ取得済であることを示す。「取得」の値のデフォルト値は「0」であるとする。   FIG. 6 is a reception management table for managing information received by the reception unit 101. The reception management table has attributes of “request ID”, “article ID”, “quantity”, and “acquisition”. “Request ID” is a request identifier, “Article ID” is an article identifier, and here is a received article identifier. “Quantity” is the quantity associated with the received article identifier. “Acquired” is information indicating whether or not the item indicated by “Item ID” in the same record (row) has been acquired in the quantity indicated by “Quantity”, and the value “0” is indicated by “Item ID”. The article indicates that the quantity indicated by “quantity” has not been acquired, and the value “1” indicates that the article indicated by “article ID” has already been acquired by the quantity indicated by “quantity”. It is assumed that the default value of the “acquired” value is “0”.

なお、受付部101は、更に、各受付物品識別子が示す物品が配置されている棚の識別子等や、棚までの経路を示す情報等を受信してもよい。また、受信したこれらの情報を、適宜、表示部105がヘッドマウントディスプレイ108内に表示するようにしても良い。   The receiving unit 101 may further receive an identifier of a shelf on which an article indicated by each received article identifier is arranged, information indicating a route to the shelf, and the like. Further, the received information may be appropriately displayed on the head mounted display 108 by the display unit 105.

撮影部102は、ユーザの前方の領域を順次撮影して、動画像を構成するフレーム画像を、撮影画像として順次取得する。   The imaging unit 102 sequentially captures areas in front of the user, and sequentially acquires frame images constituting a moving image as captured images.

判断部104は、撮影部が取得した撮影画像についてコードを検出する処理を順次行う。コードが検出されなかった場合、表示部105は、撮影部102が取得した撮影画像を、ヘッドマウントディスプレイ108に順次表示する。これにより、ユーザは、ヘッドマウントディスプレイ108を介して、倉庫内を見ることができ、倉庫内を移動したり、倉庫内の物品を持ったりすることが可能となる。   The determination unit 104 sequentially performs a process of detecting a code for the captured image acquired by the imaging unit. When the code is not detected, the display unit 105 sequentially displays the captured images acquired by the imaging unit 102 on the head mounted display 108. As a result, the user can view the inside of the warehouse via the head-mounted display 108, and can move within the warehouse or hold items in the warehouse.

ここで、例えば、ユーザが、図4(a)に示した棚50の前に移動して、棚50の正面に体を向けたとすると、撮影部102は、撮像領域内に位置する棚50の正面の一部を撮影する。   Here, for example, if the user has moved to the front of the shelf 50 shown in FIG. 4A and turned his body to the front of the shelf 50, the imaging unit 102 has the shelf 50 positioned in the imaging area. Shoot a part of the front.

図7は、撮影部102が撮影した棚50の一部を撮影したフレーム画像を示す図である。ヘッドマウントディスプレイ108には図7のフレーム画像が表示される。   FIG. 7 is a diagram illustrating a frame image obtained by photographing a part of the shelf 50 photographed by the photographing unit 102. The frame image shown in FIG. 7 is displayed on the head mounted display 108.

判断部104は、図7に示した撮影画像において、一以上のコードの検出を行う。例えば、撮影画像を2値化して、黒い枠で囲まれた画像の領域を、コードの領域として検出する。そして、検出した領域の画像であるコードの画像をメモリ等に取得する。   The determination unit 104 detects one or more codes in the captured image shown in FIG. For example, the photographed image is binarized, and an image area surrounded by a black frame is detected as a code area. Then, an image of a code that is an image of the detected area is acquired in a memory or the like.

ここでは、例えば、図7において、コード20a−20dが検出されたとする。   Here, for example, it is assumed that codes 20a to 20d are detected in FIG.

次に、判断部104は、取得したコードの画像のうちの、一のコードの画像として、コード20aの画像を読み出し、このコード20aのコード識別子を取得する。取得したコード識別子は、「C001」であったとする。   Next, the determination unit 104 reads the image of the code 20a as one of the acquired code images, and acquires the code identifier of the code 20a. It is assumed that the acquired code identifier is “C001”.

判断部104は、取得したコード識別子に対応する対応物品識別子を取得する。ここでは、図5に示した識別子管理表において、「コードID」の値が、上記で取得した「C001」に一致するレコード(行)を検出し、検出したレコードの「対応物品ID」の値である「A1001」を取得する。   The determination unit 104 acquires a corresponding article identifier corresponding to the acquired code identifier. Here, in the identifier management table shown in FIG. 5, the record (line) whose “code ID” value matches “C001” acquired above is detected, and the “corresponding article ID” value of the detected record is detected. “A1001” is acquired.

判断部104は、図6に示した受付管理表において、「取得」の値が「0」であり、かつ、「物品ID」の値が上記で取得した「対応物品ID」の値「A1001」と一致するレコード(行)を検索する。一致するレコードがある場合、このレコードの数量を取得する。ここでは、1行目のレコードが、条件を満たすレコードであるため、表示部105は、そのレコードの「数量」の値「2」を、取得通知情報として取得する。取得した「数量」の値と、「対応物品ID」の値とを、「コードID」の値と対応づけて、図示しない格納部等に蓄積する。ここでの格納は一時記憶であっても良い。なお、ここでは、結果的にコード識別子に対応づけられた物品識別子がコード識別子と対応づけて格納されればよいため、「対応物品ID」の値の代わりに、同じ値を有する「物品ID」を蓄積しても良い。   In the reception management table shown in FIG. 6, the determination unit 104 has the value “A1001” of “corresponding article ID” that the value of “acquisition” is “0” and the value of “article ID” is acquired above. Search for records (rows) that match. If there is a matching record, get the quantity of this record. Here, since the record in the first row is a record that satisfies the condition, the display unit 105 acquires the value “2” of “quantity” of the record as acquisition notification information. The acquired “quantity” value and “corresponding article ID” value are associated with the “code ID” value and stored in a storage unit (not shown) or the like. The storage here may be temporary storage. Here, since the article identifier associated with the code identifier as a result only needs to be stored in association with the code identifier, “article ID” having the same value instead of the value of “corresponding article ID”. May be accumulated.

さらに、判断部104は、上記で検出されたコード20bについても、同様の処理を行う。このコード20bについて取得されたコード識別子が「C002」であったとすると、判断部104は、図5の識別子管理表から、このコード識別子に対応する「対応物品ID」である「A1002」を取得する。そして、判断部104は、図6に示した受付管理表において、「取得」の値が「0」であり、かつ、「物品ID」の値が上記で取得した「対応物品ID」の値「A1002」と一致するレコード(行)を検索する。ここでは、一致するレコードがないため、このコード20bについての処理は終了し、次のコード20cについて処理を行う。   Further, the determination unit 104 performs the same process for the code 20b detected above. If the code identifier acquired for the code 20b is “C002”, the determination unit 104 acquires “A1002” that is the “corresponding article ID” corresponding to the code identifier from the identifier management table of FIG. . Then, in the reception management table illustrated in FIG. 6, the determination unit 104 has the value “acquisition” of “0” and the value of “article ID” is the value “ A record (row) matching “A1002” is searched. In this case, since there is no matching record, the process for this code 20b ends and the process for the next code 20c is performed.

コード20cについて取得した「コードID」が「C003」であったとすると、上記と同様の処理を行うことにより、判断部104は、このコード20cについて、コードID「C003」、対応物品ID「A1003」を取得し、更に表示部105は、取得通知情報として数量「1」を取得し、判断部104及び表示部105は、これらの情報を対応づけて、図示しない格納部等に蓄積する。   If the “code ID” acquired for the code 20c is “C003”, the determination unit 104 performs the same processing as described above, so that the determination unit 104 performs the code ID “C003” and the corresponding article ID “A1003” for the code 20c. Further, the display unit 105 acquires the quantity “1” as the acquisition notification information, and the determination unit 104 and the display unit 105 associate these pieces of information and store them in a storage unit (not shown).

また、更に、コード20dについても、上記と同様の処理を行うが、コード20bの場合と同様に、このコード20dについて取得した「対応物品ID」に一致する「物品ID]を有するレコードが、識別子管理表に検出できなかったため、このコード20については、「数量」の値等は取得されなかったものとする。   Further, the same processing as described above is performed for the code 20d, but, similarly to the case of the code 20b, the record having the “article ID” that matches the “corresponding article ID” acquired for the code 20d is an identifier. Since it was not detected in the management table, it is assumed that a value of “quantity” or the like was not acquired for this code 20.

表示部105は、図7に示した撮影画像の、コード20a及びコード20cが検出された領域に対応した領域に、これらのコードについて判断部104が取得して蓄積した取得通知情報である「数量」の値「2」及び「1」を示す数字をそれぞれ重ねて配置した画像を、ヘッドマウントディスプレイ108に表示する。ここでは、各「数量」の値を、対応するコードが検出された領域上に配置した画像を表示する。   The display unit 105 displays “quantity” which is acquisition notification information acquired and accumulated by the determination unit 104 for these codes in an area corresponding to the area where the code 20a and the code 20c are detected in the captured image shown in FIG. An image in which numbers indicating the values “2” and “1” are superimposed and displayed is displayed on the head mounted display 108. Here, an image in which the value of each “quantity” is arranged on the area where the corresponding code is detected is displayed.

図8は、表示部105による取得通知情報の表示例を示す図である。   FIG. 8 is a diagram illustrating a display example of the acquisition notification information by the display unit 105.

ここで、例えば、ユーザが、コード20aの上方に配置されている「物品ID」が「A1001」である物品1001を取得するために、手を伸ばした結果、撮影部102が、図9に示すように、ユーザの手が、「物品ID」が「A1001」である物品に対応づけられたコード20aが配置されている領域と重なった撮影画像を取得したとする。   Here, for example, as a result of the user extending his / her hand in order to acquire the article 1001 whose “article ID” is “A1001” arranged above the code 20a, the photographing unit 102 is shown in FIG. In this way, it is assumed that the user's hand has acquired a captured image that overlaps the area where the code 20a associated with the article whose “article ID” is “A1001” is arranged.

取得判断部106は、図9に示した撮影画像において、ユーザの手を検出する。ここでは、手の輪郭70を示す情報を取得する。そして、検出した手が、上記で取得通知情報が取得されたコード、言い換えれば、取得通知情報が表示されたコードのいずれか一つと重なっているか否かを判断する。ここでは、コードを検出した際に取得した各コードの輪郭の情報等を用いて、判断する。具体的には、手の輪郭70の少なくとも一部と、各コードの輪郭の少なくとも一部が重なっているか否かを判断し、重なっていれば、検出した手が、上記で取得通知情報が取得されたコードと重なっていると判断する。   The acquisition determining unit 106 detects the user's hand in the captured image shown in FIG. Here, information indicating the contour 70 of the hand is acquired. Then, it is determined whether or not the detected hand overlaps any one of the codes for which the acquisition notification information is acquired, in other words, the codes for which the acquisition notification information is displayed. Here, the determination is made using the information of the outline of each code acquired when the code is detected. Specifically, it is determined whether or not at least a part of the contour 70 of the hand overlaps at least a part of the contour of each code, and if it overlaps, the detected hand acquires the acquisition notification information as described above. Judge that it overlaps with the code.

ここでは、コード20aと手とが重なっていると判断されたため、取得判断部106は、このコード20aと対応づけられた「対応物品ID」である「A1001」に対応して用意されたカウンターの値を1インクリメントする。この結果、カウンターの値は「1」となる。   Here, since it is determined that the code 20a and the hand overlap, the acquisition determining unit 106 uses the counter prepared in correspondence with “A1001” that is the “corresponding article ID” associated with the code 20a. Increment the value by one. As a result, the value of the counter becomes “1”.

取得判断部106は、このカウンターの値と、このコード20aに対応づけて図示しない格納部に蓄積された数量「2」とが一致するか否かを判断する。ここでは一致しないと判断する。このため、出力部107は、出力を行わない。   The acquisition determination unit 106 determines whether or not the value of the counter matches the quantity “2” stored in the storage unit (not shown) in association with the code 20a. Here, it is determined that they do not match. For this reason, the output unit 107 does not perform output.

また、その後に取得された撮影画像において、同じコード20a上の領域に、ユーザの手が検出された場合、取得判断部106が、直前の撮影画像において、同じコード20a上の領域に手が検出されたかなか否かを判断する。ここでは、取得判断部106が、直前の撮影画像において、既にコード20a上の領域にユーザの手が検出しているため、取得判断部106は、このコード20aと対応づけられた「対応物品ID」である「A1001」に対応して用意されたカウンターの値を変更しない。また、ユーザが、コード20aに対応する物品を棚50から取得したことにより、撮影画像において、ユーザの手が、コード20a上の領域と重ならなくなった場合においても、カウンターの値を変更しない。   In addition, when a user's hand is detected in the area on the same code 20a in the captured image acquired thereafter, the acquisition determination unit 106 detects a hand in the area on the same code 20a in the immediately preceding captured image. It is judged whether it was done. Here, since the acquisition judgment unit 106 has already detected the user's hand in the area on the code 20a in the immediately preceding photographed image, the acquisition judgment unit 106 displays the “corresponding article ID associated with the code 20a. The value of the counter prepared corresponding to “A1001” that is “is not changed”. Further, even when the user acquires the article corresponding to the code 20a from the shelf 50 and the user's hand does not overlap the area on the code 20a in the captured image, the counter value is not changed.

ここで、更に、ユーザが同じコード20aに対応した物品を取得するために、棚50に手を伸ばした結果、撮影部102が、図9と同様の、ユーザの手が、コード20aが配置されている領域と重なった撮影画像を新たに取得したとする。   Here, as a result of the user reaching out to the shelf 50 in order to acquire an article corresponding to the same code 20a, the photographing unit 102 is arranged in the same manner as in FIG. 9, and the user's hand is arranged with the code 20a. Suppose that a new captured image that overlaps the area is acquired.

この場合、上記と同様に、コード20aと手が重なっており、更に、ひとつ前の撮影画像においては、コード20aと手が重なっていないことから、取得判断部106は、新たに、物品を取得するために手が伸びたと判断して、このコード20aと対応づけられた「対応物品ID」である「A1001」に対応して用意されたカウンターの値を1インクリメントする。この結果、カウンターの値は「2」となる。   In this case, as described above, the hand overlaps with the code 20a, and in the previous photographed image, the hand does not overlap with the code 20a. Therefore, the acquisition determination unit 106 acquires a new article. Therefore, it is determined that the hand has been extended, and the value of the counter prepared corresponding to “A1001” which is the “corresponding article ID” associated with the code 20a is incremented by one. As a result, the counter value is “2”.

取得判断部106は、このカウンターの値と、このコード20aに対応づけて図示しない格納部に蓄積された数量「2」とが一致するか否かを判断する。ここでは一致すると判断する。このため、出力部107は、この判断結果に応じた情報として、適切に物品が取得されたことを示す予め指定された確認音を出力する。また、ヘッドマウントディスプレイ108の一部に、適切に物品が取得されたことを示すメッセージを出力しても良い。なお、確認音や、メッセージ等の出力部107による出力は、その後の撮影画像において、コード20aと手が重ならないと判断された場合に行うようにしても良い。   The acquisition determination unit 106 determines whether or not the value of the counter matches the quantity “2” stored in the storage unit (not shown) in association with the code 20a. Here, it is determined that they match. Therefore, the output unit 107 outputs a confirmation sound designated in advance indicating that the article has been appropriately acquired as information according to the determination result. Further, a message indicating that an article has been appropriately acquired may be output on a part of the head mounted display 108. Note that the confirmation sound, the message, and the like may be output by the output unit 107 when it is determined that the hand is not overlapped with the code 20a in the subsequent captured image.

そして、取得判断部106は、「物品ID」の値が、この対応物品ID「A1001」と一致するレコードを、図6に示した受付管理表において検出し、検出したレコードの「取得」の値を「1」に更新する。   Then, the acquisition determination unit 106 detects a record in which the value of the “article ID” matches the corresponding article ID “A1001” in the reception management table illustrated in FIG. 6, and the “acquired” value of the detected record Is updated to “1”.

以下、同様にして、図6に示した受付管理表の全てのレコードの「取得」の値が「1」となった時点で、携帯情報端末1の処理は終了する。   Hereinafter, similarly, when the value of “acquisition” of all the records in the reception management table shown in FIG. 6 becomes “1”, the processing of the portable information terminal 1 ends.

以上、本実施の形態によれば、撮影部102が撮影した撮影画像において検出した一以上のコードが、受付部101が受け付けた受付物品識別子のいずれかと一致する場合に、この一以上のコードに対応する位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示するようにしたことにより、物品の位置を、撮影画像を撮影した領域に対応づけてユーザに示すことができ、取得対象となる物品の位置を適切にユーザに示すことができる。これにより、例えば、物品の出荷作業を適切に支援することができる。   As described above, according to the present embodiment, when one or more codes detected in the photographed image photographed by the photographing unit 102 matches one of the accepted article identifiers accepted by the accepting unit 101, the one or more codes are included. By displaying the acquisition notification information, which is information indicating that the article corresponding to the code is the acquisition target article, at the corresponding position, the position of the article is associated with the area where the photographed image is captured. It can be shown to the user, and the position of the article to be acquired can be appropriately shown to the user. Thereby, for example, it is possible to appropriately support the shipment operation of the article.

また、本実施の形態によれば、コードに対応する位置に、コードに対応する物品の数量を表示することにより、ユーザに取得すべき物品の取得すべき数量を、視覚的にわかりやすく示すことができ、物品を取得する際の作業効率を向上させることができる。   Further, according to the present embodiment, by displaying the quantity of the article corresponding to the code at the position corresponding to the code, the quantity to be obtained of the article to be obtained can be visually and easily shown to the user. It is possible to improve the work efficiency when acquiring an article.

また、本実施の形態によれば、撮影部102が撮影した撮影画像において検出した2以上のコードのそれぞれが、受付部101が受け付けた受付物品識別子のいずれかと一致する場合に、この2以上のコードにそれぞれ対応する位置に、二以上のコードにそれぞれ対応する物品が取得対象の物品であることを示す情報である取得通知情報をそれぞれ表示するようにしたことにより、複数の取得対象の物品が、同じ撮影画像内に含まれる場合であっても、いずれか一つのみではなく、複数の物品の位置をユーザに示すことができるため、適切にユーザに示すことができる。これにより、複数の物品が撮影領域内にあるにも関わらず、一つの物品しかユーザに示すことができないという状況を防いで、複数の物品を取得する際の効率を向上させることができる。   Further, according to the present embodiment, when each of the two or more codes detected in the photographed image photographed by the photographing unit 102 matches one of the accepted article identifiers accepted by the accepting unit 101, these two or more codes are used. By displaying the acquisition notification information, which is information indicating that the articles corresponding to the two or more codes are the acquisition target articles, at positions corresponding to the codes, a plurality of acquisition target articles are displayed. Even if they are included in the same captured image, the position of a plurality of articles can be shown to the user instead of only one of them, so that the user can be shown appropriately. Accordingly, it is possible to prevent a situation in which only one item can be shown to the user even though there are a plurality of items in the imaging region, and it is possible to improve the efficiency when acquiring the plurality of items.

また、本実施の形態によれば、撮影画像から物品が取得されたか否かを判断し、判断結果に応じて出力を行うことにより、物品の取得状況に応じた出力を行うことができる。例えば、物品が取得された場合に出力を行うことで、物品の取得を確認する通知をユーザや、外部の装置等に行うことができ、物品の取得作業を確認することができる。   Further, according to the present embodiment, it is possible to determine whether or not an article has been acquired from a captured image, and perform output according to the determination result, thereby performing output according to the acquisition status of the article. For example, by outputting when an article is acquired, a notification for confirming acquisition of the article can be sent to a user, an external device, or the like, and the acquisition operation of the article can be confirmed.

また、本実施の形態によれば、物品が、この物品に対応する受付物品識別子と対応づけられた数量だけ、取得されたか否かを、撮影画像から判断して、判断結果に応じた出力を行うことにより、物品が正しい数量だけ取得されたか否かを確認することができる。   Further, according to the present embodiment, it is determined from the photographed image whether or not an article has been acquired by the quantity associated with the received article identifier corresponding to the article, and an output corresponding to the determination result is output. By doing so, it can be confirmed whether or not the correct quantity of articles has been acquired.

また、本実施の形態によれば、撮影画像から検出した手を利用して、物品が取得されたか否かを判断することにより、物品の移動を、物品の形状や、色等に依存せずに検出ことができ、物品の取得を適切に判断することができる。   Further, according to the present embodiment, the movement of the article does not depend on the shape, color, or the like of the article by determining whether the article has been acquired using the hand detected from the captured image. And the acquisition of the article can be appropriately determined.

なお、上記実施の形態においては、主として、表示デバイスとして、ヘッドマウントディスプレイ108を用いる場合について説明したが、本発明においては、表示デバイスはどのようなものであっても良い。例えば、表示デバイスは、液晶モニタ等のモニタやプロジェクタ等であってもよい。   In the above embodiment, the case where the head mounted display 108 is mainly used as the display device has been described. However, in the present invention, any display device may be used. For example, the display device may be a monitor such as a liquid crystal monitor or a projector.

例えば、本実施の形態の携帯情報端末1は、携帯電話や、いわゆるスマートフォン等の多機能携帯電話や、タブレット型端末等の携帯機器を用いて実現可能であり、この場合、表示デバイスとして、これらの携帯機器のモニタを用いることができる。また、撮影部102として、これらの携帯機器のカメラ(図示せず)を用いることが可能である。   For example, the portable information terminal 1 of the present embodiment can be realized using a mobile phone, a multifunctional mobile phone such as a so-called smartphone, or a mobile device such as a tablet terminal. A portable device monitor can be used. In addition, a camera (not shown) of these portable devices can be used as the photographing unit 102.

例えば、上記実施の形態において、携帯情報端末1がヘッドマウントディスプレイ108の代わりに、モニタ(図示せず)を備えるようにし、表示部105がこのモニタに対して、撮影部102が撮影した撮影画像と、上記実施の形態と同様に取得した取得通知情報とを表示するようにしてもよい。更に、表示された取得通知情報に対応した撮影画像上のコードが表示されている領域を選択する操作を、携帯情報端末1の図示しない操作受付部がユーザから1回受け付けた場合に、このコードに対応づけられた商品を1つ取り出されたことを、取得判断部106が判断するようにしてもよい。商品が1つ取り出されたということは、商品が1つ出荷扱いとなったことも含む概念である。そして、出力部107が上記実施の形態と同様に、取得判断部106の判断結果に応じた出力を行うようにしてもよい。   For example, in the above embodiment, the portable information terminal 1 includes a monitor (not shown) instead of the head mounted display 108, and the display unit 105 captures the captured image captured by the imaging unit 102 with respect to the monitor. And the acquisition notification information acquired similarly to the said embodiment may be displayed. Further, when an operation receiving unit (not shown) of the portable information terminal 1 receives an operation for selecting an area in which a code on the captured image corresponding to the displayed acquisition notification information is displayed once from the user, this code The acquisition determination unit 106 may determine that one product associated with is extracted. The fact that one product has been taken out is a concept that includes the handling of one product. Then, the output unit 107 may perform output according to the determination result of the acquisition determination unit 106 as in the above embodiment.

この場合の、操作受付部が受け付ける領域を選択する1回の操作は、コードが表示されている領域上を、図示しないマウスやトラックパッド等を用いてシングルクリックする操作や、モニタ上に配置された図示しないタッチパネルのコードが表示されている領域上をタップする操作である。なお、この場合、取得判断部106は、上記実施の形態において説明したような、撮影画像から、商品が取得されたか否かを判断する処理は行わないようにしてもよい。   In this case, a single operation for selecting an area to be received by the operation receiving unit is performed by single-clicking on the area where the code is displayed using a mouse or a trackpad (not shown) or on the monitor. This is an operation of tapping on an area where a code of a touch panel (not shown) is displayed. In this case, the acquisition determination unit 106 may not perform the process of determining whether or not a product has been acquired from the captured image as described in the above embodiment.

更に、表示された取得通知情報に対応した撮影画像上のコードが表示されている領域を選択する操作を、携帯情報端末1の図示しない操作受付部がユーザから連続してn回(nは二以上の整数)受け付けた場合には、このコードに対応づけられた商品が、この商品を示す商品識別子とともに受付部101が受け付けた数量分、全て取り出されたことを、取得判断部106が判断するようにしてもよい。商品が全て取り出されたということは、例えば、物品数量情報が示す商品が、物品数量情報が示す数量分、取り出されたこと(例えば、出荷扱いとなったこと)と考えてもよい。そして、出力部107が取得判断部106の判断結果に応じた出力を行うようにしてもよい。そして、出力部107が上記実施の形態と同様に、取得判断部106の判断結果に応じた出力を行うようにしてもよい。   Further, an operation receiving unit (not shown) of the portable information terminal 1 performs an operation for selecting an area in which a code on the captured image corresponding to the displayed acquisition notification information is displayed n times (n is two). If it is received, the acquisition determining unit 106 determines that all the products associated with this code have been extracted in the quantity received by the receiving unit 101 together with the product identifier indicating the product. You may do it. The fact that all the products have been taken out may be considered, for example, that the products indicated by the item quantity information have been taken out (for example, shipped) for the quantity indicated by the item quantity information. Then, the output unit 107 may perform output according to the determination result of the acquisition determination unit 106. Then, the output unit 107 may perform output according to the determination result of the acquisition determination unit 106 as in the above embodiment.

この場合の、操作受付部が受け付ける領域を選択する連続したn回の操作は、コードが表示されている領域上を、図示しないマウスやトラックパッド等を用いて連続してn回クリックする操作や、モニタ上に配置された図示しないタッチパネルのコードが表示されている領域上を連続してn回タップする操作である。例えば、nが2の場合、連続したn回の操作は、いわゆるダブルクリックや、ダブルタップである。   In this case, the continuous n times of selecting the area received by the operation receiving unit is an operation of clicking n times continuously on the area where the code is displayed using a mouse, a trackpad, etc. (not shown) This is an operation of continuously tapping n times on a region where a code of a touch panel (not shown) arranged on the monitor is displayed. For example, when n is 2, consecutive n operations are so-called double click and double tap.

また、本発明において、識別子格納部103は、携帯情報端末1がアクセス可能な格納部であれば携帯情報端末1が有する格納部でなくても良く、例えば、携帯情報端末1以外の、携帯情報端末1が無線通信等により情報の送受信が可能な図示しないサーバ装置に格納された格納部であっても良い。この場合、携帯情報端末1は、判断部104が撮影画像のコードから取得したコード識別子を、このサーバ装置に送信し、このサーバ装置から、取得したコード識別子に対応する対応物品識別子を取得するようにしてもよい。   In the present invention, the identifier storage unit 103 may not be a storage unit included in the portable information terminal 1 as long as the portable information terminal 1 can access the portable information terminal 1. For example, portable information other than the portable information terminal 1 The terminal 1 may be a storage unit stored in a server device (not shown) that can transmit and receive information by wireless communication or the like. In this case, the portable information terminal 1 transmits the code identifier acquired from the code of the captured image by the determination unit 104 to the server device, and acquires the corresponding article identifier corresponding to the acquired code identifier from the server device. It may be.

なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。   In each of the above embodiments, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.

また、上記各実施の形態において、一の装置に存在する2以上の通信手段(受付部や、出力部など)は、物理的に一の媒体で実現されても良いことは言うまでもない。   Further, in each of the above embodiments, it goes without saying that two or more communication means (such as a receiving unit and an output unit) existing in one device may be physically realized by one medium.

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。   In the above embodiment, information related to processing executed by each component, for example, information received, acquired, selected, generated, transmitted, and received by each component. In addition, information such as threshold values, mathematical formulas, addresses, etc. used by each component in processing is retained temporarily or over a long period of time on a recording medium (not shown) even when not explicitly stated in the above description. It may be. Further, the storage of information in the recording medium (not shown) may be performed by each component or a storage unit (not shown). Further, reading of information from the recording medium (not shown) may be performed by each component or a reading unit (not shown).

また、上記各実施の形態では、携帯情報端末がスタンドアロンである場合について説明したが、携帯情報端末は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。   In each of the above embodiments, the case where the portable information terminal is stand-alone has been described. However, the portable information terminal may be a stand-alone device or a server device in a server / client system. In the latter case, the output unit or the reception unit receives an input or outputs a screen via a communication line.

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部(例えば、ハードディスクやメモリ等の記録媒体)にアクセスしながらプログラムを実行してもよい。   In each of the above embodiments, each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program. For example, each component can be realized by a program execution unit such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. At the time of execution, the program execution unit may execute the program while accessing a storage unit (for example, a recording medium such as a hard disk or a memory).

なお、上記各実施の形態における携帯情報端末を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、物品と対応する位置に配置されたコードであって、物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、判断部が、受付部が受け付けた物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部として機能させるためのプログラムである。   In addition, the software which implement | achieves the portable information terminal in each said embodiment is the following programs. That is, this program associates a computer with a receiving unit that receives one or more article identifiers that are identifiers of articles to be acquired, and a code that is arranged at a position corresponding to the article, and associates the article with the article identifier of the article. An imaging unit that acquires a captured image obtained by capturing an area including the one or more codes, and an article identifier of an article that is associated with the one or more codes in the captured image. Corresponding to the code corresponding to the matching item identifier when the determination unit determines whether or not the received item identifier matches one of the received item identifiers, and the determination unit determines that the received item identifier matches the received item identifier Is a program for causing the position corresponding to the code to function as a display unit that displays acquisition notification information that is information indicating that the article corresponding to the code is an acquisition target article.

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。   In the program, the functions realized by the program do not include functions that can be realized only by hardware. For example, a function that can be realized only by hardware such as a modem or an interface card in an acquisition unit that acquires information or an output unit that outputs information is not included in the function realized by the program.

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。   Further, the computer that executes this program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.

図10は、上記プログラムを実行して、上記実施の形態による携帯情報端末を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。   FIG. 10 is a schematic diagram showing an example of the external appearance of a computer that executes the program and realizes the portable information terminal according to the embodiment. The above-described embodiment can be realized by computer hardware and a computer program executed on the computer hardware.

図10において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。   In FIG. 10, a computer system 900 includes a computer 901 including a CD-ROM (Compact Disk Read Only Memory) drive 905, a keyboard 902, a mouse 903, and a monitor 904.

図11は、コンピュータシステム900の内部構成を示す図である。図11において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。   FIG. 11 is a diagram showing an internal configuration of the computer system 900. In FIG. 11, in addition to the CD-ROM drive 905, a computer 901 is connected to an MPU (Micro Processing Unit) 911, a ROM 912 for storing a program such as a bootup program, and the MPU 911, and receives instructions of an application program. A RAM (Random Access Memory) 913 that temporarily stores and provides a temporary storage space, a hard disk 914 that stores application programs, system programs, and data, and a bus 915 that interconnects the MPU 911, ROM 912, and the like Prepare. The computer 901 may include a network card (not shown) that provides connection to the LAN.

コンピュータシステム900に、上記実施の形態による携帯情報端末等の機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。   A program that causes the computer system 900 to execute the functions of the portable information terminal and the like according to the above-described embodiment may be stored in the CD-ROM 921, inserted into the CD-ROM drive 905, and transferred to the hard disk 914. Instead, the program may be transmitted to the computer 901 via a network (not shown) and stored in the hard disk 914. The program is loaded into the RAM 913 when executed. The program may be loaded directly from the CD-ROM 921 or the network.

プログラムは、コンピュータ901に、上記実施の形態による携帯情報端末の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。   The program does not necessarily include an operating system (OS) or a third-party program that causes the computer 901 to execute the functions of the portable information terminal according to the above embodiment. The program may include only a part of an instruction that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 900 operates is well known and will not be described in detail.

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。   The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.

以上のように、本発明にかかる携帯情報端末等は、物品に対する作業を支援する携帯情報端末等として適しており、特に、取得対象となる物品の位置を示す携帯情報端末等として有用である。   As described above, the portable information terminal or the like according to the present invention is suitable as a portable information terminal or the like that supports work on an article, and is particularly useful as a portable information terminal or the like that indicates the position of an article to be acquired.

1 携帯情報端末
101 受付部
102 撮影部
103 識別子格納部
104 判断部
105 表示部
106 取得判断部
107 出力部
108 ヘッドマウントディスプレイ
DESCRIPTION OF SYMBOLS 1 Portable information terminal 101 Reception part 102 Image | photographing part 103 Identifier storage part 104 Judgment part 105 Display part 106 Acquisition judgment part 107 Output part 108 Head mounted display

Claims (10)

取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、
物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、
前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、
前記判断部が、前記受付部が受け付けた物品識別子と一致すると判断した場合に、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部とを備えた携帯情報端末。
A receiving unit that receives one or more article identifiers that are identifiers of articles to be acquired;
A photographing unit that obtains a photographed image obtained by photographing an area including one or more codes associated with an article identifier of the article, the code being arranged at a position corresponding to the article;
A determination unit that acquires an article identifier of an article associated with one or more codes in the captured image and determines whether the acquired article identifier matches any one of the article identifiers received by the reception unit When,
When the determination unit determines that it matches the article identifier received by the reception unit, the article corresponding to the code is the acquisition target article at a position corresponding to the code corresponding to the matching article identifier. A portable information terminal comprising: a display unit that displays acquisition notification information that is information indicating the information.
前記受付部は、二以上の物品識別子を受け付け、
前記撮影部は、二以上のコードを含む領域を撮影した撮影画像を取得し、
前記判断部は、前記撮影画像内の二以上の各コードに対応づけられた物品の物品識別子を取得し、取得した物品識別子のそれぞれについて、前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断し、
前記表示部は、前記判断部が、前記撮影画像内の二以上のコードに対応づけられた物品の物品識別子のそれぞれが、前記受付部が受け付けた物品識別子のいずれか一つと一致すると判断した場合に、当該一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、前記取得通知情報を表示する請求項1記載の携帯情報端末。
The reception unit receives two or more article identifiers,
The photographing unit obtains a photographed image obtained by photographing a region including two or more codes,
The determination unit acquires an article identifier of an article associated with each of two or more codes in the photographed image, and each of the acquired article identifiers matches one of the article identifiers received by the receiving unit. Decide whether or not to
The display unit, when the determination unit determines that each of the article identifiers of the articles associated with two or more codes in the captured image matches any one of the article identifiers received by the reception unit The portable information terminal according to claim 1, wherein the acquisition notification information is displayed at a position corresponding to a code corresponding to each of the two or more matching article identifiers.
前記受付部は、前記物品識別子に対応づけられた数量を更に受け付け、
前記表示部は、前記受付部が受け付けた数量のうちの、前記判断部が一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として表示する請求項1または請求項2記載の携帯情報端末。
The reception unit further receives a quantity associated with the article identifier;
The said display part displays the quantity matched with the article | item identifier determined that the said judgment part corresponds among the quantities received by the said reception part as said acquisition notification information. Mobile information terminal.
前記表示部は、前記受付部が受け付けた数量のうちの、前記判断部が一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として、前記撮影画像が撮影された領域内の当該物品識別子と対応するコード上の位置に表示する請求項3記載の携帯情報端末。 The display unit uses, as the acquisition notification information, a quantity associated with an article identifier determined to be the same among the quantities received by the reception unit in the area where the captured image is captured. The portable information terminal according to claim 3, wherein the portable information terminal is displayed at a position on a code corresponding to the article identifier. 前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品がユーザにより取り出されたか否かを、前記撮影部が取得した撮影画像を用いて判断する取得判断部と、
前記取得判断部の判断結果に応じた出力を行う出力部とを備えた請求項1から請求項4いずれか一項記載の携帯情報端末。
It is determined using the captured image acquired by the imaging unit whether or not the user has taken out the article indicated by the code associated with the article identifier determined by the determination unit when it matches the article identifier received by the reception unit. An acquisition determination unit to
The portable information terminal according to claim 1, further comprising: an output unit that performs output according to a determination result of the acquisition determination unit.
前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品が、前記受付部が受け付けた当該物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、前記撮影部が取得した撮影画像を用いて判断する取得判断部と、
前記取得判断部の判断結果に応じた出力を行う出力部とを備えた請求項3または請求項4記載の携帯情報端末。
The article indicated by the code associated with the article identifier determined by the determination unit when it matches the article identifier received by the reception unit is acquired by the user in a quantity corresponding to the article identifier received by the reception unit. An acquisition determination unit that determines whether or not it has been performed using a captured image acquired by the imaging unit;
The portable information terminal according to claim 3, further comprising: an output unit that performs output according to a determination result of the acquisition determination unit.
前記取得判断部は、前記撮影部が撮影した撮影画像において手を検出し、当該検出した手を用いて、物品がユーザにより取得されたか否かを判断する請求項5または請求項6記載の携帯情報端末。 7. The mobile phone according to claim 5, wherein the acquisition determination unit detects a hand in the captured image captured by the imaging unit, and determines whether or not the article has been acquired by the user using the detected hand. Information terminal. ヘッドマウントディスプレイを更に備えており、
前記表示部は、前記ヘッドマウントディスプレイに前記取得通知情報を表示し、
前記撮影部は、前記ヘッドマウントディスプレイの前方方向が撮影領域となるよう配置されている請求項1から請求項6記載の携帯情報端末。
It is further equipped with a head mounted display,
The display unit displays the acquisition notification information on the head mounted display,
The portable information terminal according to claim 1, wherein the photographing unit is arranged such that a front direction of the head mounted display is a photographing region.
受付部と、撮影部と、判断部と、表示部とを用いて行われる情報処理方法であって、
前記受付部が、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付ステップと、
前記撮影部が、物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影ステップと、
前記判断部が、前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付ステップで受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断ステップと、
前記判断ステップにおいて、前記受付ステップで受け付けた物品識別子と一致すると判断した場合に、前記表示部が、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示ステップとを備えた情報処理方法。
An information processing method performed using a reception unit, a photographing unit, a determination unit, and a display unit,
A receiving step in which the receiving unit receives one or more article identifiers that are identifiers of articles to be acquired;
A photographing step in which the photographing unit obtains a photographed image obtained by photographing an area including one or more codes associated with an article identifier of the article, which is a code arranged at a position corresponding to the article;
Whether the determination unit acquires an article identifier of an article associated with one or more codes in the photographed image, and whether the acquired article identifier matches any one of the article identifiers received in the receiving step A determination step for determining
In the determination step, when it is determined that the article identifier matches with the article identifier received in the reception step, the display unit displays the article corresponding to the code at the position corresponding to the code corresponding to the matching article identifier. An information processing method comprising: a display step of displaying acquisition notification information that is information indicating that the article is a product.
コンピュータを、
取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、
物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、
前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、
前記判断部が、前記受付部が受け付けた物品識別子と一致すると判断した場合に、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部として機能させるためのプログラム。
Computer
A receiving unit that receives one or more article identifiers that are identifiers of articles to be acquired;
A photographing unit that obtains a photographed image obtained by photographing an area including one or more codes associated with an article identifier of the article, the code being arranged at a position corresponding to the article;
A determination unit that acquires an article identifier of an article associated with one or more codes in the captured image and determines whether the acquired article identifier matches any one of the article identifiers received by the reception unit When,
When the determination unit determines that it matches the article identifier received by the reception unit, the article corresponding to the code is the acquisition target article at a position corresponding to the code corresponding to the matching article identifier. The program for functioning as a display part which displays the acquisition notification information which is information which shows.
JP2014182364A 2014-09-08 2014-09-08 Portable information terminal, information processing method, and program Active JP6386311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014182364A JP6386311B2 (en) 2014-09-08 2014-09-08 Portable information terminal, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014182364A JP6386311B2 (en) 2014-09-08 2014-09-08 Portable information terminal, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2016055954A true JP2016055954A (en) 2016-04-21
JP6386311B2 JP6386311B2 (en) 2018-09-05

Family

ID=55757301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014182364A Active JP6386311B2 (en) 2014-09-08 2014-09-08 Portable information terminal, information processing method, and program

Country Status (1)

Country Link
JP (1) JP6386311B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018002330A (en) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 System, information processor, information processing method, and program
JP2018002331A (en) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 System, information processor, information processing method, and program
WO2018146959A1 (en) * 2017-02-10 2018-08-16 新日鉄住金ソリューションズ株式会社 System, information processing device, information processing method, program, and recording medium
US20180294898A1 (en) * 2017-04-05 2018-10-11 Cisco Technology, Inc. Remote radio head reciprocity calibration
CN109789972A (en) * 2016-12-07 2019-05-21 新日铁住金系统集成株式会社 System, information processing unit, information processing method, program and recording medium
US10498468B2 (en) 2016-03-18 2019-12-03 Fujitsu Limited Base station, wireless communication system, and calibration method of wireless communication system
JP2020086660A (en) * 2018-11-19 2020-06-04 ワム・システム・デザイン株式会社 Information processing apparatus, information processing method, and program
JP2022096757A (en) * 2020-12-18 2022-06-30 Necフィールディング株式会社 Inventory management device, inventory management system, inventory management method and inventory management program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014065595A (en) * 2012-09-27 2014-04-17 Teraoka Seiko Co Ltd Picking system
JP5492333B1 (en) * 2013-07-26 2014-05-14 株式会社Windy Drug picking support system using display
JP2014122075A (en) * 2012-06-29 2014-07-03 Toyo Kanetsu Solutions Kk Supporting system for article picking operation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014122075A (en) * 2012-06-29 2014-07-03 Toyo Kanetsu Solutions Kk Supporting system for article picking operation
JP2014065595A (en) * 2012-09-27 2014-04-17 Teraoka Seiko Co Ltd Picking system
JP5492333B1 (en) * 2013-07-26 2014-05-14 株式会社Windy Drug picking support system using display

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498468B2 (en) 2016-03-18 2019-12-03 Fujitsu Limited Base station, wireless communication system, and calibration method of wireless communication system
JP2018002331A (en) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 System, information processor, information processing method, and program
JP2018002330A (en) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 System, information processor, information processing method, and program
CN109789972A (en) * 2016-12-07 2019-05-21 新日铁住金系统集成株式会社 System, information processing unit, information processing method, program and recording medium
CN109789972B (en) * 2016-12-07 2020-12-15 日铁系统集成株式会社 System, information processing device, information processing method, program, and recording medium
CN109791648A (en) * 2017-02-10 2019-05-21 新日铁住金系统集成株式会社 System, information processing unit, information processing method, program and recording medium
JPWO2018146959A1 (en) * 2017-02-10 2019-02-14 新日鉄住金ソリューションズ株式会社 System, information processing apparatus, information processing method, program, and recording medium
WO2018146959A1 (en) * 2017-02-10 2018-08-16 新日鉄住金ソリューションズ株式会社 System, information processing device, information processing method, program, and recording medium
US20180294898A1 (en) * 2017-04-05 2018-10-11 Cisco Technology, Inc. Remote radio head reciprocity calibration
JP2020086660A (en) * 2018-11-19 2020-06-04 ワム・システム・デザイン株式会社 Information processing apparatus, information processing method, and program
JP7209280B2 (en) 2018-11-19 2023-01-20 ワム・システム・デザイン株式会社 Information processing device, information processing method, and program
JP2022096757A (en) * 2020-12-18 2022-06-30 Necフィールディング株式会社 Inventory management device, inventory management system, inventory management method and inventory management program
JP7302884B2 (en) 2020-12-18 2023-07-04 Necフィールディング株式会社 Inventory control device, inventory control system, inventory control method and inventory control program

Also Published As

Publication number Publication date
JP6386311B2 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
JP6386311B2 (en) Portable information terminal, information processing method, and program
JP6441932B2 (en) Eye level scanner and display pointer tracking
US10021287B2 (en) Imaging control device, imaging device, imaging control method, and program for transmitting an imaging preparation command, receiving a preparation completion command, and transmitting a captured image acquisition command
TWI611718B (en) Method for operating a mobile computing device to control smart devices
EP3635610B1 (en) Data collection systems and methods to capture images of and decode information from machine-readable symbols
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
US11328144B2 (en) Auxiliary data management system
CA2939753C (en) Image acquisition using a level-indication icon
WO2016152891A1 (en) Image processing device, image processing method, and program
US20240143122A1 (en) Systems and Methods for Enhancing Image Content Captured by a Machine Vision Camera
US10402881B2 (en) Methods and systems for identifying a replacement motor
KR101613355B1 (en) System for providing information using subject and method thereof
JP6500358B2 (en) Colony detection system, colony detection method, and program
JP2009196805A (en) Article management system, virtual management server, radio communication terminal, article managing method, program, and recording medium
JP6712861B2 (en) Information processing device, information processing method, and program
US11276326B2 (en) System, information processing device, information processing method, program, and recording medium
JP2016038682A (en) Information processing apparatus and control method of the same, server device and control method of the same, and computer program
JP7398184B1 (en) Video provision system, video provision method, and video provision program
US20180063471A1 (en) Adjusting times of capture of digital images
JP6291936B2 (en) Image management server, image management method, program, and captured image management system
EP3700189B1 (en) Mobile phone vertical capture mode
US20230281795A1 (en) Inspection system, inspection method, and non-transitory recording medium
KR101589379B1 (en) System for providing information using subject and method thereof
WO2024018974A1 (en) Information processing method, information processing device, and information processing program
JP2018060498A (en) Code reading device, code reading method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180809

R150 Certificate of patent or registration of utility model

Ref document number: 6386311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250