JP2015024899A - Medicine picking support system using display - Google Patents

Medicine picking support system using display Download PDF

Info

Publication number
JP2015024899A
JP2015024899A JP2013155431A JP2013155431A JP2015024899A JP 2015024899 A JP2015024899 A JP 2015024899A JP 2013155431 A JP2013155431 A JP 2013155431A JP 2013155431 A JP2013155431 A JP 2013155431A JP 2015024899 A JP2015024899 A JP 2015024899A
Authority
JP
Japan
Prior art keywords
drug
storage unit
medicine
storage
related information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013155431A
Other languages
Japanese (ja)
Other versions
JP5492333B1 (en
Inventor
中村 行延
Yukinobu Nakamura
行延 中村
洋 稲葉
Hiroshi Inaba
洋 稲葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WINDY KK
Original Assignee
WINDY KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WINDY KK filed Critical WINDY KK
Priority to JP2013155431A priority Critical patent/JP5492333B1/en
Application granted granted Critical
Publication of JP5492333B1 publication Critical patent/JP5492333B1/en
Publication of JP2015024899A publication Critical patent/JP2015024899A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a medicine picking support system capable of informing an operator of detailed medicine-related information of brand, efficacy and the number of stock, etc. of a medicine for which an operator performs the picking, previously or simultaneously.SOLUTION: A medicine picking support system using a display includes: recording means for recording data regarding respective storage parts in a medicine storage shelf and data regarding medicines respectively stored in respective storage parts; distance image obtaining means for obtaining a distance image of a hand of an operator existing on the front side of the storage shelf; medicine-related information obtaining means for obtaining information related to a medicine stored in the storage part to which the hand of the operator is opposed or extended, based on the distance image and three-dimensional position data of the respective storage parts; and display control means for displaying the obtained medicine-related information on the display located in the vicinity of the storage shelf.

Description

本発明は調剤薬局などにおける薬剤ピッキングを支援するシステムであって、特にディスプレイを使用した薬剤ピッキング支援システムに関する。   The present invention relates to a system for supporting drug picking in a dispensing pharmacy or the like, and more particularly to a drug picking support system using a display.

従来より、調剤薬局などにおいて、薬剤のピッキングが処方箋に従って正しく行われたかどうかを検査するためなどの薬剤ピッキング支援システムが提案されている。例えば、特許文献1では、薬剤師が薬剤をピッキングした後に検査人がピッキングされた薬剤が入っているPTPシートを取り出して、該PTPシートのバーコードなどが記載された印刷面を撮像及び画像認識し、該PTPシートの薬剤の名称やIDを取得し、該ピッキングされた薬剤が処方箋内容と適合しているかどうかをチェックして調剤ミスを防止するシステムが提案されている。   2. Description of the Related Art Conventionally, in a dispensing pharmacy or the like, a drug picking support system for inspecting whether drug picking has been correctly performed according to a prescription has been proposed. For example, in Patent Document 1, after a pharmacist picks a medicine, an inspector takes out a PTP sheet containing the picked medicine, and captures and recognizes a printing surface on which the barcode of the PTP sheet is described. A system has been proposed in which the name or ID of a drug on the PTP sheet is acquired, and whether or not the picked drug matches the prescription content to prevent dispensing errors.

特開2004−167158号公報JP 2004-167158 A

しかしながら、上記特許文献1が提案する調剤ミス防止等のためのシステムでは、薬剤師が薬剤をピッキングした後に検査人がピッキングされた複数のPTPシートをいちいち取り出してそのバーコードなどが表示された印刷面を撮像し画像認識するようにしているため、薬剤師によるピッキング動作の後にPTPシート印刷面の読取りや画像認識などの手間や時間が余分に必要になり患者が調剤された薬剤を受け取るまでの待ち時間が長くなってしまう、PTPシートの印刷面の読取装置やその読み取った画像から薬品名などを得る画像認識処理装置などを備えるために多くのコストが掛かってしまうなどの問題があった。   However, in the system for preventing dispensing mistakes proposed by the above-mentioned Patent Document 1, after the pharmacist picks the medicine, the inspector picks up a plurality of PTP sheets picked up one by one and displays the barcode or the like. Since the image is recognized and the image is recognized, waiting time until the patient receives the dispensed medicine is required after the picking operation by the pharmacist, and extra time and time such as reading of the printed surface of the PTP sheet and image recognition are required. However, there is a problem that a lot of cost is required for providing a reading device for a printing surface of a PTP sheet and an image recognition processing device for obtaining a medicine name from the read image.

さらに、従来は、薬剤師は、これから収容棚中の収容部(収容箱)から薬剤をピッキングしようとするとき、前記各収容部から取り出したPTPシートの印刷面の文字などを見て薬剤の名称や内容などを確認するしかなかったため、薬剤師は、これから手を入れて取り出そうとする収容部内の薬剤の効能、副作用、対応ジェネリック製品、又は在庫数などの詳細な関連情報を事前に(又はピッキングと同時並行的に)容易に知ることができないという問題があった。   Furthermore, conventionally, when a pharmacist tries to pick a medicine from a storage unit (storage box) in a storage shelf, the name of the drug or the name of the drug is determined by looking at the characters on the printed surface of the PTP sheet taken out from each storage unit. Since there was no choice but to confirm the contents etc., the pharmacist would like to know in advance (or at the same time as picking) detailed related information such as the efficacy, side effects, corresponding generic products, or stock quantity of the medicine in the containment section to be handed out. There was a problem that it was not easy to know in parallel).

本発明は、このような従来技術の問題点に着目してなされたものであって、作業者がこれからピッキングしようとする又は現在ピッキングしている薬剤についてその銘柄、効能、副作用、製薬会社名、対応ジェネリック製品、又は在庫数などの薬剤関連情報(薬剤の銘柄等の識別情報及び効能等の属性情報)を事前に又は同時並行的に容易に知ることができる、薬剤ピッキング支援システムを提供することを目的とする。   The present invention has been made paying attention to such problems of the prior art, and the brand, efficacy, side effects, pharmaceutical company name, and the name of the pharmaceutical company that the operator is about to pick or is currently picking, To provide a drug picking support system capable of easily knowing in advance or concurrently, corresponding generic products or drug-related information such as the number of stocks (identification information such as drug brands and attribute information such as efficacy) With the goal.

以上のような課題を解決するための本発明によるディスプレイを使用した薬剤ピッキング支援システムの一例を図1A(a)の概念ブロック図を参照して説明すると、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚100(複数個の収納棚が組み合わされたものを含む)と、前記収容棚100中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤に関するデータ(少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む)とを互いに対応付けて記録する収納部対薬剤関連情報記録部101と、少なくとも前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得部102と、前記距離画像取得部102からの距離画像と前記収納部対薬剤関連情報記録部101に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」に収容されている薬剤の関連情報を取得する薬剤関連情報取得部103と、前記収容棚100の近傍に位置するディスプレイ105(携帯型又は身体装着型のディスプレイでもよい)と、前記薬剤関連情報取得部103により取得された薬剤関連情報を前記ディスプレイ105に表示させる表示制御部104と、を備えたものである。   An example of a drug picking support system using the display according to the present invention for solving the above-described problems will be described with reference to the conceptual block diagram of FIG. 1A (a). Alternatively, a storage shelf 100 (including a combination of a plurality of storage shelves) in which storage units that are stored by brand are arranged in the vertical and horizontal directions, and data on each storage unit in the storage shelf 100 ( A storage unit that records at least three-dimensional position data of each storage unit) and data related to a drug stored in each storage unit (including at least drug-related information such as drug efficacy or inventory number) in association with each other Drug-related information recording unit 101, distance image acquisition unit 102 that acquires at least a distance image of an operator's hand in front of the storage shelf, and the distance image Based on the distance image from the acquisition unit 102 and the three-dimensional position data of each storage unit recorded in the storage unit-drug-related information recording unit 101, “corresponding to the three-dimensional position of the operator's hand, Drug-related information acquisition unit 103 that acquires information related to a drug stored in a storage unit facing or extending a person's hand, and a display 105 (portable or body-mounted) located in the vicinity of the storage shelf 100 And a display control unit 104 that displays the medicine-related information acquired by the medicine-related information acquisition unit 103 on the display 105.

また、本発明によるディスプレイを使用した薬剤ピッキング支援システムの他の例を図1A(b)の概念ブロック図を参照して説明すると、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚100(複数個の収納棚が組み合わされたものを含む)と、前記収容棚100中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤の識別データとを互いに対応付けて記録する収納部対薬剤識別データ記録部111と、各薬剤の識別データとその効能又は在庫数などの薬剤関連情報とを互いに対応付けて記録しておく薬剤関連情報記録部112と、少なくとも前記収容棚100の前方に居る作業者の手の距離画像を取得する距離画像取得部113と、前記距離画像取得部113からの距離画像と前記収納部対薬剤識別データ記録部111に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」又はそれに収容されている薬剤を特定する収容部等特定部114と、前記収容部等特定部114により特定された収容部又は薬剤のデータに基づいて、前記薬剤関連情報記録部112から、前記作業者の手が対向し又は伸びている収容部に収容された薬剤の関連情報を取得する薬剤関連情報取得部115と、前記収容棚100の近傍に位置するディスプレイ117(携帯型又は身体装着型のディスプレイでもよい)と、前記薬剤関連情報取得部115により取得された薬剤関連情報を前記ディスプレイ117に表示させる表示制御部116と、を備えたものである。   In addition, another example of the drug picking support system using the display according to the present invention will be described with reference to the conceptual block diagram of FIG. 1A (b). A plurality of types or brands of drugs are accommodated for each type or brand. A storage shelf 100 in which the storage units are arranged in the vertical and horizontal directions (including a combination of a plurality of storage shelves), and data on each storage unit in the storage shelf 100 (at least 3 of each storage unit) Storage unit-to-drug identification data recording unit 111 that records the identification data of each drug stored in each storage unit in association with each other, the identification data of each drug, its efficacy, or the number of stocks, etc. The medicine-related information recording unit 112 that records the medicine-related information in association with each other and the distance image of the hand of the worker who is at least in front of the storage shelf 100 is acquired. Based on the distance image acquisition unit 113, the distance image from the distance image acquisition unit 113, and the three-dimensional position data of each storage unit recorded in the storage unit vs. drug identification data recording unit 111. The storage unit corresponding to the three-dimensional position of the hand, that is, the storage unit facing or extending the operator's hand, or the storage unit specifying unit 114 specifying the medicine stored therein, and the storage unit specifying unit 114 Drug-related information for acquiring, from the drug-related information recording unit 112, information related to the drug stored in the storage unit facing or extending the operator's hand from the specified storage unit or drug data An acquisition unit 115, a display 117 (may be a portable or body-mounted display) located in the vicinity of the storage shelf 100, and a drug acquired by the drug-related information acquisition unit 115 A display control unit 116 for displaying the communication information on the display 117, those having a.

本発明の図1A(a)に示す例においては、前記薬剤関連情報取得部103が、距離画像取得部102からの距離画像と収納部対薬剤関連情報記録部101に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」に収容されている薬剤の関連情報(識別情報及び属性情報)を取得し、前記表示制御部104が、前記取得された薬剤関連情報を収容棚100に又はその近傍に配置されたディスプレイ105に表示させるようにしている。   In the example shown in FIG. 1A (a) of the present invention, the medicine related information acquisition unit 103 includes a distance image from the distance image acquisition unit 102 and each storage unit recorded in the storage unit / drug related information recording unit 101. Based on the three-dimensional position data, the related information (identification information and the information stored in the container corresponding to the three-dimensional position of the worker's hand, that is, the container in which the worker's hand is facing or extending) is stored. Attribute information) is acquired, and the display control unit 104 displays the acquired drug-related information on the storage shelf 100 or on the display 105 arranged in the vicinity thereof.

また本発明の図1A(b)に示す例においては、前記収容部等特定部114が、距離画像取得部113からの距離画像と収納部対薬剤識別データ記録部111に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」又はそれに収容されている薬剤を特定し、薬剤関連情報取得部115が、前記収容部等特定部114により特定された収容部又は薬剤のデータに基づいて、前記薬剤関連情報記録部112から、前記作業者の手が対向し又は伸びている収容部に収容された薬剤の関連情報(識別情報及び属性情報)を取得し、前記表示制御部116が、前記取得された薬剤関連情報を収容棚100に又はその近傍に配置されたディスプレイ117に表示させるようにしている。   Further, in the example shown in FIG. 1A (b) of the present invention, the storage unit or the like specifying unit 114 has each storage unit recorded in the distance image from the distance image acquisition unit 113 and the storage unit versus medicine identification data recording unit 111. Based on the three-dimensional position data, the “accommodating portion corresponding to the three-dimensional position of the worker's hand, that is, the accommodating portion where the operator's hand is facing or extending” or the medicine accommodated therein is specified, and the medicine A storage in which the operator's hand is facing or extending from the medicine-related information recording unit 112 based on the data of the storage part or medicine specified by the specifying part 114 such as the storage part. The related information (identification information and attribute information) of the medicine stored in the section is acquired, and the display control section 116 displays the acquired medicine related information on the display 117 arranged in the storage shelf 100 or in the vicinity thereof. And so as to.

したがって、上記の本願各発明(図1A(a)又は(b)参照)によれば、作業者は、薬剤ピッキング作業中に、例えば目的とする薬剤が収容されている(であろう)収容部の方に手を伸ばし又は伸ばそうとするだけで、自らがこれからピッキングしようとしている又は現在ピッキングしている収容部内の薬剤の銘柄、効能、副作用、製薬会社名、対応ジェネリック製品、又は在庫数などの詳細な薬剤関連情報(薬剤の銘柄等の識別情報及び効能等の属性情報)を画面で目視することができる。よって、上記の本願各発明によれば、作業者は、収容部から薬剤を取り出す直前に(又は収容部からの薬剤の取り出し動作と同時並行的に)当該収容部内の薬剤の詳細な内容等を確認することができるので、薬剤ピッキング作業をより容易に且つ効率化し、ピッキング作業ミスをより低減させることができる。   Therefore, according to the inventions of the present application (see FIG. 1A (a) or (b)), the worker can, for example, contain the intended medicine during the medicine picking operation. Just trying to reach or reach the person, such as the brand, efficacy, side effects, name of the pharmaceutical company, the corresponding generic product, or the number of stocks in the containment that you are about to pick or are currently picking Detailed drug-related information (identification information such as drug brand and attribute information such as efficacy) can be visually observed on the screen. Therefore, according to each of the inventions of the present application, the operator can view the detailed contents of the medicine in the container immediately before taking out the medicine from the container (or in parallel with the medicine removal operation from the container). Since it can be confirmed, the drug picking operation can be performed more easily and efficiently, and mistakes in the picking operation can be further reduced.

(a)及び(b)はそれぞれ本発明に係るディスプレイを使用した薬剤ピッキング支援システムの一例を説明するための概念ブロック図である。(A) And (b) is a conceptual block diagram for demonstrating an example of the chemical | medical agent picking assistance system using the display which concerns on this invention, respectively. 本発明の実施形態1に係る薬剤ピッキング支援システムの構成とを示す概略図である。It is the schematic which shows the structure of the chemical | medical agent picking assistance system which concerns on Embodiment 1 of this invention. 本実施形態1の動作を説明するための概略図である。FIG. 5 is a schematic diagram for explaining the operation of the first embodiment. 本実施形態1の動作を説明するための概略図である。FIG. 5 is a schematic diagram for explaining the operation of the first embodiment. 本実施形態1の動作を説明するための概略図である。FIG. 5 is a schematic diagram for explaining the operation of the first embodiment. 本実施形態1の動作を説明するための概略図である。FIG. 5 is a schematic diagram for explaining the operation of the first embodiment. 本発明の実施形態2に係る薬剤ピッキング支援システムの構成を示す概略図である。It is the schematic which shows the structure of the chemical | medical agent picking assistance system which concerns on Embodiment 2 of this invention. 本実施形態2の動作を説明するための概略図である。It is the schematic for demonstrating the operation | movement of this Embodiment 2. FIG.

[実施形態1]
以下、本発明の実施の形態1を図面を用いて説明する。図1Bは、本発明の実施形態1に係る薬剤ピッキング支援システムの構成を示す概略図である。図1Bにおいて、1は各薬剤をその種類又は銘柄毎に収容する各収容部2を上下及び左右方向に並べて成る収容棚、3は薬剤師10が処方箋に基づいてピッキングした薬剤を載置するための載置籠、4は前記載置籠3などを置くための作業台、5は前記収容棚1の上方に配置されたディスプレイ、6は前記載置籠3及びその中に入れられた薬剤などのRGB画像を取得する可視光カメラ、7は前記収容棚1の近傍(例えば上方)に配置され薬剤師10の手10a及びその周辺(載置籠3などを含んでもよい)の距離画像を取得する距離画像センサである(なお本実施形態1では、前記可視光カメラ6と距離画像センサ7は実際には図1Bの奥行き方向に並べられているが、図1Bでは図示の便宜上、左右に並べて図示している)。
[Embodiment 1]
Embodiment 1 of the present invention will be described below with reference to the drawings. FIG. 1B is a schematic diagram illustrating a configuration of a drug picking support system according to Embodiment 1 of the present invention. In FIG. 1B, 1 is a storage shelf in which each storage part 2 that stores each drug for each type or brand is arranged in the vertical and horizontal directions, and 3 is for mounting a drug picked by a pharmacist 10 based on a prescription. A mounting table 4 is a work table for placing the mounting table 3 described above, 5 is a display disposed above the storage shelf 1, 6 is a mounting table 3 and a medicine placed therein A visible light camera 7 that acquires RGB images, 7 is a distance that is disposed in the vicinity (for example, above) of the storage shelf 1 and that acquires a distance image of the hand 10a of the pharmacist 10 and its surroundings (which may include the placement basket 3). In the first embodiment, the visible light camera 6 and the distance image sensor 7 are actually arranged in the depth direction of FIG. 1B, but in FIG. 1B, they are shown side by side for convenience of illustration. ing).

本実施形態1では、図1Bの可視光カメラ6及び距離画像センサ7は、米マイクロソフト社製「Kinect for Windows」(登録商標。以下「Kinect」と略す。)に備えられたものを使用している。Kinectは、周囲のカラー画像を取得するRGBカメラ、周囲に所定の赤外線ドットパターンを照射する赤外線プロジェクタ、及び前記照射された赤外線の反射光を撮像する赤外線カメラを備えており、また、前記赤外線カメラからのデータ(距離画像)に基づいて膨大なサンプル画像との比較から身体の骨格部位を推定、追跡する処理などを行うプロセッサを内蔵している。これらの中、前記RGBカメラが図1Bの可視光カメラ6を、前記赤外線プロジェクタ及び赤外線カメラが図1Bの距離画像センサ7を、前記プロセッサが図1Bの制御部11の一部を構成している。図1Bの距離画像センサ7は、所定パターンで赤外線を照射し、その反射光を赤外線カメラで撮像することにより、画素毎の奥行き情報(深度情報)を含む距離画像を毎フレームごとに取得するものである。   In the first embodiment, the visible light camera 6 and the distance image sensor 7 of FIG. 1B are provided using “Kinect for Windows” (registered trademark; hereinafter referred to as “Kinect”) manufactured by Microsoft Corporation. Yes. Kinect includes an RGB camera that acquires a surrounding color image, an infrared projector that irradiates a predetermined infrared dot pattern to the periphery, and an infrared camera that captures the reflected light of the irradiated infrared, and the infrared camera It incorporates a processor that performs processing to estimate and track the skeletal part of the body based on comparison with a vast number of sample images based on data (distance images). Among these, the RGB camera constitutes the visible light camera 6 in FIG. 1B, the infrared projector and the infrared camera constitute the distance image sensor 7 in FIG. 1B, and the processor constitutes a part of the control unit 11 in FIG. 1B. . The distance image sensor 7 in FIG. 1B obtains a distance image including depth information (depth information) for each pixel for each frame by irradiating infrared rays in a predetermined pattern and capturing the reflected light with an infrared camera. It is.

次に、図1Bにおいて、11は前記ディスプレイ5を制御し、前記可視光カメラ6を制御し且つそれが取得した画像データを受信、記録し、前記距離画像センサ7を制御し且つそれが取得した距離画像データを受信、記録する制御部(パソコンなどで構成される)である。また、12は前記可視光カメラ6が例えば所定時間毎に取得した前記載置籠3の画像を例えば取得日時などと関連付けて逐次記録、蓄積する籠画像蓄積部、13は前記距離画像センサ7が例えば所定時間毎に取得した薬剤師10の手の3次元位置データを例えば取得日時などと関連付けて逐次記録、蓄積する手位置データ蓄積部、14は前記Kinectを使用して作成した前記収容棚1の各収容部2の3次元位置範囲(距離画像に基づく座標から、x座標○〜●,y座標△〜▲,z座標□〜■を各収容部別に羅列したもの)と各収容部2に収容されている薬剤の識別データ(銘柄・名称などを含む)を互いに対応付けて記録した収納部対薬剤データベース、15は各薬剤の識別データ(銘柄・名称などを含む)とその効能、副作用、代替品(ジェネリック製品)、又は在庫数などの関連情報(属性情報)を互いに対応付けて記録した薬剤関連データベースである。   Next, in FIG. 1B, 11 controls the display 5, controls the visible light camera 6 and receives and records the image data acquired by it, controls the distance image sensor 7 and acquires it. A control unit (comprising a personal computer or the like) that receives and records the distance image data. Reference numeral 12 denotes an eaves image storage unit that sequentially records and stores the images of the above-described installation cage 3 acquired by the visible light camera 6 at predetermined time intervals, for example, in association with the acquisition date and time, for example, and 13 denotes the distance image sensor 7. For example, the hand position data storage unit 14 that sequentially records and stores the three-dimensional position data of the hand of the pharmacist 10 acquired every predetermined time in association with the acquisition date and the like, for example, 14 is the storage shelf 1 created using the Kinect. 3D position range of each storage unit 2 (x coordinate ○ to ●, y coordinate Δ to ▲, z coordinate □ to ■ are arranged for each storage unit from coordinates based on distance image) and storage in each storage unit 2 Storage unit vs. drug database in which identification data (including brands / names, etc.) of recorded drugs are recorded in association with each other, 15 is the identification data (including brands / names, etc.) of each drug and its efficacy, side effects, and alternatives Goods Generic products), or a drug-related database that recorded in association with each other related information (attribute information), such as inventory.

次に本実施形態1の動作を説明する。まず事前作業について説明する。事前作業としては、Kinect(可視光カメラ6及び距離画像センサ7などを含む)を、収容棚1の上方の位置であって可視光カメラ6が載置籠3を撮像可能で且つ距離画像センサ7がピッキング作業を行う薬剤師10(及び収容棚1)の距離画像を取得可能な位置に配置する。次に、Kinectの距離画像センサ7を使用して、前記収容棚1中の各収容部2のそれぞれの3次元位置範囲(x座標○〜●,y座標△〜▲,z座標□〜■を各収容部別に羅列したもの)を取得し、取得した各収容部2毎の3次元位置範囲(各3次元位置座標データ)を、各収容部2に収容されている薬剤の識別データ(名称・銘柄など)と対応付けて記録し、これにより収納部対薬剤データベース14を作成する。また、各薬剤の効能、副作用、代替品(ジェネリック製品)、又は在庫数などの関連情報(属性情報)を各薬剤の識別データと対応付けて記録した薬剤関連データベース15も予め用意しておく。   Next, the operation of the first embodiment will be described. First, preliminary work will be described. As a preliminary work, Kinect (including the visible light camera 6 and the distance image sensor 7) is positioned above the storage shelf 1 so that the visible light camera 6 can image the mounting rod 3 and the distance image sensor 7. Arranges the distance image of the pharmacist 10 (and the storage shelf 1) performing the picking work at a position where the distance image can be acquired. Next, by using the distance image sensor 7 of Kinect, the respective three-dimensional position ranges (x coordinates ◯ to ●, y coordinates △ to ▲, z coordinates □ to □) of the storage units 2 in the storage shelf 1 are determined. Obtained in each storage unit), and the acquired three-dimensional position range (each three-dimensional position coordinate data) for each storage unit 2 is used to identify the identification data (name and name) of the medicine stored in each storage unit 2 The storage unit vs. drug database 14 is created in association with the brand. In addition, a drug-related database 15 in which related information (attribute information) such as the efficacy, side effect, substitute product (generic product), or inventory quantity of each drug is recorded in association with the identification data of each drug is prepared in advance.

次に、薬剤師10がピッキング作業を行っているときにその薬剤師10により前記各収容部2から取り出された薬剤を検出・特定する動作を、図2〜4を参照して説明する。なお、図3,4において、21,22,23はそれぞれ薬剤師10により前記載置籠3上に置かれたPTPシート(薬剤が封入されている)である。   Next, an operation of detecting and specifying the medicine taken out from each storage unit 2 by the pharmacist 10 when the pharmacist 10 is performing the picking operation will be described with reference to FIGS. 3 and 4, 21, 22, and 23 are PTP sheets (containing a medicine) placed on the table 3 by the pharmacist 10.

まず、前記Kinectの可視光カメラ6は、前記載置籠3のRGB画像を例えば所定時間毎に取得する。制御部11は、この可視光カメラ6からの画像データを所定時間毎に受信し、逐次、取得日時等と関連付けて前記籠画像蓄積部12に記録・蓄積する。また、前記Kinectは、搭載した距離画像センサ7により、対象物に照射した赤外線の反射光を赤外線カメラで撮像して得た距離画像を取得し、さらに、内蔵したプロセッサ(又はこれにより駆動されるソフトウェア)により、前記取得した距離画像から、薬剤師10の手の3次元位置データを例えば所定時間毎に取得する。図1Aの制御部11は、この薬剤師10の手の3次元位置データを所定時間毎に前記Kinectより受信して逐次、取得日時等と関連付けて前記手位置データ蓄積部13に記録・蓄積する。   First, the Kinect visible light camera 6 acquires the RGB image of the table 3 described above, for example, every predetermined time. The control unit 11 receives the image data from the visible light camera 6 every predetermined time, and sequentially records / accumulates the image storage unit 12 in association with the acquisition date and time. In addition, the Kinect acquires a distance image obtained by imaging the reflected infrared light irradiated to the object with an infrared camera by the mounted distance image sensor 7, and is further driven by a built-in processor (or by this). Software), the three-dimensional position data of the hand of the pharmacist 10 is acquired, for example, every predetermined time from the acquired distance image. The control unit 11 in FIG. 1A receives the three-dimensional position data of the hand of the pharmacist 10 from the Kinect every predetermined time, and sequentially records and stores the data in the hand position data storage unit 13 in association with the acquisition date and time.

また、制御部11は、前記距離画像センサ7から所定時間毎に送信される距離画像(前記Kinectから所定時間毎に送信される薬剤師10の手の3次元位置データ)に基づいて、例えば薬剤師10の手10aと収納部2a(図2参照)との間の3次元的距離が所定距離よりも近づいたとき、薬剤師10が当該収納部2に手10aを対向し又は伸ばしたと判定する。   Further, the control unit 11, for example, based on a distance image transmitted from the distance image sensor 7 every predetermined time (three-dimensional position data of the hand of the pharmacist 10 transmitted every predetermined time from the Kinect), for example, the pharmacist 10 When the three-dimensional distance between the hand 10a and the storage unit 2a (see FIG. 2) approaches a predetermined distance, the pharmacist 10 determines that the hand 10a is opposed to or extended from the storage unit 2.

また、制御部11は、随時、前記可視光カメラ6から送信されるRGB画像をその直前のRGB画像と比較し、前記載置籠3内の画像(前記載置籠3上に置かれたモノの画像)に変化があったかどうか、具体的には、前記載置籠3上に置かれたもの(薬剤)の個数又は面積が増えたこと又は減ったことを判定する。そして、例えば、制御部11が、前回取得した画像(図3(a)参照)と今回取得した画像(図3(b)参照)とを比較し、例えば、前記載置籠3上に置かれたもの(PTPシート)の全体の面積が「増えた」と判定した場合は、今回の画像(図3(b)参照)を取得した時点の直前に前記収容棚1内の収容部2aに延びた薬剤師10の手(図2参照)の3次元位置データを、前記手位置データ蓄積部13から取得する。そして、制御部11は、この取得した3次元位置データから、前記収納部対薬剤データベース14を参照して、前記3次元位置データに対応する収納部2及びそこに収納された薬剤のデータ(識別データなど)を取得する。   Further, the control unit 11 compares the RGB image transmitted from the visible light camera 6 with the immediately preceding RGB image at any time, and compares the image in the previous table 3 (the object placed on the previous table 3). It is determined whether or not the number or area of the item (medicine) placed on the table 3 has increased or decreased. Then, for example, the control unit 11 compares the previously acquired image (see FIG. 3A) with the currently acquired image (see FIG. 3B), and is placed on the table 3 described above, for example. If it is determined that the total area of the sheet (PTP sheet) has “increased”, it extends to the storage portion 2a in the storage shelf 1 immediately before the current image (see FIG. 3B) is acquired. The three-dimensional position data of the hand of the pharmacist 10 (see FIG. 2) is acquired from the hand position data storage unit 13. Then, the control unit 11 refers to the storage unit drug database 14 from the acquired three-dimensional position data, and stores the data (identification) of the storage unit 2 corresponding to the three-dimensional position data and the drug stored therein. Data).

以上により、制御部11は、薬剤師10が前記収容棚1内の収容部2aから薬剤を取り出して載置籠3に置いたこと、及び、前記の収容部2aから取り出されて載置籠3内に置かれた薬剤(図3(a)の画像では無かったが図3(b)の画像では存在するPTPシート22)の名称・銘柄を、特定する。また、さらに新たな画像が取得されたときも、制御部11は、前回取得した画像(図3(b)参照)とその後に新たに取得された画像(図3(c)参照)とを比較して前記載置籠3上に置かれたもの(PTPシート)の例えば個数又は面積が増えたと判定された場合は、上記と同じ動作を繰り返す。   As described above, the control unit 11 causes the pharmacist 10 to take out the drug from the storage unit 2a in the storage shelf 1 and place it on the mounting basket 3, and to remove the drug from the storage unit 2a and store it in the mounting basket 3 The name and brand name of the medicine placed in (the PTP sheet 22 present in the image of FIG. 3B but not in the image of FIG. 3A) is specified. In addition, when a new image is acquired, the control unit 11 compares the previously acquired image (see FIG. 3B) with the newly acquired image (see FIG. 3C) thereafter. Then, when it is determined that, for example, the number or area of the sheets (PTP sheets) placed on the table 3 is increased, the same operation as described above is repeated.

以上の図3の動作例に示すように、本実施形態1では、載置籠3の画像が変化したとき、例えば載置籠3上の物体(薬剤)の全体の個数又は面積が増加したときは、制御部11が、その直前に取得された薬剤師10の手の3次元位置から、対応する収容部2及びその内容物としての薬剤を、「薬剤師10が収容部2aから取り出して載置籠3に入れ置いた薬剤」として、特定する。したがって、本実施形態1によるときは、現在安価に市販されているKinectを備えるだけで、薬剤師10が収容部2aから取り出して載置籠3に入れ置いた薬剤を、そのピッキング動作と同時並行的に特定することが可能になる。よって、本実施形態1によれば、患者の待ち時間を増加させないままで且つ極めて低コストで、ピッキング薬剤を特定することができるようになり、その結果、調剤ミスの防止や調剤ミスの原因究明などを効率的に実現できるようになる。   As shown in the operation example of FIG. 3 described above, in the first embodiment, when the image of the mounting rod 3 changes, for example, when the total number or area of the objects (medicine) on the mounting rod 3 increases. The control unit 11 reads the corresponding storage unit 2 and the medicine as its contents from the three-dimensional position of the hand of the pharmacist 10 acquired immediately before, “the pharmacist 10 takes out the placement unit 2a It is specified as “the drug placed in 3”. Therefore, according to the first embodiment, the pharmacist 10 removes the medicine taken out from the storage unit 2a and puts it in the placement basket 3 only in parallel with the currently available Kinect, and simultaneously with the picking operation. It becomes possible to specify. Therefore, according to the first embodiment, the picking medicine can be specified without increasing the waiting time of the patient and at a very low cost. As a result, the prevention of the dispensing mistake and the cause investigation of the dispensing mistake can be performed. Etc. can be realized efficiently.

次に、例えば、制御部11が、前回取得した画像(図4(b)参照)と今回取得した画像(図4(c)参照)とを比較し、前記載置籠3上に置かれたもの(PTPシート)の例えば個数又は面積が「減った」と判定した場合は、今回の画像(図4(c)参照)を取得した時点の直後に前記収容棚1内のいずれかの収容部2に延びた薬剤師10の手の3次元位置データを、前記手位置データ蓄積部13から取得する。そして、制御部11は、この取得した3次元位置データから、前記収納部対薬剤データベース14を参照して、前記3次元位置データに対応する収納部2及びそこに収納された薬剤のデータ(銘柄などの識別データなど)を取得する。以上により、制御部11は、薬剤師10が(例えば既に行ったピッキングの誤りに後から気が付いて)載置籠3から一つ又は複数の薬剤を取り上げて収容棚1内の対応の収容部2に戻したこと、及び前記の収容部2に戻した薬剤(図4(b)の画像では存在していたが図4(c)の画像では無くなったPTPシート22)に関する名称・銘柄を、特定する。   Next, for example, the control unit 11 compares the previously acquired image (see FIG. 4B) with the currently acquired image (see FIG. 4C), and is placed on the table 3 described above. For example, when it is determined that the number or area of the objects (PTP sheets) is “decreased”, any storage unit in the storage shelf 1 immediately after the current image (see FIG. 4C) is acquired. The three-dimensional position data of the hand of the pharmacist 10 extending to 2 is acquired from the hand position data storage unit 13. Then, the control unit 11 refers to the storage unit drug database 14 from the acquired three-dimensional position data, and stores the storage unit 2 corresponding to the three-dimensional position data and the data (brands) stored therein. Etc.). As described above, the control unit 11 causes the pharmacist 10 to pick up one or a plurality of drugs from the loading basket 3 (for example, to be aware of an error in the picking that has already been performed) and transfer it to the corresponding storage unit 2 in the storage shelf 1. The name and brand related to the returned medicine and the medicine returned to the container 2 (the PTP sheet 22 which was present in the image of FIG. 4B but is no longer the image of FIG. 4C) are specified. .

以上の図4の動作例に示すように、本実施形態1では、載置籠3上の物体(薬剤)の全体の個数又は面積が減少したときは、制御部11が、その直後に取得された薬剤師10の手の3次元位置から、対応する収容部2及びその内容物としての薬剤を、「薬剤師10が(例えば、既に行ったピッキングの誤りに気付いて)載置籠3から取り上げて収容部2に戻した薬剤」として、特定する。よって、本実施形態1によれば、「薬剤師10が(例えば、既に行ったピッキングの誤りに気付いて)載置籠3から薬剤を取り上げて収容部2に戻したこと、及びそのようにして収容部に戻した薬剤」をも特定することが可能になり、その結果、薬剤ピッキングの検査(調剤ミスの検査)や調剤ミスの原因究明などをより高精度に行えるようになる。   As shown in the operation example of FIG. 4 described above, in the first embodiment, when the total number or area of the object (medicine) on the placement basket 3 decreases, the control unit 11 is acquired immediately after that. From the three-dimensional position of the hand of the pharmacist 10, the corresponding storage unit 2 and the drug as its contents are picked up and stored from the mounting cage 3 (for example, when the pharmacist 10 notices an error in picking already performed). It is specified as “the drug returned to part 2”. Therefore, according to the first embodiment, “the pharmacist 10 (for example, notices an error in the picking that has already been performed) picks up the drug from the loading basket 3 and returns it to the storage unit 2, and stores it in that way. It is also possible to specify the “medicine returned to the department”, and as a result, it becomes possible to perform a drug picking inspection (dispensing error inspection), a cause investigation of the dispensing error, and the like with higher accuracy.

次に、本実施形態1の本発明に係る部分の動作を図5を参照して説明する。前述のように、制御部11は、前記距離画像センサ7から所定時間毎に送信される距離画像(前記Kinectから所定時間毎に送信される薬剤師10の手の3次元位置データ)に基づいて、例えば薬剤師10の手10aといずれかの収納部2aとの間の距離が所定距離よりも近づいたとき、薬剤師10が当該収納部2aに手10aを伸ばしたと判定する。そして、制御部11は、前記判定時の薬剤師10の手10aの3次元位置から、収納部対薬剤データベース14を参照して、前記手10aの3次元位置と対応する収容部2aを特定し、さらにこの収容部2aに対応する薬剤を特定する。そして、制御部11は、薬剤関連データベース15を参照して、前記特定した薬剤の関連情報(属性情報)を取得して、その関連情報をディスプレイ5に表示させる。図5はこのようにして表示されたディスプレイ5の画面の一例を示すものである。   Next, the operation of the portion of the first embodiment according to the present invention will be described with reference to FIG. As described above, the control unit 11 is based on the distance image (three-dimensional position data of the hand of the pharmacist 10 transmitted every predetermined time from the Kinect) transmitted from the distance image sensor 7 every predetermined time. For example, when the distance between the hand 10a of the pharmacist 10 and one of the storage units 2a is closer than a predetermined distance, it is determined that the pharmacist 10 has extended the hand 10a to the storage unit 2a. And the control part 11 specifies the accommodating part 2a corresponding to the three-dimensional position of the said hand 10a with reference to the accommodating part versus chemical | medical agent database 14 from the three-dimensional position of the hand 10a of the pharmacist 10 at the time of the said determination, Furthermore, the medicine corresponding to the container 2a is specified. Then, the control unit 11 refers to the drug related database 15, acquires related information (attribute information) of the specified drug, and displays the related information on the display 5. FIG. 5 shows an example of the screen of the display 5 displayed in this way.

例えば薬剤師10の10a手が収容部2−5(例えば図2の収容棚1において左から2番目で上から5番目の収容部)の近くに伸びたとき(未だ収容部2−5から内容物の薬剤は取り出していない段階)で、制御部11は、前記手10aの3次元位置から、対応する収容部2−5を特定し、前記薬剤関連データベース15を参照して、前記収容部2−5内に収容されている薬剤の関連情報を取得する。そして、これをディスプレイ5に送信し、例えば「収容部2−5 アーチスト10mg 血圧硬化剤 ジェネリックはカルベジロール錠 収容部2−1に在庫有り」と表示させる。これにより、薬剤師10は、今から自分が取り出そうとしている収容部2−5内の内容物(薬剤)の関連情報(銘柄等の識別情報と効能等の属性情報)を見て、今から自分が取り出そうとしている(又は現在取り出しつつある)薬剤が処方箋の内容と適合しているかどうかを容易に確認することができるので、薬剤ピッキング作業をより容易にし、かつ効率化し、ピッキング作業ミスをより低減させることができる。   For example, when the hand 10a of the pharmacist 10 extends close to the storage unit 2-5 (for example, the second storage unit from the left and the fifth storage unit from the top in the storage rack 1 of FIG. 2) (the contents are still from the storage unit 2-5) The control unit 11 identifies the corresponding storage unit 2-5 from the three-dimensional position of the hand 10a, and refers to the drug-related database 15, so that the storage unit 2- The related information of the medicine accommodated in 5 is acquired. Then, this is transmitted to the display 5 to display, for example, “accommodating section 2-5 artist 10 mg blood pressure sclerosing agent generic is in stock in carvedilol tablet accommodating section 2-1.” As a result, the pharmacist 10 looks at the relevant information (identification information such as brands and attribute information such as efficacy) of the contents (medicine) in the container 2-5 that he is about to take out. Makes it easier and more efficient to make sure that the drug you are about to take out (or are currently taking out) is compatible with the contents of the prescription. Can be reduced.

[実施形態2]
次に図6,7を参照して本発明の実施形態2の構成及び動作を説明する。図6,7において図1B,図2と共通する部分は同一の符号を付して説明を省略する。図6において、符号24は、複数の各薬剤師が同時にピッキング作業を行った場合等における各薬剤師のID又は氏名等の識別データとその各薬剤師がそれぞれ使用した各載置籠(前記色又は形状等の特徴から互いに区別できるもの)の識別データとを互いに対応付けて記録しておく容器対作業者記録部である。また、図7は、2人の薬剤師10,20が、色又は形状等の特徴により互いに区別可能な複数の載置籠3a,3bをそれぞれ使用しながら、薬剤ピッキングを同時並行的に行っている場合を示すものである。
[Embodiment 2]
Next, the configuration and operation of the second embodiment of the present invention will be described with reference to FIGS. 6 and 7, parts common to those in FIGS. 1B and 2 are denoted by the same reference numerals, and description thereof is omitted. In FIG. 6, reference numeral 24 indicates identification data such as ID or name of each pharmacist when each of a plurality of pharmacists performs picking work at the same time, and each mounting rod (the color or shape, etc.) used by each pharmacist. The container-to-worker recording unit records identification data that can be distinguished from each other in association with each other. FIG. 7 shows that two pharmacists 10 and 20 perform drug picking in parallel while using a plurality of mounting rods 3a and 3b that can be distinguished from each other by characteristics such as color or shape. Shows the case.

本実施形態2においては、制御部11(実際には、制御部11、及び距離画像センサ7に内蔵されたプロセッサ)はKinectの一部を含むように構成されている。そして、Kinect(米マイクロソフト社が提供しているKinect for Windows SDK(登録商標))は、複数人の各ユーザー毎に区別された距離画像、すなわち複数人の各ユーザーIDにそれぞれ対応付けられた距離画像(各ユーザーIDでラベリング処理された距離画像。各画素中にそれぞれ各ユーザーを区別するインデックス値が入れられている距離画像)を同時に取得する機能を有している。本実施形態2では、このような制御部11(実際には、制御部11、及び距離画像センサ7に内蔵されたプロセッサ)が、Kinectに含まれる前記赤外線カメラ(距離画像センサ7の一部)からの各薬剤師の手などの画像データに基づいて、複数の各薬剤師10,20の手10a,20a及びその周囲の距離画像を、各薬剤師10,20のIDと対応付けて取得する。そして、制御部11は、前記取得した各薬剤師10,20のIDとそれぞれ対応する距離画像に基づいて各薬剤師10,20の手10a,20aがそれぞれ伸びた又はその中に入った各収容部2a,2b及びその中に収容されている薬剤に関する関連情報(銘柄などの識別情報、及び効能などの属性情報)を各薬剤師10,20のIDと対応付けて取得し、その薬剤関連情報を各薬剤師10,20のIDと対応付けてディスプレイ5に表示する。この場合、ディスプレイ5には、例えば、各薬剤師10,20毎に画面が分割され、その各分割画面中にそれぞれ各薬剤師10,20がピッキングしようとしている(各薬剤師10,20の手10a,20aが伸びる又は入っている)収容部2a,2b中の薬剤の銘柄、効能、又は在庫数等の関連情報が表示される。   In the second embodiment, the control unit 11 (actually, the control unit 11 and the processor built in the distance image sensor 7) is configured to include a part of Kinect. Kinect (Kinct for Windows SDK (registered trademark) provided by Microsoft Corporation in the United States) is a distance image distinguished for each of a plurality of users, that is, a distance associated with each user ID of the plurality of users. It has a function of simultaneously obtaining an image (a distance image labeled with each user ID. A distance image in which each user has an index value for distinguishing each user). In the second embodiment, such a control unit 11 (actually, the control unit 11 and the processor incorporated in the distance image sensor 7) is the infrared camera included in Kinect (part of the distance image sensor 7). The hand 10a, 20a of each of the plurality of pharmacists 10, 20 and the surrounding distance image are acquired in association with the ID of each pharmacist 10, 20 based on the image data such as the hands of each pharmacist from. And the control part 11 is each accommodating part 2a from which the hand 10a, 20a of each pharmacist 10,20 extended or it entered based on the distance image respectively corresponding to the acquired ID of each pharmacist 10,20. , 2b and related information (identification information such as brands and attribute information such as efficacy) related to the drug contained therein is acquired in association with the ID of each pharmacist 10, 20, and the drug related information is acquired for each pharmacist. The information is displayed on the display 5 in association with the IDs 10 and 20. In this case, for example, the display 5 is divided into screens for each pharmacist 10 and 20, and each pharmacist 10 and 20 is about to pick each of the divided screens (the hands 10 a and 20 a of the pharmacists 10 and 20). Related information such as brand name, efficacy, or stock quantity of the medicine in the storage units 2a, 2b is displayed.

次に、本実施形態2において、制御部11は、前記可視光カメラ6からのRGB画像に基づいて、複数の載置籠3a,3bをその色や形状により互いに識別する機能(画像認識ソフト)を備えている。よって、制御部11は、前記可視光カメラ6からの画像に基づいて、複数の薬剤師10,20がそれぞれピッキング薬剤を入れ置く載置籠3a,3bを互いに識別し、それらの各載置籠3a,3b内の画像に変化があったこと(載置籠3a,3bに置かれた薬剤が増えたこと又は減ったこと)を互いに区別して検出することができる。   Next, in the second embodiment, the control unit 11 has a function of discriminating the plurality of mounting rods 3a and 3b from each other based on the RGB image from the visible light camera 6 based on the color and shape (image recognition software). It has. Therefore, the control unit 11 identifies the mounting rods 3a and 3b on which the plurality of pharmacists 10 and 20 put the picking drugs from each other based on the image from the visible light camera 6, and each of these mounting rods 3a. , 3b can be detected by distinguishing from each other that there has been a change in the image in the images (increase or decrease in the amount of medicine placed on the mounting rods 3a, 3b).

また、本実施形態2では、前述のように、ピッキングをする各薬剤師10,20のID又は氏名等と各薬剤師10,20が使用する各載置籠3a,3b(色又は形状などで互いに区別可能なもの)の識別データとを互いに対応付けて記録しておく容器対作業者記録部24が備えられている。よって、本実施形態2においては、制御部11が容器対作業者記録部24を参照することにより、載置籠3a,3bが複数個ある場合でも、各載置籠3a,3b内の変化(面積の増減又は薬剤の増減)とこれにより求められる各載置籠3a,3b中の各ピッキングされた薬剤とを、各薬剤師10,20のID又は氏名等と対応付けて特定、記録することができる。   In the second embodiment, as described above, the ID or name of each pharmacist 10 and 20 to be picked and each mounting rod 3a and 3b used by each pharmacist 10 and 20 (different from each other by color or shape). A container-to-worker recording unit 24 is provided for recording identification data of possible ones) in association with each other. Therefore, in the second embodiment, the control unit 11 refers to the container-to-worker recording unit 24, so that even when there are a plurality of mounting rods 3 a and 3 b, changes in the mounting rods 3 a and 3 b ( The increase / decrease in area or increase / decrease in medicine) and the picked medicine in each of the mounting rods 3a, 3b obtained thereby can be identified and recorded in association with the ID or name of each pharmacist 10, 20 or the like. it can.

次に、以上の構成の下で、本実施形態2の制御部11は、次のような手順により、各薬剤師10,20がピッキングして各載置籠3a,3b内に置いた薬剤のデータを取得するようにしている。
1.制御部11は、各薬剤師10,20が収容棚1中の各収容部2a,2bに自分の手を近づけるか各収容部2a,2bの中に自分の手を入れたら、各薬剤師10,20の骨格の追跡を開始する。そして、制御部11は、各薬剤師10,20が各収容部2a,2bに自分の手10a,20aを近づけるか又は各収容部2a,2b中に自分の手10a,20aを入れた段階で、ピッキングしようとした薬剤のデータx,y(この場合は、薬品名、薬品を一意に表すIDなどの識別データだけでもよい)を前述のように認識する。また、制御部11は、各手10a,20aの追跡中は、各手10a,20aの3次元位置と薬剤のデータx,yとを互いにで結び付けている。
2.制御部11は、各手10a,20aの3次元位置と載置籠3a,3bとの距離がしきい値以下になったら、薬剤のデータx,yと当該載置籠3a,3b又はその所有者(薬剤師10,20)とを対応付ける。
3.制御部11は、載置籠3a,3b内の面積が増えた場合、薬剤師10,20がピッキング動作を行ったと判定する(薬剤師10,20のピッキング履歴に当該薬品のデータx,yを追加する)。
Next, under the above-described configuration, the control unit 11 according to the second embodiment uses the following procedure to pick up drug data picked up by the pharmacists 10 and 20 and placed in the placement baskets 3a and 3b. Like to get.
1. When the pharmacists 10 and 20 bring their hands close to the storage units 2a and 2b in the storage rack 1 or put their hands into the storage units 2a and 2b, the control unit 11 Start tracking the skeleton. And the control part 11 is a stage in which each pharmacist 10 and 20 puts his hand 10a and 20a in each accommodating part 2a and 2b, or the own hands 10a and 20a in each accommodating part 2a and 2b, The data x and y of the medicine to be picked (in this case, only the identification data such as the medicine name and the ID uniquely representing the medicine may be recognized) are recognized as described above. Further, the control unit 11 associates the three-dimensional positions of the hands 10a and 20a with the drug data x and y while tracking the hands 10a and 20a.
2. When the distance between the three-dimensional position of each hand 10a, 20a and the placement basket 3a, 3b is equal to or less than the threshold value, the control unit 11 stores the drug data x, y and the placement basket 3a, 3b or possession thereof. The person (pharmacist 10, 20) is associated.
3. The controller 11 determines that the pharmacists 10 and 20 have performed the picking operation when the area in the mounting rods 3a and 3b increases (adds the data x and y of the drug to the picking history of the pharmacists 10 and 20). ).

また、本実施形態2の制御部11は、次のような手順により、各薬剤師10,20が、いったんピッキングして載置籠3a,3b内に置いた薬剤をその後に載置籠3a,3bから取り出して各収容部2a,2bに戻したとき、その戻した当該薬剤のデータを、取得するようにしている。
1.制御部11は、載置籠3a,3b内の面積が減った場合、各薬剤師10,20の各手10a,20aの骨格の追跡を開始する。
2.制御部11は、追跡開始後に初めて認識された各手10a,20aの中、各載置籠3a,3bに最も近い位置にある各手10a,20aと各載置籠3a,3bの所有者(薬剤師10,20)の情報(ID等)とを結び付ける。
3.制御部11は、各薬剤師10,20がその手10a,20aを収容棚1中の各収容部2a,2bに近づけたか又はその中に入れたとき、各薬剤師10,20が各収容部2a,2bに対応する薬剤データx,yの薬剤を各載置籠3a,3bから各収容部2a,2b内に戻したと判定する(この場合は、各薬剤師10,20のピッキング履歴から、当該薬剤データx,yを消去する)。
Moreover, the control part 11 of this Embodiment 2 carries out the following procedures, and each pharmacist 10 and 20 picks the medicine which was once picked up and placed in the placement baskets 3a and 3b, and then the placement baskets 3a and 3b. When the medicine is taken out from the container and returned to the storage units 2a and 2b, the returned data of the medicine is acquired.
1. The control unit 11 starts tracking the skeletons of the hands 10a and 20a of the pharmacists 10 and 20 when the area in the placement baskets 3a and 3b decreases.
2. Of the hands 10a and 20a recognized for the first time after the start of tracking, the control unit 11 has the respective hands 10a and 20a located closest to the mounting rods 3a and 3b and the owners of the mounting rods 3a and 3b ( The information (ID etc.) of the pharmacists 10 and 20) is linked.
3. When the pharmacists 10 and 20 bring their hands 10a and 20a close to or into the storage units 2a and 2b in the storage shelf 1, the control unit 11 controls the pharmacists 10 and 20 to store the storage units 2a and 2a. It is determined that the medicine of the medicine data x, y corresponding to 2b has been returned from the placement baskets 3a, 3b into the storage units 2a, 2b (in this case, the medicine data is determined from the picking history of the pharmacists 10, 20). delete x and y).

以上より、本実施形態2においては、複数の薬剤師10,20により同時並行的に薬剤ピッキングが行われる場合でも、各載置籠3a,3b内の薬剤の増減、及びピッキングされた収容部2a,2bと薬剤を、各載置籠3a,3b毎・各薬剤師10,20毎に、特定できるようになる。よって、本実施形態2によれば、複数人により同時並行的に行なわれた薬剤ピッキングの検査(調剤ミスの検査)を効率化できると共に、各作業者毎にピッキングされた薬剤を追跡することができることから、調剤ミスの原因究明などもより効率的、高精度に行うことができるようになる。   As described above, in the second embodiment, even when drug picking is performed in parallel by a plurality of pharmacists 10 and 20, increase / decrease of the drugs in the mounting cages 3 a and 3 b and the picked storage units 2 a and 2 2b and the medicine can be specified for each placement basket 3a, 3b and for each pharmacist 10,20. Therefore, according to the second embodiment, it is possible to improve the efficiency of the medicine picking inspection (dispensing mistake inspection) performed in parallel by a plurality of persons and to track the medicine picked for each worker. As a result, investigation of the cause of dispensing errors can be performed more efficiently and with high accuracy.

以上、本発明の実施形態1について説明したが、本発明は前記の実施形態1として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態1,2においては、距離画像取得手段として、Kinectに備えられている赤外線プロジェクタ及び赤外線カメラを使用するようにしたが、本発明ではこれに限られるものではなく、例えば「Time−of−Flight」方式による距離画像センサを使用するようにしてもよい。   The first embodiment of the present invention has been described above, but the present invention is not limited to the one described as the first embodiment, and various modifications and changes can be made. For example, in the first and second embodiments, the infrared projector and the infrared camera provided in Kinect are used as the distance image acquisition unit. However, the present invention is not limited to this, and for example, “Time You may make it use the distance image sensor by a "-of-Flight" system.

また、前記実施形態1,2に係る図2,7では、一台の収容棚1中の各収容部2から薬剤をピッキングする例を示したが、本発明は複数台の収容棚を並べて置いた場合にも対応できるものであり、複数台の収容棚が並べられたものに本発明を適用した場合でも、それらの複数の収容棚中の各収容部は、「複数の収容棚の中のどの収容棚に含まれるものか」に拘わらずそれぞれの3次元位置に基づいて、作業者の手が伸びてピッキングされた収容部かどうかなどが判断(特定)される。   In FIGS. 2 and 7 according to the first and second embodiments, the example in which the medicine is picked from each storage unit 2 in one storage shelf 1 is shown. However, the present invention places a plurality of storage shelves side by side. Even when the present invention is applied to a case where a plurality of storage shelves are arranged, each of the storage units in the plurality of storage shelves Regardless of which storage shelves are included, based on the respective three-dimensional positions, it is determined (specified) whether or not the storage unit is a picked storage part in which the operator's hand is stretched.

また、前記実施形態1,2においては、制御部11は、可視光カメラ6により取得された載置籠3のRGB画像に基づいて、載置籠3内の薬剤の変化(薬剤の個数又は面積の増減)を判定するようにしたが、本発明はこれに限られるものではなく、例えば、制御部11は、「図1B,6などの距離画像センサ7に含まれる赤外線カメラ、又は前記距離画像センサ7の赤外線カメラとは別個に設置された赤外線カメラ」により撮像された載置籠3の赤外線画像に基づいて、載置籠3内の薬剤の変化(薬剤の個数又は面積の増減)を判定するようにしてもよい(この場合、図1B,6などの可視光カメラ6は不要となる)。さらに、本発明では、例えば、距離画像センサ7が少なくとも「作業者10,20の手10a,20aと載置籠3,3a,3b」の距離画像を取得するようにし、制御部11が、距離画像センサ7により取得された載置籠3,3a,3bの距離画像に基づいて、載置籠3,3a,3b内の薬剤の変化(薬剤の個数、面積又は体積の増減)を判定するようにしてもよい(この場合、図1B,6などの可視光カメラ6は不要となるので、装置を低コスト化できるなどの効果が得られる)。   In the first and second embodiments, the control unit 11 changes the medicine (the number or area of medicines) in the placement basket 3 based on the RGB image of the placement basket 3 acquired by the visible light camera 6. However, the present invention is not limited to this. For example, the control unit 11 may use the infrared camera included in the distance image sensor 7 such as FIGS. 1B and 6 or the distance image. Based on the infrared image of the mounting rod 3 picked up by the “infrared camera installed separately from the infrared camera of the sensor 7”, the change of the drug in the mounting rod 3 (increase or decrease in the number or area of the drugs) is determined. (In this case, the visible light camera 6 shown in FIGS. 1B and 6 is unnecessary). Furthermore, in the present invention, for example, the distance image sensor 7 acquires at least the distance images of the “hands 10a and 20a of the workers 10 and 20 and the placement rods 3, 3a and 3b”, and the control unit 11 Based on the distance image of the placement baskets 3, 3a, 3b acquired by the image sensor 7, a change in the medicine in the placement baskets 3, 3a, 3b (increase or decrease in the number, area, or volume of the medicine) is determined. (In this case, since the visible light camera 6 shown in FIGS. 1B and 6 is not necessary, the cost of the apparatus can be reduced).

また、前記実施形態1においては、本発明に係る薬剤師がピッキングしようとしている薬剤の関連情報をディスプレイに表示するための構成(図5など参照)を、「載置籠3,3a,3b内の薬剤の変化(薬剤の個数、面積又は体積の増減)の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」と関連付けて実施するようにしているが、本発明はこれに限られるもではなく、例えば、「載置籠3,3a,3b内の薬剤の変化(薬剤の個数、面積又は体積の増減)の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている(又はピッキング中の)薬剤の関連情報を取得してそれをディスプレイに表示するようにしてもよい。このように、「載置籠3,3a,3b内の薬剤の変化(薬剤の個数、面積又は体積の増減)の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている(又はピッキング中の)薬剤の関連情報をディスプレイに表示するだけでも、薬剤師等による薬剤ピッキング作業を支援する効果を十分に発揮することができる。   Further, in the first embodiment, the configuration (see FIG. 5 and the like) for displaying related information of the drug that the pharmacist is trying to pick on the display is referred to as “inside the mounting rods 3, 3a, 3b”. The determination is made in association with determination of drug change (increase / decrease in the number, area, or volume of the drug) and identification of the drug picked from the container by the pharmacist or the like, but the present invention is limited to this. Instead, for example, “determination of a change in the medicine in the mounting bowl 3, 3a, 3b (increase or decrease in the number, area, or volume of the medicine) and identification of the medicine picked from the container by the pharmacist” Without performing, the pharmacist or the like may acquire the related information of the medicine that is about to be picked (or is being picked) and display it on the display. In this manner, “determination of changes in the drugs in the mounting bowls 3, 3a, 3b (increase or decrease in the number, area, or volume of the drugs) and identification of the drugs picked from the container by the pharmacist” are not performed. The effect of supporting the drug picking work by the pharmacist or the like can be sufficiently exerted only by displaying the related information of the drug that the pharmacist or the like is about to pick (or being picked) on the display.

また、前記実施形態1においては、各収容部の3次元位置データと各収容部に収容されている薬剤の識別データ(銘柄等)を互いに対応付けて記録する収容部対薬剤データベース14と、各薬剤の識別データと各薬剤の属性情報(効能、製薬会社名、副作用、又は在庫数などの属性データ)とを互いに対応付けて記録する薬剤関連データベース15とを互いに別個に構成するようにしている(図1Bなど参照)が、本発明においては、これらを一つのデータベースとして構成するようにしてもよい(すなわち、各収容部の3次元位置データと、各収容部に収容されている薬剤の関連情報(銘柄等の識別データ、及び、効能、製薬会社名、副作用、又は在庫数などの属性データ)とを互いに対応付けて記録しておく一つのデータベースとして構成するようにしてもよい)。   Further, in the first embodiment, the storage unit versus drug database 14 that records the three-dimensional position data of each storage unit and the identification data (brand name, etc.) of the drug stored in each storage unit in association with each other, A drug-related database 15 that records drug identification data and attribute information of each drug (attribute data such as efficacy, drug company name, side effect, or inventory quantity) in association with each other is configured separately from each other. However, in the present invention, these may be configured as one database (that is, the relationship between the three-dimensional position data of each storage unit and the medicine stored in each storage unit) Information (identification data such as brands, and attribute data such as efficacy, pharmaceutical company name, side effects, or inventory quantity) is recorded as one database that records them in association with each other. It may be).

また、前記実施形態1ではディスプレイ5は収容棚1の上にKinectと一緒に設置する(ボルトや粘着テープなどで固定的に設置する)ようにしている(図1B参照)が、本発明におけるディスプレイはこれに限られるものではなく、例えばスマートフォンやタブレット端末などに備えられたディスプレイのように、薬剤師等が携帯して又は身体装着して使用する携帯型端末又は腕時計型などのウェアラブル型端末に備えられたディスプレイであってもよい。   In the first embodiment, the display 5 is installed on the storage shelf 1 together with Kinect (fixedly installed with a bolt or an adhesive tape) (see FIG. 1B). Is not limited to this. For example, it is provided for a wearable type terminal such as a portable terminal or a wristwatch type carried by a pharmacist or the like, such as a display provided in a smartphone or a tablet terminal. Display.

さらに、前記実施形態2に関する図7では図示していないが、本発明においては、前記実施形態2のように複数の薬剤師が同時並行的に薬剤ピッキング作業を行う場合は、各薬剤師毎に別々のディスプレイ5を備えるようにして、各薬剤師のピッキング作業に即して各人がこれからピッキングしようとしている又はピッキング中の収容部に収容された薬剤の関連情報を各人別のディスプレイ5(例えば前述の各薬剤師等が携帯して又は身体装着して使用する携帯型端末又はウェアラブル型端末に備えられたディスプレイ)に表示させるようにすることも可能である。   Furthermore, although not shown in FIG. 7 relating to the second embodiment, in the present invention, when a plurality of pharmacists perform drug picking work in parallel as in the second embodiment, a separate pharmacist is provided for each pharmacist. By providing the display 5, in accordance with the picking work of each pharmacist, each person will be able to display information related to the medicine that the person is about to pick or the medicine stored in the container during picking. It is also possible to display on a portable terminal or a display provided on a wearable terminal that each pharmacist or the like carries or uses.

1,100 収容棚
2,2a,2b 収納部
3,3a,3b 載置籠
5 ディスプレイ
6 可視光カメラ
7 距離画像センサ
10,20 薬剤師
10a,20a 薬剤師の手
11 制御部
12 籠画像蓄積部
13 手位置データ蓄積部
14 収納部対薬剤データベース
15 薬剤関連データベース
21,22,23 PTPシート
24 容器対作業者記録部
101 収納部対薬剤関連情報記録部
102,113 距離画像取得部
103,115 薬剤関連情報取得部
104,116 表示制御部
105,117 ディスプレイ
111 収納部対薬剤識別データ記録部
112 薬剤関連情報記録部
114 収容部等特定部
DESCRIPTION OF SYMBOLS 1,100 Storage shelf 2,2a, 2b Storage part 3,3a, 3b Mounting basket 5 Display 6 Visible light camera 7 Distance image sensor 10,20 Pharmacist 10a, 20a Pharmacist's hand 11 Control part 12 籠 Image storage part 13 Hand Position data storage unit 14 Storage unit vs. drug database 15 Drug related database 21, 22, 23 PTP sheet 24 Container vs. worker recording unit 101 Storage unit vs. drug related information recording unit 102, 113 Distance image acquisition unit 103, 115 Drug related information Acquisition unit 104, 116 Display control unit 105, 117 Display 111 Storage unit versus drug identification data recording unit 112 Drug related information recording unit 114 Identification unit such as storage unit

このような課題を解決するための本発明によるディスプレイを使用した薬剤ピッキング支援システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚(複数個の収納棚が組み合わされたものを含む)と、前記収容棚中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤に関するデータ(少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む)とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、少なくとも前記収容棚の前方に居る各作業者の手の距離画像を取得する距離画像取得手段と、前記距離画像取得手段からの距離画像に基づいて、3次元的に動く各作業者の手の各3次元的位置を、それぞれ各作業者毎に互いに区別して追跡する追跡手段と、前記追跡手段により取得される各作業者の手の各3次元的位置の情報と前記収納部対薬剤関連情報記録手段に記録された各収容部の3次元位置データとに基づいて、「各作業者の手の各3次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を、各作業者毎に互いに区別して取得する薬剤関連情報取得手段と、前記収容棚の近傍に位置するディスプレイと、前記薬剤関連情報取得手段により取得された薬剤関連情報を前記ディスプレイに表示させる表示制御手段とを備えたことを特徴とするものである。
The drug picking support system using the display according to the present invention for solving such problems includes a plurality of types or brands of medicines each containing a plurality of kinds or brands of medicines arranged vertically and horizontally. Storage shelves (including a combination of a plurality of storage shelves), data on each storage unit in the storage shelf (including at least three-dimensional position data of each storage unit), and each storage unit. Storage unit-drug-related information recording means for recording data relating to the stored drug (including at least drug-related information such as drug efficacy or stock quantity) in association with each other, and at least each worker in front of the storage shelf Distance image acquisition means for acquiring a distance image of a hand, and each three-dimensional position of each worker's hand moving three-dimensionally based on the distance image from the distance image acquisition means Are recorded in the tracking means for tracking each worker separately from each other, the information of each three-dimensional position of each worker's hand acquired by the tracking means, and the storage unit / drug-related information recording means. Based on the three-dimensional position data of each storage unit, it is stored in “each storage unit corresponding to each three-dimensional position of each worker's hand, ie, each worker's hand facing or extending”. Medicine-related information acquisition means for separately acquiring each medicine-related information obtained for each worker, a display located in the vicinity of the storage shelf, and medicine-related information acquired by the medicine-related information acquisition means And display control means for displaying on the display.

また、本発明によるディスプレイを使用した薬剤ピッキング支援システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚(複数個の収納棚が組み合わされたものを含む)と、前記収容棚中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤に関するデータ(少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む)とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、少なくとも前記収容棚の前方に居る各作業者の手の距離画像を所定時間毎に各作業者毎に区別して取得する距離画像取得手段と、前記距離画像取得手段からの各距離画像と前記収納部対薬剤関連情報記録手段に記録された各収容部の3次元位置データとに基づいて、「各作業者の手の各3次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を取得する薬剤関連情報取得手段と、各作業者がそれぞれ携帯し又はその身体に装着して使用する各ディスプレイと、前記薬剤関連情報取得手段により取得された薬剤関連情報であって前記各作業者の手がそれぞれ対向し又は伸びている各収容部に収容されている薬剤の関連情報を、前記各ディスプレイにそれぞれ各作業者に対応して表示させる表示制御手段とを備えたことを特徴とするものである。
In addition, the drug picking support system using the display according to the present invention includes a storage shelf (a plurality of storage racks) in which storage units each storing a plurality of types or brands of drugs are arranged in the vertical and horizontal directions. Including a combination of storage shelves), data relating to each storage unit in the storage shelf (including at least three-dimensional position data of each storage unit), and data relating to a drug respectively stored in each storage unit (at least a drug) Storage unit-drug-related information recording means that records and records at least a distance image of each worker's hand in front of the storage shelf for a predetermined time. Distance image acquisition means for acquiring each worker separately for each distance image, each distance image from the distance image acquisition means, and recorded in the storage unit / drug-related information recording means. Based on the three-dimensional position data of each storage unit, it is stored in “each storage unit corresponding to each three-dimensional position of each worker's hand, ie, each worker's hand facing or extending”. Drug-related information acquisition means for acquiring related information of the drug being used, each display carried by each worker or worn on the body, and drug-related information acquired by the drug-related information acquisition means And display control means for displaying the relevant information of the medicine accommodated in each accommodating part in which each operator's hand is facing or extending, corresponding to each operator on each display. It is characterized by having.

Claims (2)

複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚(複数個の収納棚が組み合わされたものを含む)と、
前記収容棚中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤に関するデータ(少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む)とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、
少なくとも前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得手段と、
前記距離画像取得手段からの距離画像と前記収納部対薬剤関連情報記録手段に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」に収容されている薬剤の関連情報を取得する薬剤関連情報取得手段と、
前記収容棚の近傍に位置するディスプレイと、
前記薬剤関連情報取得手段により取得された薬剤関連情報を前記ディスプレイに表示させる表示制御手段と、
を備えたことを特徴とするディスプレイを使用した薬剤ピッキング支援システム。
A storage shelf (including a combination of a plurality of storage shelves) in which each storage unit that stores a plurality of types or brands of drugs is stored in the vertical and horizontal directions;
Data related to each storage unit in the storage shelf (including at least three-dimensional position data of each storage unit) and data related to a drug stored in each storage unit (including at least drug-related information such as drug efficacy or stock quantity) Storage unit vs. drug related information recording means for recording in association with each other;
Distance image acquisition means for acquiring at least a distance image of an operator's hand in front of the storage shelf;
Based on the distance image from the distance image acquisition unit and the three-dimensional position data of each storage unit recorded in the storage unit-drug-related information recording unit, “corresponding to the three-dimensional position of the operator's hand, Drug related information acquisition means for acquiring related information of the drug stored in the storage section facing or extending the operator's hand;
A display located in the vicinity of the storage shelf;
Display control means for displaying the medicine related information acquired by the medicine related information acquiring means on the display;
A drug picking support system using a display characterized by comprising:
複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚(複数個の収納棚が組み合わされたものを含む)と、
前記収容棚中の各収容部に関するデータ(少なくとも各収容部の3次元位置データを含む)と各収容部内にそれぞれ収容された薬剤の識別データとを互いに対応付けて記録する収納部対薬剤識別データ記録手段と、
各薬剤の識別データとその効能又は在庫数などの薬剤関連情報とを互いに対応付けて記録する薬剤関連情報記録手段と、
少なくとも前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得手段と、
前記距離画像取得手段からの距離画像と前記収納部対薬剤識別データ記録手段に記録された各収容部の3次元位置データとに基づいて、「作業者の手の3次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」又はそれに収容されている薬剤を特定する収容部等特定手段と、
前記収容部等特定手段により特定された収容部又は薬剤のデータに基づいて、前記薬剤関連情報記録手段から、前記作業者の手が対向し又は伸びている収容部に収容された薬剤の関連情報を取得する薬剤関連情報取得手段と、
前記収容棚の近傍に位置するディスプレイと、
前記薬剤関連情報取得手段により取得された薬剤関連情報を前記ディスプレイに表示させる表示制御手段と、
を備えたことを特徴とするディスプレイを使用した薬剤ピッキング支援システム。
A storage shelf (including a combination of a plurality of storage shelves) in which each storage unit that stores a plurality of types or brands of drugs is stored in the vertical and horizontal directions;
Storage unit-to-drug identification data that records data relating to each storage unit in the storage shelf (including at least three-dimensional position data of each storage unit) and identification data of a drug stored in each storage unit in association with each other Recording means;
Drug-related information recording means for recording identification data of each drug and drug-related information such as its efficacy or the number of stocks in association with each other;
Distance image acquisition means for acquiring at least a distance image of an operator's hand in front of the storage shelf;
Based on the distance image from the distance image acquisition unit and the three-dimensional position data of each storage unit recorded in the storage unit vs. drug identification data recording unit, “corresponding to the three-dimensional position of the operator's hand, A storage unit in which the operator's hand is facing or extending "or a specifying unit such as a storage unit for specifying a medicine stored in the storage unit;
Based on the data of the storage part or medicine specified by the specifying means such as the storage part, the related information of the medicine stored in the storage part facing or extending the operator's hand from the medicine related information recording means Drug-related information acquisition means for acquiring
A display located in the vicinity of the storage shelf;
Display control means for displaying the medicine related information acquired by the medicine related information acquiring means on the display;
A drug picking support system using a display characterized by comprising:
JP2013155431A 2013-07-26 2013-07-26 Drug picking support system using display Active JP5492333B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013155431A JP5492333B1 (en) 2013-07-26 2013-07-26 Drug picking support system using display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013155431A JP5492333B1 (en) 2013-07-26 2013-07-26 Drug picking support system using display

Publications (2)

Publication Number Publication Date
JP5492333B1 JP5492333B1 (en) 2014-05-14
JP2015024899A true JP2015024899A (en) 2015-02-05

Family

ID=50792296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013155431A Active JP5492333B1 (en) 2013-07-26 2013-07-26 Drug picking support system using display

Country Status (1)

Country Link
JP (1) JP5492333B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017048052A (en) * 2015-09-04 2017-03-09 公立大学法人岩手県立大学 Support system
JP2019537541A (en) * 2016-09-22 2019-12-26 アマゾン テクノロジーズ インコーポレイテッド An adaptive process to guide inventory work performed by humans
JP2021186660A (en) * 2020-05-27 2021-12-13 株式会社S&Sエンジニアリング Medicine picking support compounding table

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6386311B2 (en) * 2014-09-08 2018-09-05 ワム・システム・デザイン株式会社 Portable information terminal, information processing method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291847A (en) * 2001-03-30 2002-10-08 Sogo Keibi Hosho Co Ltd Medicine keeping apparatus and medicine keeping system
JP5441393B2 (en) * 2008-11-13 2014-03-12 オークラ輸送機株式会社 Picking system
JP5686108B2 (en) * 2012-02-24 2015-03-18 株式会社ダイフク Sorting equipment provided with an erroneous work prevention device and an erroneous work prevention device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017048052A (en) * 2015-09-04 2017-03-09 公立大学法人岩手県立大学 Support system
JP2019537541A (en) * 2016-09-22 2019-12-26 アマゾン テクノロジーズ インコーポレイテッド An adaptive process to guide inventory work performed by humans
JP2021186660A (en) * 2020-05-27 2021-12-13 株式会社S&Sエンジニアリング Medicine picking support compounding table

Also Published As

Publication number Publication date
JP5492333B1 (en) 2014-05-14

Similar Documents

Publication Publication Date Title
JP6155149B2 (en) Picking drug identification system suitable for drug picking inspection etc.
JP6738273B2 (en) Method and apparatus for monitoring, recording, and assisting manual dispensing of medications
US20200121557A1 (en) Medicine container, housing and display for medicine container
JP2019115707A (en) Remote medicine verification
JP5492333B1 (en) Drug picking support system using display
US8723674B2 (en) Sensory tracking of inventory
TWI683659B (en) Medicine classification device and medicine classification method
US9956145B2 (en) Visual counting system
US20170020785A1 (en) Medical Administration and Information System
JP5902022B2 (en) Returned medicine sorting apparatus and returned medicine sorting method
JP6517726B2 (en) Pickup device
WO2019103847A1 (en) Multi-camera imaging for iv compounding
KR102355337B1 (en) An image processing program, and an image processing apparatus
JP5306093B2 (en) Chemical management system
CN105324990A (en) Filming method and device for secure production of drug preparations, related mounting for positioning objects
JP6875695B2 (en) Goods management system, goods management method and goods management program
JP7477806B2 (en) Mixed injection management system, mixed injection management program, and mixed injection management method
US20200334621A1 (en) Article management system, method and computer program
JP5959903B2 (en) Automatic medicine label reader
JP6117036B2 (en) Drug registration device and program
JP6988965B2 (en) Drug recognition device
JP2013017508A (en) Medicine delivery support apparatus
JP2016220911A (en) Pharmacy inspection device, pharmacy inspection method, program and recording medium
JP3150049U (en) Information provision system that guarantees safety when using OTC drugs
JP2020069268A (en) Mixed infusion management system, mixed infusion management program, and mixed infusion management method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140228

R150 Certificate of patent or registration of utility model

Ref document number: 5492333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250