JP2012108806A - Try-on system and program - Google Patents

Try-on system and program Download PDF

Info

Publication number
JP2012108806A
JP2012108806A JP2010258300A JP2010258300A JP2012108806A JP 2012108806 A JP2012108806 A JP 2012108806A JP 2010258300 A JP2010258300 A JP 2010258300A JP 2010258300 A JP2010258300 A JP 2010258300A JP 2012108806 A JP2012108806 A JP 2012108806A
Authority
JP
Japan
Prior art keywords
image
clothing
person
data
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010258300A
Other languages
Japanese (ja)
Other versions
JP5194096B2 (en
Inventor
Tsunehiro Mogi
常浩 茂木
Mahina Nakamura
麻日奈 中村
Masanori Sato
真紀 佐藤
Yumiko Okuma
裕美子 大熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2010258300A priority Critical patent/JP5194096B2/en
Publication of JP2012108806A publication Critical patent/JP2012108806A/en
Application granted granted Critical
Publication of JP5194096B2 publication Critical patent/JP5194096B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable a person to easily grasp an image of actually wearing an article of clothing which the person is considering to purchase.SOLUTION: A try-on system includes image selection means, data selection means, determination means, creation means, and display means. The image selection means selects an image of a person wearing an article of clothing. The data selection means selects clothing data which the person in the image selected by the image selection means tries instead of the article of clothing that the person is wearing. The determination means determines whether the length of the article of clothing that the person is wearing is longer than the length of the clothing data selected by the data selection means. The creation means creates an image including an image of exposed skin of the person from the clothing data selected by the data selection means when it is determined that the length of the article of clothing that the person is wearing is longer than the length of the clothing data selected by the data selection means. The display means displays a composite image where the created image is overlapped on the person in the image selected by the image selection means.

Description

本発明の実施形態は、試着システムおよびプログラムに関する。   Embodiments described herein relate generally to a fitting system and a program.

従来、店舗内の試着室などで衣料品を試着している状態をカメラで撮影し、情報端末等で、撮影した画像に購入を検討している衣料品を重ね合わせた合成画像を表示する技術が開示されている(特許文献1)。   Conventionally, a technique for photographing clothing being tried on in a fitting room in a store with a camera, and using an information terminal or the like to display a composite image in which the clothing being studied is superimposed on the photographed image. Is disclosed (Patent Document 1).

ところで、従来技術においては、情報端末等では、カメラで撮影した画像に含まれる人物が着用している衣料品の丈と購入を検討している衣料品の丈との違いに関わらず、撮影した画像に対して、購入を検討している衣料品を重ね合わせた合成画像を表示している。そのため、従来技術においては、カメラで撮影した画像に含まれる人物がズボンなど丈の長い衣料品を着用している場合、撮影した画像に対して、スカートなど丈の短い衣料品を重ね合わせた合成画像を表示すると、スカートから露出する肌の部分が合成画像に含まれず、購入を検討している衣料品を実際に着用したイメージが捉え難い、という課題がある。   By the way, in the prior art, information terminals and the like were taken regardless of the difference between the length of the clothing worn by the person included in the image taken with the camera and the length of the clothing being considered for purchase. A composite image in which clothing that is being considered for purchase is superimposed on the image is displayed. Therefore, in the conventional technology, when a person included in an image taken with a camera wears long clothing such as trousers, a composition in which short clothing such as a skirt is superimposed on the photographed image. When the image is displayed, there is a problem that the skin portion exposed from the skirt is not included in the composite image, and it is difficult to capture an image of the actual wear of clothing that is being considered for purchase.

実施形態の試着システムは、画像選択手段と、データ選択手段と、判断手段と、生成手段と、表示手段と、を備える。前記画像選択手段は、衣料品を着用した人物の画像を選択する。前記データ選択手段は、前記画像選択手段により選択した画像内の人物が着用中の衣料品に変えて試着する衣料品データを選択する。前記判断手段は、前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いか否かを判断する。前記生成手段は、前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いと判断した場合、前記データ選択手段により選択した衣料品データおよび当該衣料品データから露出する人物の肌画像を含む画像を生成する。前記表示手段は、前記画像選択手段により選択した画像内の人物に、前記生成した画像を重ね合わせた合成画像を表示する。   The try-on system of the embodiment includes an image selection unit, a data selection unit, a determination unit, a generation unit, and a display unit. The image selection means selects an image of a person wearing clothing. The data selection means selects clothing data to be tried on by the person in the image selected by the image selection means instead of the clothing being worn. The determination means determines whether or not the length of the clothing item being worn is longer than the length of the clothing data selected by the data selection means. When the generation unit determines that the length of the clothing item being worn is longer than the length of the clothing data item selected by the data selection unit, from the clothing item data selected by the data selection unit and the clothing item data. An image including an exposed person's skin image is generated. The display means displays a composite image obtained by superimposing the generated images on a person in the image selected by the image selection means.

図1は、本実施形態にかかる業務支援システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a business support system according to the present embodiment. 図2は、試着室端末が設置されている試着室を示す斜視図である。FIG. 2 is a perspective view showing a fitting room in which a fitting room terminal is installed. 図3は、試着室端末のハードウェア構成を示すブロック図である。FIG. 3 is a block diagram showing a hardware configuration of the fitting room terminal. 図4は、ハンディーターミナルの構成を示すブロック図である。FIG. 4 is a block diagram showing the configuration of the handy terminal. 図5は、商品ファイルのデータ構成を示す図である。FIG. 5 is a diagram showing the data structure of the product file. 図6は、在庫ファイルのデータ構成を示す図である。FIG. 6 is a diagram showing the data structure of the inventory file. 図7は、画像ファイルのデータ構成を示す図である。FIG. 7 shows the data structure of the image file. 図8は、衣料品画像の構成を概略的に示す模式図である。FIG. 8 is a schematic diagram schematically showing the configuration of a clothing image. 図9は、顧客ファイルのデータ構成を示す図である。FIG. 9 is a diagram showing the data structure of the customer file. 図10は、合成画像の表示処理の流れを示すフローチャートである。FIG. 10 is a flowchart showing the flow of the composite image display process. 図11は、ハンディーターミナルにおける各種処理の実行を操作するための操作画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of an operation screen for operating execution of various processes in the handy terminal. 図12は、静止画を他の静止画よりも大きい静止画に変倍して操作画面の略中央に配置する処理を説明するための図である。FIG. 12 is a diagram for explaining processing for scaling a still image to a still image larger than other still images and arranging the still image at the approximate center of the operation screen. 図13は、静止画を他の静止画よりも大きい静止画に変倍して操作画面の略中央に配置する処理を説明するための図である。FIG. 13 is a diagram for describing processing for scaling a still image to a still image larger than other still images and arranging the still image at substantially the center of the operation screen. 図14は、静止画に含まれる人物が着用している衣料品に変えて着用する衣料品を選択する操作画面の一例を示す図である。FIG. 14 is a diagram illustrating an example of an operation screen for selecting clothing to be worn instead of clothing worn by a person included in a still image. 図15は、静止画に含まれる人物が着用している衣料品に変えて着用する衣料品を選択する操作画面の一例を示す図である。FIG. 15 is a diagram illustrating an example of an operation screen for selecting clothing to be worn instead of clothing worn by a person included in a still image. 図16は、静止画に含まれる人物が着用している衣料品に変えて着用する衣料品を選択する操作画面の一例を示す図である。FIG. 16 is a diagram illustrating an example of an operation screen for selecting clothing to be worn instead of clothing worn by a person included in a still image. 図17は、衣料品の登録処理を実行するための操作ボタンが表示された操作画面の一例を示す図である。FIG. 17 is a diagram illustrating an example of an operation screen on which operation buttons for executing clothing registration processing are displayed. 図18は、衣料品の登録処理の実行後に表示される操作画面の一例を示す図である。FIG. 18 is a diagram illustrating an example of an operation screen displayed after execution of the clothing registration process.

本実施形態では、衣料品店の店舗に導入されている業務支援システムを構成する試着システムへの適用例である。図1は、本実施形態にかかる業務支援システムの構成を示すブロック図である。業務支援システム11が導入されている店舗は、衣料品店であるため商品としての衣料品31(図2参照)が多数陳列されている。   This embodiment is an application example to a try-on system that constitutes a business support system installed in a clothing store. FIG. 1 is a block diagram showing a configuration of a business support system according to the present embodiment. Since the store where the business support system 11 is introduced is a clothing store, a large number of clothing items 31 (see FIG. 2) as products are displayed.

本実施形態では、業務支援システム11は、有線または無線の通信回線(例えば、インターネット等)15等を介して相互に電気的に接続されたコンピュータ301や、POS(Point Of Sale)端末501、試着室端末101、クライアント端末401、ハンディーターミナル601等を備えている。   In the present embodiment, the business support system 11 includes a computer 301, a POS (Point Of Sale) terminal 501, and a try-on that are electrically connected to each other via a wired or wireless communication line (for example, the Internet) 15 or the like. A room terminal 101, a client terminal 401, a handy terminal 601 and the like are provided.

この業務支援システム11では、1つまたは複数のコンピュータ301が、所定のサービスを提供するサーバとして機能することができる。この業務支援システム11では、例えばSaaS(Software as a Service)の形態で、サービスが提供されうる。   In the business support system 11, one or more computers 301 can function as a server that provides a predetermined service. In the business support system 11, a service can be provided in the form of SaaS (Software as a Service), for example.

POS端末501は、店舗の出口付近に設けられたレジカウンタ(図示せず)に設置されている。POS端末501は、衣料品31毎に固有の商品IDを読み取って出力するスキャナ502を備えている。商品IDは、衣料品31(図2参照)に付されているタグ41(図2参照)に、バーコードや2次元コード等のコードシンボルの形態で印刷されている。そして、POS端末501は、読み取られた情報に基づいて、商品販売データ処理を実行する。   The POS terminal 501 is installed in a cashier counter (not shown) provided near the store exit. The POS terminal 501 includes a scanner 502 that reads and outputs a unique product ID for each clothing item 31. The product ID is printed on a tag 41 (see FIG. 2) attached to the clothing 31 (see FIG. 2) in the form of a code symbol such as a barcode or a two-dimensional code. The POS terminal 501 executes merchandise sales data processing based on the read information.

このようなPOS端末501には、通信回線15を介して、コンピュータ301、クライアント端末401、試着室端末101、およびハンディーターミナル601が接続されている。   A computer 301, a client terminal 401, a fitting room terminal 101, and a handy terminal 601 are connected to the POS terminal 501 through the communication line 15.

コンピュータ301には、ストレージデバイスとしてHDD(Hard Disk Drive)等の記憶装置が内蔵され、この記憶装置には各種ファイルが記憶されている。   The computer 301 includes a storage device such as an HDD (Hard Disk Drive) as a storage device, and various files are stored in the storage device.

クライアント端末401は、業務支援システム11が導入された店舗を利用する顧客の家に設置されている。クライアント端末401は、開閉自在の筐体を有するいわゆるノートパソコンであり、情報を表示するLCD(Liquid Crystal Display)402と、情報を入力するためのキーボード403と、LCD402の画面上に表示されるマウスポインタを移動させるためのトラックパッド(図示せず)とを備えている。なお、クライアント端末401のその他の構成は、一般的なノートパソコンの構成と変わるところがないため、説明を省略する。   The client terminal 401 is installed in a customer's house that uses a store where the business support system 11 is introduced. The client terminal 401 is a so-called notebook personal computer having an openable / closable housing, and includes an LCD (Liquid Crystal Display) 402 for displaying information, a keyboard 403 for inputting information, and a mouse displayed on the screen of the LCD 402. And a track pad (not shown) for moving the pointer. Since the other configuration of the client terminal 401 is not different from the configuration of a general notebook personal computer, description thereof is omitted.

試着室端末101は、顧客が商品である衣料品31(図2参照)を試着する際に使用する試着室21に設置されている。顧客は、試着室21で試着してから衣料品31(図2参照)の購入を検討する。   The fitting room terminal 101 is installed in a fitting room 21 that is used when a customer tries on a clothing item 31 (see FIG. 2) as a product. The customer considers purchasing clothing 31 (see FIG. 2) after trying on in the fitting room 21.

図2は、試着室端末が設置されている試着室を示す斜視図である。試着室21は、図2に示すように、上面と正面の一部とが開口した直方体形状を有している。試着室21の正面の開口部分は、顧客が出入するための出入口22となっている。出入口22には、布製のカーテン23が図示しないカーテンレールによって開閉自在に取り付けられている。なお、試着室21の出入口22は、カーテン23の代わりに、例えばスライド開閉自在な扉が設けられていても良い。図2では、カーテン23を開いた状態の試着室21を示しているため、試着室21の中を視認できる。試着室21の中の背面側の壁には、衣料品31を試着した顧客の動画像の表示や、商品の登録を行う試着室端末101が取り付けられている。また、試着室端末101の上方位置には、蛍光灯である照明25が取り付けられている。   FIG. 2 is a perspective view showing a fitting room in which a fitting room terminal is installed. As shown in FIG. 2, the fitting room 21 has a rectangular parallelepiped shape with an upper surface and a part of the front surface opened. An opening portion in front of the fitting room 21 serves as an entrance / exit 22 for a customer to enter and exit. A cloth curtain 23 is attached to the doorway 22 so as to be freely opened and closed by a curtain rail (not shown). The entrance / exit 22 of the fitting room 21 may be provided with, for example, a door that can be freely opened and closed, instead of the curtain 23. In FIG. 2, since the fitting room 21 with the curtain 23 opened is shown, the inside of the fitting room 21 can be visually recognized. A fitting room terminal 101 for displaying a moving image of a customer who has tried on clothing 31 and registering a product is attached to the back wall in the fitting room 21. Further, an illumination 25 that is a fluorescent lamp is attached above the fitting room terminal 101.

図2に示すように、試着室端末101は、厚みのある平板状のハウジング102を備えている。このハウジング102には、表示部としてのLCD103、試着室21に入って衣料品31を試着する顧客(人物)の動画像または静止画を撮影するカメラ104、および試着室21に入った顧客が音声を入力するためのマイク105(図3参照)が取り付けられている。   As shown in FIG. 2, the fitting room terminal 101 includes a flat plate-like housing 102 having a thickness. The housing 102 includes an LCD 103 as a display unit, a camera 104 that captures a moving image or a still image of a customer (person) who enters the fitting room 21 and tries on the clothing 31, and a customer who enters the fitting room 21 hears voice. A microphone 105 (see FIG. 3) is input.

さらに、試着室端末101には、コンピュータ301やハンディーターミナル601等とデータ通信を実行するための通信インタフェース162(図3参照)が内蔵されている。なお、本実施形態では、CPU151(図3参照)は、カメラ104により撮影された静止画に、後述するスキャナ181により読み取った商品ID(静止画に含まれる顧客が試着した衣料品31の商品ID)や、静止画を撮影した日時情報や、静止画の名称などを付加して、通信インタフェース162(図3参照)を介して、ハンディーターミナル601に送信するものとする。これにより、顧客は、ハンディーターミナル601において、衣料品31を試着した顧客の静止画を確認することができる。   Further, the fitting room terminal 101 has a built-in communication interface 162 (see FIG. 3) for executing data communication with the computer 301, the handy terminal 601, and the like. In the present embodiment, the CPU 151 (see FIG. 3) displays a product ID read by a scanner 181 (described later) on a still image captured by the camera 104 (a product ID of the clothing 31 that the customer included in the still image tried on. ), Date / time information when the still image is captured, the name of the still image, and the like are added and transmitted to the handy terminal 601 via the communication interface 162 (see FIG. 3). Thereby, the customer can confirm the still image of the customer who tried on the clothing 31 at the handy terminal 601.

また、試着室端末101の下方位置には、タグ41に印刷されたバーコード42から商品IDを読み取るスキャナ181が取り付けられている。スキャナ181は、試着室端末101との間でデータ通信可能に有線接続されている。スキャナ181は、タグ41に印刷されたバーコード42から商品IDのデータを読み取って出力する。こうして出力された商品IDのデータは、試着室端末101のCPU151(図3参照)に入力される。   A scanner 181 that reads a product ID from a barcode 42 printed on the tag 41 is attached to a position below the fitting room terminal 101. The scanner 181 is wired to the fitting room terminal 101 so that data communication is possible. The scanner 181 reads and outputs the product ID data from the barcode 42 printed on the tag 41. The product ID data thus output is input to the CPU 151 (see FIG. 3) of the fitting room terminal 101.

また、図2に示すように、試着室21の背面には、細長い円柱状のポール191が立設されている。ポール191の先端部には、青色と赤色と緑色とを選択的に発光可能な報知部としての発光部192が設けられている。発光部192は、ポール191を通る図示しないケーブルによって試着室端末101と接続されており、試着室端末101のCPU151(図3参照)によって動作制御を受ける。なお、CPU151による動作制御を受けていない状態では、発光部192は発光動作をしていない。   As shown in FIG. 2, an elongated columnar pole 191 is erected on the back surface of the fitting room 21. A light emitting unit 192 as a notification unit capable of selectively emitting blue, red, and green is provided at the tip of the pole 191. The light emitting unit 192 is connected to the fitting room terminal 101 by a cable (not shown) passing through the pole 191 and is subjected to operation control by the CPU 151 (see FIG. 3) of the fitting room terminal 101. In a state where the operation control by the CPU 151 is not received, the light emitting unit 192 does not perform the light emitting operation.

また、図2に示すように、試着室21の出入口22の一方の側部には、出入口22を通過する顧客を検出する人感センサとして赤外線センサ171が取り付けられている。この赤外線センサ171は、いわゆる焦電型赤外線センサである。つまり、赤外線センサ171は、出入口22を通過する顧客の人体が発する赤外線を受光し、受光した赤外線を熱変換し、その熱を素子の焦電効果で電荷に変えて出力する。このような赤外線センサ171は、試着室端末101と図示しないケーブルによって接続されており、赤外線センサ171の出力は、試着室端末101のCPU151(図3参照)へと入力される。   As shown in FIG. 2, an infrared sensor 171 is attached to one side of the entrance / exit 22 of the fitting room 21 as a human sensor that detects a customer passing through the entrance / exit 22. This infrared sensor 171 is a so-called pyroelectric infrared sensor. That is, the infrared sensor 171 receives infrared rays emitted from the customer's human body that passes through the doorway 22, converts the received infrared rays into heat, and converts the heat into electric charges by the pyroelectric effect of the element and outputs the charges. Such an infrared sensor 171 is connected to the fitting room terminal 101 via a cable (not shown), and the output of the infrared sensor 171 is input to the CPU 151 (see FIG. 3) of the fitting room terminal 101.

図3は、試着室端末のハードウェア構成を示すブロック図である。試着室端末101は、各種演算処理を実行し各部を制御する情報処理部としてのCPU151を備えている。CPU151には、コンピュータプログラム等の固定データを固定的に記憶保存するROM152と、可変データを書き換え自在に記憶してワークエリアとして使用されるRAM153と、試着室端末101の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ154とがバス接続されている。   FIG. 3 is a block diagram showing a hardware configuration of the fitting room terminal. The fitting room terminal 101 includes a CPU 151 as an information processing unit that executes various arithmetic processes and controls each unit. The CPU 151 includes a ROM 152 that stores fixed data such as computer programs in a fixed manner, a RAM 153 that stores variable data in a rewritable manner and is used as a work area, and data contents even when the fitting room terminal 101 is turned off. Is connected to a flash memory 154 which is a non-volatile memory holding the memory.

CPU151には、前述したLCD103、カメラ104、マイク105、通信インタフェース162、赤外線センサ171、スキャナ181、および発光部192が、いずれも各種の入出力回路を介して接続され、CPU151によって動作制御される。   The LCD 151, the camera 104, the microphone 105, the communication interface 162, the infrared sensor 171, the scanner 181, and the light emitting unit 192 are all connected to the CPU 151 via various input / output circuits, and the operation is controlled by the CPU 151. .

なお、本実施形態では、試着室端末101は、顧客からの操作を受け付けるためのタッチパネルや操作キーなどのハードウェアを備えておらず、CPU151が、カメラ104により撮像された動画像内の顧客のジェスチャによる操作またはマイク105から入力された音声による操作を受け付けるものとする。なお、ジェスチャまたは音声による操作を受け付ける方法については、各種の公知手法を用いて実行するものとし、ここでは説明を省略する。   In the present embodiment, the fitting room terminal 101 does not include hardware such as a touch panel and operation keys for accepting operations from the customer, and the CPU 151 does not include the customer's image in the moving image captured by the camera 104. It is assumed that an operation by a gesture or an operation by a voice input from the microphone 105 is accepted. In addition, about the method of receiving operation by gesture or an audio | voice, it shall perform using various well-known methods, and abbreviate | omits description here.

フラッシュメモリ154には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ154に記憶されている各種コンピュータプログラムおよび各種ファイルは、試着室端末101の起動時に、その全部または一部がRAM153にコピーされて使用される。   The flash memory 154 stores various computer programs and various files. Various computer programs and various files stored in the flash memory 154 are used by copying all or a part of them to the RAM 153 when the fitting room terminal 101 is activated.

そして、試着室端末101のCPU151は、コンピュータプログラムに従って実行する処理中に各種のファイルにデータアクセスする。アクセスされるファイルは、コンピュータ301のHDD(図示せず)に格納されているファイルである。   Then, the CPU 151 of the fitting room terminal 101 performs data access to various files during processing executed according to the computer program. The file to be accessed is a file stored in the HDD (not shown) of the computer 301.

図1に戻り、ハンディーターミナル601は、店舗に来店した顧客に貸し出され、顧客により操作される携帯端末であり、顧客が自ら商品の登録を行うためのものである。図4は、ハンディーターミナルの構成を示すブロック図である。ハンディーターミナル601は、図4に示すように、スキャナ602、操作部603、表示部604、通信インタフェース605、記憶部606、および制御部607を備えている。   Returning to FIG. 1, the handy terminal 601 is a portable terminal that is rented to a customer who visits the store and is operated by the customer, and is used by the customer to register the product. FIG. 4 is a block diagram showing the configuration of the handy terminal. As shown in FIG. 4, the handy terminal 601 includes a scanner 602, an operation unit 603, a display unit 604, a communication interface 605, a storage unit 606, and a control unit 607.

スキャナ602は、衣料品31に付されているタグ41に印刷されたバーコード42から商品IDを読み取る。操作部603は、各種キーやタッチパネル等の入力デバイスを有し、この入力デバイスの操作に応じた操作信号を制御部607に通知する。通信インタフェース605は、中継装置12を介してコンピュータ301と接続し、装置間で行われるデータ通信を制御する。本実施形態では、通信インタフェース605は、試着室端末101から、当該試着室端末101のカメラ104により撮影された静止画を受信する。表示部604は、LCD等の表示デバイスを有し、制御部607の制御に従い文字や図形、通信インタフェース605により受信した静止画等を、表示デバイスに表示するものである。   The scanner 602 reads the product ID from the barcode 42 printed on the tag 41 attached to the clothing 31. The operation unit 603 includes input devices such as various keys and a touch panel, and notifies the control unit 607 of an operation signal corresponding to the operation of the input device. The communication interface 605 is connected to the computer 301 via the relay device 12 and controls data communication performed between the devices. In the present embodiment, the communication interface 605 receives a still image taken by the camera 104 of the fitting room terminal 101 from the fitting room terminal 101. The display unit 604 has a display device such as an LCD, and displays characters and graphics, a still image received by the communication interface 605, and the like on the display device according to the control of the control unit 607.

記憶部606は、例えばHDDやSSD(Solid State Drive)、フラッシュメモリ等であって、制御部607が実行する各種プログラムや設定情報を予め記憶する。また、記憶部606は、通信インタフェース605により試着室端末101から受信された静止画を記憶する。   The storage unit 606 is, for example, an HDD, an SSD (Solid State Drive), a flash memory, or the like, and stores various programs executed by the control unit 607 and setting information in advance. In addition, the storage unit 606 stores a still image received from the fitting room terminal 101 through the communication interface 605.

制御部607は、CPU、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、記憶部606に記憶された所定のプログラムを実行することでハンディーターミナル601の各部の動作を統括的に制御する。また、制御部607は、記憶部606に記憶される所定のプログラムに従って実行する処理中に各種のファイルにデータアクセスする。アクセスされるファイルは、コンピュータ301のHDD(図示せず)に格納されているファイルである。つまり、コンピュータ301は、中継装置12を介してハンディーターミナル601に接続されている。そのため、これらのファイルは、制御部607によってデータアクセス可能となっている。   The control unit 607 includes a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The control unit 607 executes a predetermined program stored in the storage unit 606 to control operations of each unit of the handy terminal 601. To control. In addition, the control unit 607 accesses data of various files during processing executed according to a predetermined program stored in the storage unit 606. The file to be accessed is a file stored in the HDD (not shown) of the computer 301. That is, the computer 301 is connected to the handy terminal 601 through the relay device 12. Therefore, these files can be accessed by the control unit 607.

ここで、図5〜9を用いて、コンピュータ301のHDD(図示せず)に格納されている各種のファイル(商品ファイルF1、在庫ファイルF2、顧客ファイルF4、画像ファイルF3等)について説明する。   Here, various files (product file F1, inventory file F2, customer file F4, image file F3, etc.) stored in the HDD (not shown) of the computer 301 will be described with reference to FIGS.

図5は、商品ファイルのデータ構成を示す図である。商品ファイルF1は、商品(衣料品31)を特定する商品IDに対応付けて、商品名と、単価と、当該商品IDにより特定される商品と組み合わせて着用可能な商品のうちおすすめコーディネート商品の商品IDと、を記憶するファイルである。本実施形態では、商品IDは、8桁の数字で表され、例えば、三つボタンジャケットを特定する商品IDは、「1234××××」である。「1234××××」における下四桁「××××」は任意の数字である。そのため、例えば、「12345678」と「12341234」とは、いずれも三つボタンジャケットを示す商品IDである。商品ファイルF1は、ハンディーターミナル601による合成画像の表示処理の実行中にデータアクセスされて、商品名や単価が読み出される。   FIG. 5 is a diagram showing the data structure of the product file. The product file F1 is a product of recommended coordinated products among products that can be worn in combination with the product name, unit price, and the product specified by the product ID in association with the product ID specifying the product (clothing 31). This is a file for storing the ID. In the present embodiment, the product ID is represented by an 8-digit number. For example, the product ID that specifies the three-button jacket is “1234xxx”. The last four digits “xxxx” in “1234xxx” are arbitrary numbers. Therefore, for example, “12345678” and “12341234” are both product IDs indicating a three-button jacket. The product file F1 is accessed during execution of the composite image display process by the handy terminal 601, and the product name and unit price are read out.

なお、商品ファイルF1は、POS端末501による商品販売データ処理の実行中にもデータアクセスされて、商品名と単価とが読み出される。つまり、商品販売データ処理は、スキャナ502によって読み取られた商品IDに基づいて、商品ファイルF1から対応する商品名および単価のデータを読み出し、読み出した単価に基づいて決済金額を算出する処理である。   The product file F1 is also accessed during execution of the product sales data processing by the POS terminal 501, and the product name and unit price are read out. That is, the product sales data process is a process of reading the corresponding product name and unit price data from the product file F1 based on the product ID read by the scanner 502, and calculating the settlement amount based on the read unit price.

図6は、在庫ファイルのデータ構成を示す図である。在庫ファイルF2は、店舗に陳列されている商品(衣料品31)について、商品名および在庫数を書き換え自在に記憶するファイルである。   FIG. 6 is a diagram showing the data structure of the inventory file. The stock file F2 is a file that stores the product name and the number of stocks in a rewritable manner for the product (clothing 31) displayed in the store.

また、在庫ファイルF2には、店舗にある全ての在庫についての商品IDに対応付けて、商品IDによって特定される個別の商品についての属性情報である色やサイズや丈が記憶されている。   In addition, the stock file F2 stores color, size, and length, which are attribute information about individual products specified by the product ID, in association with the product IDs of all stocks in the store.

さらに、在庫ファイルF2には、商品IDに対応付けて場所が記憶されている。場所には、店舗におけるその商品の陳列場所が所定の場所記号(A−1−a、B−2−c等)で記憶される。場所記号は陳列場所毎に割り当てられている。なお、その商品が店舗に陳列されておらず倉庫にある場合に、場所には「倉庫」という情報が記憶される。   Further, the inventory file F2 stores a location in association with the product ID. In the place, the display place of the product in the store is stored with a predetermined place symbol (A-1-a, B-2-c, etc.). A place symbol is assigned to each display place. When the product is not displayed in the store and is in the warehouse, information “warehouse” is stored in the place.

例えば、図6に示すように、三つボタンジャケットについては、在庫数=9である。そして、この9つの在庫中、商品ID=12345678によって特定される三つボタンジャケットは、色=ダークブラウン、サイズ=M、場所=A−1−a、丈=70cmである。   For example, as shown in FIG. 6, the number of stocks = 9 for a three button jacket. In the nine stocks, the three-button jacket specified by the product ID = 12345678 has color = dark brown, size = M, place = A-1-a, and length = 70 cm.

図7は、画像ファイルのデータ構成を示す図である。画像ファイルF3は、図7に示すように、商品IDに対応付けて、商品IDにより特定される衣料品31および当該衣料品31から露出する顧客の肌画像を含む画像(以下、衣料品画像とする)を記憶する。図8は、衣料品画像の構成を概略的に示す模式図である。本実施形態では、衣料品画像800は、図8に示すように、衣料品31の画像が配置された衣料品画像レイヤ801と、顧客が衣料品31を着用した場合に当該衣料品31から露出する肌画像が配置された肌画像レイヤ802と、の2層構成となっている。   FIG. 7 shows the data structure of the image file. As shown in FIG. 7, the image file F <b> 3 is associated with the product ID, and includes an image including the clothing 31 specified by the product ID and the skin image of the customer exposed from the clothing 31 (hereinafter referred to as a clothing image and Remember). FIG. 8 is a schematic diagram schematically showing the configuration of a clothing image. In the present embodiment, as shown in FIG. 8, the clothing image 800 is exposed from the clothing image layer 801 in which the image of the clothing 31 is arranged and the clothing 31 when the customer wears the clothing 31. And a skin image layer 802 in which skin images to be arranged are arranged.

また、本実施形態では、画像ファイルF3は、衣料品31を複数の向きに向かせた場合の衣料品31の衣料品画像を、衣料品31を向かせた向きを付加して記憶する。なお、衣料品画像は、バーチャルな3D画像であっても良いし、2D画像であっても良い。   In the present embodiment, the image file F3 stores the clothing image of the clothing item 31 when the clothing item 31 is directed in a plurality of directions, with the direction in which the clothing item 31 is directed added. The clothing image may be a virtual 3D image or a 2D image.

図9は、顧客ファイルのデータ構成を示す図である。顧客ファイルF4は、図9に示すように、顧客を特定する顧客IDと対応付けて、顧客の氏名、顧客が着用する商品のサイズ、購入済み商品の商品ID、および登録済み商品の商品IDを記憶する。ここで、購入済み商品の商品IDは、POS端末501において商品販売データ処理を行った商品の商品IDである。また、登録済み商品の商品IDとは、ハンディーターミナル601において登録された商品の商品IDである。   FIG. 9 is a diagram showing the data structure of the customer file. As shown in FIG. 9, the customer file F4 is associated with the customer ID that identifies the customer, and includes the customer's name, the size of the product worn by the customer, the product ID of the purchased product, and the product ID of the registered product. Remember. Here, the product ID of the purchased product is the product ID of the product for which product sales data processing has been performed in the POS terminal 501. Further, the product ID of the registered product is the product ID of the product registered in the handy terminal 601.

このような構成において、ハンディーターミナル601を操作する顧客は、試着した衣料品31に変えて着用する他の衣料品31の衣料品画像を、衣料品31を試着した際に撮影した静止画に重ね合わせた合成画像を表示部604に表示する。これにより、顧客は、表示部604に表示した合成画像を見ながら、試着した衣料品31を購入するか若しくは他の衣料品31を購入するか否かを検討することができる。以下に、ハンディーターミナル601で実行される商品登録処理について説明する。   In such a configuration, the customer who operates the handy terminal 601 superimposes the clothing image of the other clothing 31 to be worn instead of the tried-on clothing 31 on the still image taken when the clothing 31 is tried on. The combined composite image is displayed on the display unit 604. Accordingly, the customer can consider whether to purchase the tried-on clothing 31 or other clothing 31 while viewing the composite image displayed on the display unit 604. Below, the merchandise registration process executed at the handy terminal 601 will be described.

図10は、合成画像の表示処理の流れを示すフローチャートである。記憶部606に記憶されているコンピュータプログラムには、合成画像の表示処理用のプログラムが含まれている。この合成画像の表示処理用のプログラムは、その起動時に制御部607のRAMにコピーされて使用される。図10に示すフローチャートの処理は、制御部607のRAMにコピーされた合成画像の表示処理用のプログラムに従い制御部607が実行する処理内容を示している。   FIG. 10 is a flowchart showing the flow of the composite image display process. The computer program stored in the storage unit 606 includes a composite image display processing program. The composite image display processing program is copied to the RAM of the control unit 607 and used at the time of activation. The processing of the flowchart shown in FIG. 10 shows the processing contents executed by the control unit 607 in accordance with the composite image display processing program copied to the RAM of the control unit 607.

顧客が操作部603から自身の顧客IDやパスワードなどを入力してログインすると、制御部607は、通信インタフェース605を介して試着室端末101から受信した静止画を記憶部606に記憶させるとともに、ハンディーターミナル601において商品の登録や合成画像の表示処理など各種処理の実行を操作するための操作画面を表示部604に表示する。   When the customer inputs his / her customer ID, password, and the like from the operation unit 603 and logs in, the control unit 607 stores the still image received from the fitting room terminal 101 via the communication interface 605 in the storage unit 606 as well as the handy. In the terminal 601, an operation screen for operating execution of various processes such as product registration and composite image display processing is displayed on the display unit 604.

図11は、ハンディーターミナルにおける各種処理の実行を操作するための操作画面の一例を示す図である。本実施形態では、制御部607は、ハンディーターミナル601において実行可能な処理のメニュー1101や、ハンディーターミナル601を使用する顧客名1104や、ハンディーターミナル601を使用する顧客が衣料品31の購入により獲得したポイント情報1105や、日時情報1106や、ハンディーターミナル601が受信する電波の強さを表すアンテナ表示1107や、試着した衣料品31に変えて着用する衣料品31の衣料品画像の表示を要求するための操作ボタン1102などを含む操作画面1100を表示部604に表示する。   FIG. 11 is a diagram illustrating an example of an operation screen for operating execution of various processes in the handy terminal. In this embodiment, the control unit 607 acquires the menu 1101 of processing that can be executed in the handy terminal 601, the customer name 1104 that uses the handy terminal 601, and the customer who uses the handy terminal 601 by purchasing the clothing 31. To request display of point information 1105, date and time information 1106, antenna display 1107 indicating the strength of radio waves received by the handy terminal 601, and clothing image of the clothing 31 to be worn instead of the tried-on clothing 31. The operation screen 1100 including the operation buttons 1102 is displayed on the display unit 604.

操作画面1100が表示されると、制御部607は、操作画面1100に含まれるメニュー1101の中から、メニュー1101:「購入検討」がタッチされて、合成画像の表示処理が要求されるのを待つ(ステップS1001)。   When the operation screen 1100 is displayed, the control unit 607 waits for a menu 1101: “Purchase Review” being touched from the menu 1101 included in the operation screen 1100 and a composite image display process being requested. (Step S1001).

制御部607は、合成画像の表示処理が要求されると(ステップS1001:Yes)、まず、図11に示すように、記憶部606に記憶されている静止画の表示要求などのプルダウンメニュー1103を含む操作画面1100を表示部604に表示して、静止画の表示要求を待つ(ステップS1002)。その後、プルダウンメニュー1103:「試着写真」がタッチされて、記憶部606に記憶されている静止画の表示要求が行われると(ステップS1002:Yes)、制御部607は、図11に示すように、記憶部606に記憶した静止画1109,1112を含む操作画面1100を表示部604に表示する(ステップS1003)。   When the composite image display process is requested (step S1001: Yes), the control unit 607 first displays a pull-down menu 1103 such as a still image display request stored in the storage unit 606, as shown in FIG. The operation screen 1100 is displayed on the display unit 604, and a request for displaying a still image is awaited (step S1002). After that, when the pull-down menu 1103: “Try-on photo” is touched and a request for displaying a still image stored in the storage unit 606 is made (step S1002: Yes), the control unit 607, as shown in FIG. The operation screen 1100 including the still images 1109 and 1112 stored in the storage unit 606 is displayed on the display unit 604 (step S1003).

本実施形態では、制御部607は、図11に示すように、静止画1109,1112に加えて、静止画1109,1112に付加された日時情報1110または名称1111、を含む操作画面1100を表示部604に表示する。また、制御部607は、商品ファイルF1および在庫ファイルF2から、操作画面1100の略中央に配置された静止画1112に付加された商品IDと対応付けられた商品名や単価やサイズを読み出す。そして、制御部607は、図11に示すように、読み出した商品名や単価やサイズを含む吹出し1108を静止画1112に付加する。さらに、制御部607は、静止画1112に付加された商品IDが、顧客ファイルF4において、ログインの際に入力された顧客IDと対応付けられた購入済み商品の商品IDと一致した場合、図11に示すように、購入済みである旨のメッセージを吹出し1108内に含める。   In the present embodiment, as shown in FIG. 11, the control unit 607 displays an operation screen 1100 including date and time information 1110 or name 1111 added to the still images 1109 and 1112 in addition to the still images 1109 and 1112. 604 is displayed. In addition, the control unit 607 reads the product name, unit price, and size associated with the product ID added to the still image 1112 arranged at the approximate center of the operation screen 1100 from the product file F1 and the inventory file F2. Then, as illustrated in FIG. 11, the control unit 607 adds a balloon 1108 including the read product name, unit price, and size to the still image 1112. Furthermore, when the product ID added to the still image 1112 matches the product ID of the purchased product associated with the customer ID input at the time of login in the customer file F4, the control unit 607 will be described with reference to FIG. , A message indicating that the purchase has been completed is included in the balloon 1108.

また、本実施形態では、制御部607は、記憶部606に記憶された全ての静止画を操作画面1100内に表示することができなかった場合、図11に示すように、記憶部606に記憶された他の静止画にスクロールさせるためのスクロールボタン1115を操作画面1100に含める。また、本実施形態では、制御部607は、操作画面1100の略中央に配置された静止画1112を360度回転させるための回転ボタン1113,1114を操作画面1100に含める。ただし、360度全ての向きに顧客を向かせた静止画1112を表示するためには、試着室端末101から、360度全ての向きに顧客を向かせて撮影した静止画1112を受信する必要がある。そして、制御部607は、回転ボタン1113,1114により指示された向きの静止画1112を記憶部606から読み出して、読み出した静止画1112を操作画面1100に含めるものとする。   In the present embodiment, when all the still images stored in the storage unit 606 cannot be displayed in the operation screen 1100, the control unit 607 stores the storage unit 606 in the storage unit 606 as illustrated in FIG. The operation screen 1100 includes a scroll button 1115 for scrolling to the other still image. Further, in the present embodiment, the control unit 607 includes rotation buttons 1113 and 1114 for rotating the still image 1112 disposed approximately at the center of the operation screen 1100 by 360 degrees in the operation screen 1100. However, in order to display the still image 1112 facing the customer in all directions of 360 degrees, it is necessary to receive the still image 1112 taken with the customer facing in all directions of 360 degrees from the fitting room terminal 101. is there. Then, the control unit 607 reads the still image 1112 in the direction designated by the rotation buttons 1113 and 1114 from the storage unit 606, and includes the read still image 1112 in the operation screen 1100.

さらに、本実施形態では、操作画面1100に含まれる静止画1109のうち、操作部603によりフリックされかつ操作画面1100の略中央に移動された静止画1109を、他の静止画1109よりも大きい静止画1112に変倍して、操作画面1100の略中央に配置するものとする。   Further, in the present embodiment, among the still images 1109 included in the operation screen 1100, the still image 1109 flicked by the operation unit 603 and moved to the approximate center of the operation screen 1100 is larger than the other still images 1109. It is assumed that the image is scaled to the image 1112 and arranged at the approximate center of the operation screen 1100.

図12および図13は、静止画を他の静止画よりも大きい静止画に変倍して操作画面の略中央に配置する処理を説明するための図である。例えば、図11に示す操作画面1100において、右端に配置された静止画1109がフリックされると、制御部607は、フリックされた静止画1109の縁や当該静止画1109の上に配置された名称1111の縁の色を変えて強調表示する。その後、フリックされた静止画1109が操作画面1100の略中央に移動された場合、制御部607は、図12に示すように、当該フリックされた静止画1109を、他の静止画1109よりも大きい静止画1112に拡大する。そして、フリックされた静止画1112の移動が停止すると、制御部607は、図13に示すように、静止画1112に吹出し1108を付加する。   FIG. 12 and FIG. 13 are diagrams for explaining processing for scaling a still image to a still image larger than other still images and arranging it in the approximate center of the operation screen. For example, when the still image 1109 arranged at the right end is flicked on the operation screen 1100 shown in FIG. 11, the control unit 607 displays the edge arranged on the flicked still image 1109 or the name arranged on the still image 1109. The edge color of 1111 is changed and highlighted. Thereafter, when the flicked still image 1109 is moved to approximately the center of the operation screen 1100, the control unit 607 makes the flicked still image 1109 larger than the other still images 1109 as shown in FIG. The image is enlarged to the still image 1112. Then, when the movement of the flicked still image 1112 stops, the control unit 607 adds a balloon 1108 to the still image 1112 as shown in FIG.

図10に戻り、制御部607(画像選択部)は、操作画面1100の略中央に配置された静止画1112を、衣料品31を着用した人物の画像として選択する(ステップS1004)。なお、本実施形態では、静止画1112を、衣料品を着用した人物の画像として選択しているが、これに限定するものではなく、衣料品31を試着する人物の動画像を、衣料品31を着用した人物の画像として選択しても良い。さらに、制御部607(データ選択部)は、静止画1112に含まれる人物が着用している衣料品31に変えて着用する衣料品31(衣料品データ)を選択する(ステップS1005)。   Returning to FIG. 10, the control unit 607 (image selection unit) selects the still image 1112 arranged at the approximate center of the operation screen 1100 as an image of the person wearing the clothing 31 (step S <b> 1004). In the present embodiment, the still image 1112 is selected as an image of a person wearing clothing. However, the present invention is not limited to this, and a moving image of a person trying on the clothing 31 is selected as the clothing 31. You may select as an image of the person who wore. Further, the control unit 607 (data selection unit) selects the clothing item 31 (clothing data) to be worn instead of the clothing item 31 worn by the person included in the still image 1112 (step S1005).

図14〜16は、静止画に含まれる人物が着用している衣料品に変えて着用する衣料品を選択する操作画面の一例を示す図である。例えば、図11に示す操作画面1100において、操作ボタン1102:「買物カゴ」がタッチされると、制御部607は、顧客ファイルF4から、ログインの際に入力された顧客IDと対応付けられた登録済み商品の商品IDを読み出す。次いで、制御部607は、画像ファイルF3から、読み出した商品IDと対応付けられた衣料品画像800を構成する衣料品画像レイヤ801を全て読み出す。そして、制御部607は、図14に示すように、読み出した衣料品画像レイヤ801の一覧を含む操作画面1400を表示部604に表示する。なお、本実施形態では、画像ファイルF3から読み出した全ての衣料品画像レイヤ801が操作画面1400内に表示し切れなかった場合には、制御部607は、操作画面1400内に表示されていない衣料品画像レイヤ801にスクロールさせるスクロールボタン1403を表示する。   14-16 is a figure which shows an example of the operation screen which selects the clothing to wear instead of the clothing which the person contained in a still image is wearing. For example, when the operation button 1102: “shopping basket” is touched on the operation screen 1100 shown in FIG. 11, the control unit 607 registers from the customer file F4 in association with the customer ID input at the time of login. Read the product ID of the finished product. Next, the control unit 607 reads from the image file F3 all the clothing image layers 801 constituting the clothing image 800 associated with the read product ID. Then, as illustrated in FIG. 14, the control unit 607 displays an operation screen 1400 including a list of the read clothing image layers 801 on the display unit 604. In the present embodiment, when all the clothing image layers 801 read from the image file F3 cannot be displayed in the operation screen 1400, the control unit 607 displays the clothing that is not displayed in the operation screen 1400. A scroll button 1403 for scrolling to the product image layer 801 is displayed.

さらに、本実施形態では、制御部607は、操作画面1400に衣料品画像レイヤ801を表示する衣料品31の種類(例えば、ボトムスやトップスなど)を選択するための選択ボタン1401を操作画面1400に含める。例えば、操作画面1400において、ボトムスを選択する選択ボタン1401がタッチされると、制御部607は、図15に示すように、画像ファイルF3から読み出した衣料品画像レイヤ801のうち、ボトムスの衣料品画像レイヤ801を抽出し、抽出した衣料品画像レイヤ801を操作画面1400に含める。   Furthermore, in the present embodiment, the control unit 607 provides a selection button 1401 on the operation screen 1400 for selecting the type of clothing 31 (for example, bottoms or tops) for displaying the clothing image layer 801 on the operation screen 1400. include. For example, when the selection button 1401 for selecting bottoms is touched on the operation screen 1400, the control unit 607, as shown in FIG. 15, out of the clothing image layer 801 read from the image file F3, the bottoms clothing item. The image layer 801 is extracted, and the extracted clothing image layer 801 is included in the operation screen 1400.

次いで、操作画面1400に含めた衣料品画像レイヤ801のいずれかがタッチされると、制御部607は、図16に示すように、タッチされた衣料品画像レイヤ801の縁の色を変えて強調表示する。さらに、制御部607は、タッチされた衣料品画像レイヤ801が静止画1112の上に移動されると、画像ファイルF3において、静止画1112の上に移動された衣料品画像レイヤ801が対応付けられた商品IDにより特定される衣料品31を、静止画1112に含まれる顧客が着用している衣料品31に変えて着用する衣料品31として選択する。   Next, when one of the clothing image layers 801 included in the operation screen 1400 is touched, the control unit 607 changes the edge color of the touched clothing image layer 801 and emphasizes it as shown in FIG. indicate. Furthermore, when the touched clothing image layer 801 is moved onto the still image 1112, the control unit 607 associates the clothing image layer 801 moved onto the still image 1112 in the image file F3. The clothing item 31 specified by the product ID is selected as the clothing item 31 to be worn instead of the clothing item 31 worn by the customer included in the still image 1112.

図10に戻り、静止画1112に含まれる人物が着用している衣料品31に変えて着用する衣料品31が選択されると、制御部607(判断部)は、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈よりも長いか否かを判断する(ステップS1006)。本実施形態では、制御部607は、静止画1112に付加された商品IDおよび選択された衣料品31の商品IDを利用して、在庫ファイルF2から、静止画1112に含まれる人物が着用している衣料品31の丈および選択された衣料品31の丈を読み出し、読み出した丈を比較することにより、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈よりも長いか否かを判断する。   Returning to FIG. 10, when the clothing 31 to be worn instead of the clothing 31 worn by the person included in the still image 1112 is selected, the control unit 607 (determination unit) displays the person included in the still image 1112. It is determined whether or not the length of the clothing item 31 worn by the wearer is longer than the length of the selected clothing item 31 (step S1006). In this embodiment, the control unit 607 uses the product ID added to the still image 1112 and the product ID of the selected clothing item 31 to wear the person included in the still image 1112 from the inventory file F2. The length of the clothing item 31 and the length of the selected clothing item 31 are read, and the lengths of the clothing item 31 worn by the person included in the still image 1112 are compared with each other by comparing the read lengths. It is determined whether or not the product 31 is longer than the length.

そして、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈よりも長いと判断した場合(ステップS1006:Yes)、制御部607(生成部)は、選択された衣料品31と当該衣料品31から露出する顧客の肌画像とを含む衣料品画像を生成する(ステップS1007)。本実施形態では、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈よりも長いと判断した場合、制御部607は、画像ファイルF3から、選択した衣料品31の商品IDと対応付けられ、衣料品画像レイヤ801と肌画像レイヤ802の2層構成となっている衣料品画像を読み出す。   If it is determined that the length of the clothing item 31 worn by the person included in the still image 1112 is longer than the length of the selected clothing item 31 (step S1006: Yes), the control unit 607 (generation unit). Generates a clothing image including the selected clothing 31 and the skin image of the customer exposed from the clothing 31 (step S1007). In the present embodiment, when it is determined that the length of the clothing item 31 worn by the person included in the still image 1112 is longer than the length of the selected clothing item 31, the control unit 607 determines from the image file F3, A clothing image corresponding to the product ID of the selected clothing item 31 and having a two-layer configuration of a clothing image layer 801 and a skin image layer 802 is read out.

一方、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈以下であると判断した場合(ステップS1006:No)、制御部607(生成部)は、選択された衣料品31を含む衣料品画像を生成する(ステップS1008)。本実施形態では、静止画1112に含まれる人物が着用している衣料品31の丈が、選択された衣料品31の丈以下であると判断した場合、制御部607は、画像ファイルF3から、選択された衣料品31の商品IDと対応付けられ、衣料品画像レイヤ801の1層構成となっている衣料品画像を読み出す。   On the other hand, when it is determined that the length of the clothing item 31 worn by the person included in the still image 1112 is equal to or less than the length of the selected clothing item 31 (step S1006: No), the control unit 607 (generation unit). Generates a clothing image including the selected clothing 31 (step S1008). In the present embodiment, when it is determined that the length of the clothing item 31 worn by the person included in the still image 1112 is equal to or less than the height of the selected clothing item 31, the control unit 607 determines from the image file F3, A clothing image that is associated with the product ID of the selected clothing item 31 and has a single layer configuration of the clothing image layer 801 is read out.

なお、制御部607は、選択した静止画1112内の顧客(人物)の特徴を判別し、判別した特徴に応じた肌画像を含む衣料品画像を生成することも可能である。具体的には、制御部607は、選択した静止画1112内の顧客の肌の色を判別し、判別した肌の色の肌画像を含む衣料品画像を生成しても良い。本実施形態では、制御部607は、肌画像レイヤ802に配置された肌画像の色を、判別した肌の色に変更した衣料品画像を生成する。   Note that the control unit 607 can also determine the characteristics of the customer (person) in the selected still image 1112 and generate a clothing image including a skin image corresponding to the determined characteristics. Specifically, the control unit 607 may determine a customer's skin color in the selected still image 1112 and generate a clothing image including a skin image of the determined skin color. In the present embodiment, the control unit 607 generates a clothing image in which the color of the skin image arranged in the skin image layer 802 is changed to the determined skin color.

また、制御部607は、選択した静止画1112内の顧客の体型を判別し、判別した体型の肌画像を含む衣料品画像を生成しても良い。本実施形態では、制御部607は、判別した体型(例えば、首や腕や足の太さなど)が予め設定された体型よりも大きいか否かを判断する。そして、制御部607は、判別した体型が予め設定された体型よりも大きいと判断した場合には、肌画像レイヤ802に配置された肌画像(例えば、首や腕や足など肌画像)を大きくした衣料品画像を生成し、判別した体型が予め設定された体型よりも小さいと判断した場合には、肌画像レイヤ802に配置された肌画像を小さくした衣料品画像を生成する。   The control unit 607 may determine the customer's body shape in the selected still image 1112 and generate a clothing image including a skin image of the determined body shape. In the present embodiment, the control unit 607 determines whether or not the determined body shape (for example, the thickness of the neck, arm, or leg) is larger than a preset body shape. When the control unit 607 determines that the determined body type is larger than the preset body type, the skin image (for example, a skin image such as a neck, an arm, or a leg) arranged in the skin image layer 802 is enlarged. When the determined clothing figure is smaller than the preset body shape, a clothing image in which the skin image arranged in the skin image layer 802 is made smaller is generated.

さらに、制御部607は、選択した静止画1112内の顧客が着用している衣料品31を判別し、判別した衣料品に応じた前記肌画像を含む前記衣料品画像を生成しても良い。本実施形態では、制御部607は、選択した静止画1112内の顧客が着用している衣料品31のサイズが予め設定されたサイズよりも小さいか否かを判断する。そして、制御部607は、選択した静止画1112内の顧客が着用している衣料品31のサイズが予め設定されたサイズよりも大きいと判断した場合には、肌画像レイヤ802に配置された肌画像(例えば、首や腕や足など肌画像)を大きくした衣料品画像を生成し、選択した静止画1112内の顧客が着用している衣料品31のサイズが予め設定されたサイズよりも小さいと判断した場合には、肌画像レイヤ802に配置された肌画像を小さくした衣料品画像を生成する。   Further, the control unit 607 may determine the clothing item 31 worn by the customer in the selected still image 1112 and generate the clothing image including the skin image corresponding to the determined clothing item. In the present embodiment, the control unit 607 determines whether the size of the clothing 31 worn by the customer in the selected still image 1112 is smaller than a preset size. When the control unit 607 determines that the size of the clothing item 31 worn by the customer in the selected still image 1112 is larger than a preset size, the skin arranged in the skin image layer 802 A clothing image in which an image (for example, a skin image of a neck, an arm, a leg, etc.) is enlarged is generated, and the size of the clothing 31 worn by the customer in the selected still image 1112 is smaller than a preset size. If it is determined, a clothing image in which the skin image arranged in the skin image layer 802 is reduced is generated.

次いで、制御部607(衣料品表示部)は、図16に示すように、選択した静止画1112に、生成した衣料品画像1602を重ね合わせた合成画像1601を含む操作画面1400を表示部604に表示する(ステップS1009)。本実施形態では、制御部607は、静止画1112に含まれる人物が着用している衣料品31の部分に当該部分の表示と異ならせる透過処理を施す。そして、制御部607は、透過処理を施した部分に、読み出した衣料品画像1602を重ね合わせた合成画像1601を含む操作画面1400を表示部604に表示するものとする。   Next, as shown in FIG. 16, the control unit 607 (clothes display unit) displays an operation screen 1400 including a composite image 1601 in which the generated clothing image 1602 is superimposed on the selected still image 1112 on the display unit 604. It is displayed (step S1009). In the present embodiment, the control unit 607 performs a transparent process for making the portion of the clothing 31 worn by the person included in the still image 1112 different from the display of the portion. Then, the control unit 607 displays on the display unit 604 an operation screen 1400 including a composite image 1601 in which the read clothing image 1602 is superimposed on the portion subjected to the transparent process.

図17は、衣料品の登録処理を実行するための操作ボタンが表示された操作画面の一例を示す図である。顧客が操作画面1400に含まれる衣料品画像1602にタッチすると、制御部607は、図17に示すように、タッチされた衣料品画像1602に対応する衣料品31の商品名や単価等の商品情報1702や当該衣料品31に対する各種処理を実行するための操作ボタン1703などが表示されたポップアップ1701を含む操作画面1700を表示部604に表示する。   FIG. 17 is a diagram illustrating an example of an operation screen on which operation buttons for executing clothing registration processing are displayed. When the customer touches clothing image 1602 included in operation screen 1400, control unit 607, as shown in FIG. 17, product information such as the product name and unit price of clothing 31 corresponding to touched clothing image 1602. An operation screen 1700 including a pop-up 1701 on which an operation button 1703 for executing various processes for the clothing item 31 and 1702 is displayed is displayed on the display unit 604.

そして、操作画面1700において、商品(衣料品31)の登録処理を実行するための操作ボタン1703:「買物カゴ」がタッチされると、制御部607は、衣料品31の商品IDを、顧客ファイルF4において顧客IDと対応付けられた登録済み商品の商品IDに追加して、衣料品31の登録処理を実行する。   Then, on the operation screen 1700, when an operation button 1703 for executing registration processing of a product (clothing 31): “shopping basket” is touched, the control unit 607 displays the product ID of the clothing 31 in the customer file. In addition to the product ID of the registered product associated with the customer ID in F4, the clothing 31 registration process is executed.

図18は、衣料品の登録処理の実行後に表示される操作画面の一例を示す図である。衣料品31の登録処理の実行後、制御部607は、図18に示すように、顧客ファイルF4において顧客IDと対応付けられた登録済み商品の商品IDにより特定される衣料品31の商品名や単価等の商品情報の一覧や、当該一覧に商品情報が表示された衣料品31の購入等の各種処理を実行するための操作ボタン1802などが表示されたポップアップ1801を含む操作画面1800を表示部604に表示する。   FIG. 18 is a diagram illustrating an example of an operation screen displayed after execution of the clothing registration process. After performing the registration process of the clothing item 31, the control unit 607, as shown in FIG. 18, the product name of the clothing item 31 specified by the product ID of the registered product associated with the customer ID in the customer file F4. An operation screen 1800 including a pop-up 1801 displaying a list of product information such as unit prices and operation buttons 1802 for executing various processes such as purchase of clothing 31 on which the product information is displayed in the list is displayed. 604 is displayed.

このように本実施形態にかかる業務支援システム11によれば、衣料品31を着用した顧客の静止画1112を選択し、選択した静止画1112内の顧客が着用中の衣料品31に変えて試着する衣料品31を選択し、着用中の衣料品31の丈が選択した衣料品31の丈よりも長いか否かを判断し、着用中の衣料品31の丈が選択した衣料品31の丈よりも長いと判断した場合、選択した衣料品31および当該衣料品31から露出する顧客の肌画像を含む衣料品画像1602を生成し、選択した静止画1112内の顧客に、生成した衣料品画像1602を重ね合わせた合成画像1601を表示することにより、ズボンなど丈の長い衣料品31を着用した顧客の静止画1112に対して、スカートなど丈の短い衣料品31の衣料品画像1602を重ね合わせた合成画像1601を表示した場合に、スカートから露出する肌の部分を含んだ合成画像1601を表示できるので、購入を検討しているスカートを実際に着用したイメージを捉え易くすることができる。   As described above, according to the business support system 11 according to the present embodiment, the customer's still image 1112 wearing the clothing item 31 is selected, and the customer in the selected still image 1112 changes to the clothing item 31 being worn and tried on. The clothing item 31 to be worn is selected, whether or not the length of the clothing item 31 being worn is longer than the length of the selected clothing item 31, and the length of the clothing item 31 being worn is selected. If it is determined that the clothing image 1602 is longer, the clothing image 1602 including the selected clothing 31 and the customer's skin image exposed from the clothing 31 is generated, and the generated clothing image is displayed to the customer in the selected still image 1112. By displaying a composite image 1601 in which 1602 is superimposed, a clothing image 1602 of a short garment 31 such as a skirt is displayed on a still image 1112 of a customer wearing a long garment 31 such as trousers. When the combined composite image 1601 is displayed, the composite image 1601 including the skin portion exposed from the skirt can be displayed, so that it is possible to easily capture an image of actually wearing the skirt being considered for purchase. .

本実施形態のハンディーターミナル601で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。   A program executed in the handy terminal 601 of the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). It is recorded on a readable recording medium and provided.

また、本実施形態のハンディーターミナル601で実行されるプログラムを、インターネット等の通信回線15に接続されたコンピュータ301上に格納し、通信回線15経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のハンディーターミナル601で実行されるプログラムをインターネット等の通信回線15経由で提供または配布するように構成しても良い。   Further, the program executed in the handy terminal 601 according to the present embodiment may be provided by being stored on the computer 301 connected to the communication line 15 such as the Internet and downloaded via the communication line 15. good. Further, the program executed in the handy terminal 601 of the present embodiment may be provided or distributed via the communication line 15 such as the Internet.

また、本実施形態のハンディーターミナル601で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。   Further, the program executed in the handy terminal 601 of this embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.

本実施形態のハンディーターミナル601で実行されるプログラムは、上述した各部(画像選択部、データ選択部、判断部、生成部、合成画像表示部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像選択部、データ選択部、判断部、生成部、合成画像表示部が主記憶装置上に生成されるようになっている。   The program executed in the handy terminal 601 according to the present embodiment has a module configuration including the above-described units (image selection unit, data selection unit, determination unit, generation unit, and composite image display unit). As the CPU (processor) reads the program from the storage medium and executes it, the above units are loaded onto the main storage device, and the image selection unit, data selection unit, determination unit, generation unit, and composite image display unit It is generated on the main memory.

なお、本実施形態では、ハンディーターミナル601単体で上述した各部(画像選択部、データ選択部、判断部、生成部、衣料品表示部)を含む業務支援システム11(試着システム)を実現しているが、これに限定するものではなく、通信回線15に接続された一または複数のコンピュータ301で上述した各部(画像選択部、データ選択部、判断部、生成部、衣料品表示部)を含む業務支援システム11を実現しても良い。また、本実施形態では、ハンディーターミナル601で上述した各部(画像選択部、データ選択部、判断部、生成部、衣料品表示部)を含む業務支援システム11(試着システム)を実現しているが、これに限定するものではなく、試着室21に設置された試着室端末101において、上述した各部(画像選択部、データ選択部、判断部、生成部、衣料品表示部)を含む業務支援システム11(試着システム)を実現しても良い。   In this embodiment, the handy terminal 601 alone realizes the business support system 11 (try-on system) including the above-described units (image selection unit, data selection unit, determination unit, generation unit, clothing display unit). However, the present invention is not limited to this, and includes one or more computers 301 connected to the communication line 15 as described above (image selection unit, data selection unit, determination unit, generation unit, clothing display unit). The support system 11 may be realized. In this embodiment, the handy terminal 601 implements the business support system 11 (try-on system) including the above-described units (image selection unit, data selection unit, determination unit, generation unit, clothing display unit). However, the present invention is not limited to this, and in the fitting room terminal 101 installed in the fitting room 21, a business support system including the above-described units (image selection unit, data selection unit, determination unit, generation unit, clothing display unit). 11 (try-on system) may be realized.

11 業務支援システム
15 通信回線
31 衣料品
301 コンピュータ
601 ハンディーターミナル
604 表示部
606 記憶部
607 制御部
1112 静止画
1601 合成画像
1602 衣料品画像
11 Business Support System 15 Communication Line 31 Clothing 301 Computer 601 Handy Terminal 604 Display Unit 606 Storage Unit 607 Control Unit 1112 Still Image 1601 Composite Image 1602 Clothing Image

特開2005−174204公報JP-A-2005-174204

Claims (6)

衣料品を着用した人物の画像を選択する画像選択手段と、
前記画像選択手段により選択した画像内の人物が着用中の衣料品に変えて試着する衣料品データを選択するデータ選択手段と、
前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いか否かを判断する判断手段と、
前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いと判断した場合、前記データ選択手段により選択した衣料品データおよび当該衣料品データから露出する人物の肌画像を含む画像を生成する生成手段と、
前記画像選択手段により選択した画像内の人物に、前記生成した画像を重ね合わせた合成画像を表示する表示手段と、
を備えたことを特徴とする試着システム。
Image selection means for selecting an image of a person wearing clothing,
Data selection means for selecting clothing data to be tried on instead of the clothing being worn by the person in the image selected by the image selection means;
Judgment means for judging whether the length of the clothing item being worn is longer than the length of the clothing data selected by the data selection unit;
When it is determined that the length of the clothing item being worn is longer than the length of the clothing data selected by the data selection unit, the clothing data selected by the data selection unit and the skin of the person exposed from the clothing data Generating means for generating an image including an image;
Display means for displaying a composite image in which the generated image is superimposed on a person in the image selected by the image selection means;
A fitting system characterized by comprising
前記画像選択手段により選択した画像内の人物の特徴を判別する判別手段をさらに備え、
前記生成手段は、前記判別した人物の特徴に応じた前記肌画像を含む画像を生成することを特徴とする請求項1に記載の試着システム。
A discriminating unit for discriminating characteristics of the person in the image selected by the image selecting unit;
The try-on system according to claim 1, wherein the generation unit generates an image including the skin image according to the characteristics of the determined person.
前記判別手段は、前記画像選択手段により選択した画像内の人物の色を判別し、
前記生成手段は、前記判別した肌の色の前記肌画像を含む画像を生成することを特徴とする請求項2に記載の試着システム。
The determining means determines the color of the person in the image selected by the image selecting means,
The fitting system according to claim 2, wherein the generation unit generates an image including the skin image of the determined skin color.
前記判別手段は、前記画像選択手段により選択した画像内の人物の体型を判別し、
前記生成手段は、前記判別した体型に応じた前記肌画像を含む画像を生成することを特徴とする請求項2または3に記載の試着システム。
The determining means determines the figure of a person in the image selected by the image selecting means,
The try-on system according to claim 2, wherein the generation unit generates an image including the skin image corresponding to the determined body type.
前記判別手段は、前記選択した画像内の人物が着用している衣料品を判別し、
前記生成手段は、前記判別した衣料品に応じた前記肌画像を含む画像を生成することを特徴とする請求項2から4のいずれか一に記載の試着システム。
The determining means determines clothing items worn by the person in the selected image,
The fitting system according to any one of claims 2 to 4, wherein the generation unit generates an image including the skin image corresponding to the determined clothing.
コンピュータを、
衣料品を着用した人物の画像を選択する画像選択手段と、
前記画像選択手段により選択した画像内の人物が着用中の衣料品に変えて試着する衣料品データを選択するデータ選択手段と、
前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いか否かを判断する判断手段と、
前記着用中の衣料品の丈が前記データ選択手段により選択した衣料品データの丈よりも長いと判断した場合、前記データ選択手段により選択した衣料品データおよび当該衣料品データから露出する人物の肌画像を含む画像を生成する生成手段と、
前記画像選択手段により選択した画像内の人物に、前記生成した画像を重ね合わせた合成画像を表示する表示手段と、
として機能させるためのプログラム。
Computer
Image selection means for selecting an image of a person wearing clothing,
Data selection means for selecting clothing data to be tried on instead of the clothing being worn by the person in the image selected by the image selection means;
Judgment means for judging whether the length of the clothing item being worn is longer than the length of the clothing data selected by the data selection unit;
When it is determined that the length of the clothing item being worn is longer than the length of the clothing data selected by the data selection unit, the clothing data selected by the data selection unit and the skin of the person exposed from the clothing data Generating means for generating an image including an image;
Display means for displaying a composite image in which the generated image is superimposed on a person in the image selected by the image selection means;
Program to function as.
JP2010258300A 2010-11-18 2010-11-18 Try-on system and program Active JP5194096B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010258300A JP5194096B2 (en) 2010-11-18 2010-11-18 Try-on system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010258300A JP5194096B2 (en) 2010-11-18 2010-11-18 Try-on system and program

Publications (2)

Publication Number Publication Date
JP2012108806A true JP2012108806A (en) 2012-06-07
JP5194096B2 JP5194096B2 (en) 2013-05-08

Family

ID=46494347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010258300A Active JP5194096B2 (en) 2010-11-18 2010-11-18 Try-on system and program

Country Status (1)

Country Link
JP (1) JP5194096B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101468A (en) * 2011-11-08 2013-05-23 Sony Corp Image processing apparatus, image processing method, and program
JP2016515226A (en) * 2013-01-17 2016-05-26 ナイキ イノベイト シーブイ Visual shopping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106419A (en) * 1995-08-04 1997-04-22 Sanyo Electric Co Ltd Clothes fitting simulation method
JPH10340282A (en) * 1997-04-11 1998-12-22 Toray Ind Inc Device and method for virtual try-on of clothes and clothes manufacturing device
JPH111813A (en) * 1997-04-11 1999-01-06 Toray Ind Inc Device for supporting article coordination and display of article coordination image and production of article
JP2000003376A (en) * 1998-06-15 2000-01-07 Toyobo Co Ltd Correction method for clothes and correction device using the method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106419A (en) * 1995-08-04 1997-04-22 Sanyo Electric Co Ltd Clothes fitting simulation method
JPH10340282A (en) * 1997-04-11 1998-12-22 Toray Ind Inc Device and method for virtual try-on of clothes and clothes manufacturing device
JPH111813A (en) * 1997-04-11 1999-01-06 Toray Ind Inc Device for supporting article coordination and display of article coordination image and production of article
JP2000003376A (en) * 1998-06-15 2000-01-07 Toyobo Co Ltd Correction method for clothes and correction device using the method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101468A (en) * 2011-11-08 2013-05-23 Sony Corp Image processing apparatus, image processing method, and program
US10163419B2 (en) 2011-11-08 2018-12-25 Sony Corporation Image processing to combine virtual object with captured image
US10720122B2 (en) 2011-11-08 2020-07-21 Sony Corporation Image processing apparatus and image processing method
US11024251B2 (en) 2011-11-08 2021-06-01 Sony Corporation Image processing apparatus and image processing method
JP2016515226A (en) * 2013-01-17 2016-05-26 ナイキ イノベイト シーブイ Visual shopping
US9734527B2 (en) 2013-01-17 2017-08-15 Nike, Inc. Visual shopping
US10817921B2 (en) 2013-01-17 2020-10-27 Nike, Inc. Method of visual shopping

Also Published As

Publication number Publication date
JP5194096B2 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
US8782565B2 (en) System for selecting objects on display
US11403829B2 (en) Object preview in a mixed reality environment
KR102372872B1 (en) User interface for loyalty accounts and private label accounts for a wearable device
JP2022091841A (en) Dynamic client checkout experience in automatic shopping environment
JP4659817B2 (en) Sales support device
JP6303160B1 (en) Purchase product settlement support system
US8689124B2 (en) Method, medium, and system for simplifying user management of products during online shopping
US9336550B2 (en) Interactive sale generation and purchase coordination digital media
KR20160015367A (en) Store of the future
JP2013218697A (en) User terminal apparatus, display apparatus, server and control method thereof
US20170148089A1 (en) Live Dressing Room
US20170124552A1 (en) Method and server for paying commodity using device
JP2012108805A (en) Try-on system
US20130182005A1 (en) Virtual fashion mirror system
JP6261060B2 (en) Information processing device
US20180150838A1 (en) Electronic payment acceptance device
CN113034226A (en) Live broadcast data processing method and device, electronic equipment, medium and product
JP2016515238A (en) Purchase of real and virtual products
US11899833B2 (en) Systems and methods for interacting with augmented reality content using a dual-interface
US10469910B2 (en) Methods for supplying, ordering, and transacting items based on motion images
JP2014081888A (en) Order support device, order support method and order support program
US9483658B2 (en) Display device
KR20170058134A (en) Method for providing user interface related to card and electronic device for the same
JP5194096B2 (en) Try-on system and program
US10304120B2 (en) Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

R150 Certificate of patent or registration of utility model

Ref document number: 5194096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3