JP2012044285A - 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法 - Google Patents

画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法 Download PDF

Info

Publication number
JP2012044285A
JP2012044285A JP2010181397A JP2010181397A JP2012044285A JP 2012044285 A JP2012044285 A JP 2012044285A JP 2010181397 A JP2010181397 A JP 2010181397A JP 2010181397 A JP2010181397 A JP 2010181397A JP 2012044285 A JP2012044285 A JP 2012044285A
Authority
JP
Japan
Prior art keywords
image data
image
unit
evaluation value
focus evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010181397A
Other languages
English (en)
Other versions
JP5588267B2 (ja
Inventor
Mitsuo Matsumoto
光雄 松本
Daisuke Tanaka
大輔 田中
Fumio Ogino
史雄 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUJIMIKKU KK
Original Assignee
FUJIMIKKU KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUJIMIKKU KK filed Critical FUJIMIKKU KK
Priority to JP2010181397A priority Critical patent/JP5588267B2/ja
Publication of JP2012044285A publication Critical patent/JP2012044285A/ja
Application granted granted Critical
Publication of JP5588267B2 publication Critical patent/JP5588267B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影された画像データから、合焦状態の良好な画像データのみを選択し、目的の画像データを即時に閲覧する。
【解決手段】CCDカメラ5により撮像された画像データを管理すコンピュータ1であって、複数枚の画像データを記憶保持する記憶部120と、CCDカメラ5により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出部116と、合焦点評価値算出部116が設定した優先順位に応じて、記憶部120に記憶された画像データを選択するデータ選択部115と、記憶部120に記憶保持された画像データを、優先順位に基づいて、表示するウインドウ42とを有する。
【選択図】図1

Description

本発明は、画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法に関する。
今日、CCDなどの撮像素子を用いて動画又は画像を撮影するデジタルカメラが普及されている。このデジタルカメラで撮影した画像は、デジタルデータとして記録媒体に記録されるとともに、その記録されたデジタルデータはモニター等の表示装置によって表示し、視聴することができる。
このようなデジタルカメラは、近年にあっては、例えば、皮膚や毛髪を診断するために、被写体を拡大して撮影するなど、医療又は美容分野など様々な分野においても使用されている(例えば、特許文献1)。この特許文献1に開示された診断装置では、CCDカメラを被写体部分に接近させることにより、被写体部分を拡大してモニターに出力し、その映像を利用することによって、皮膚や毛髪の診断を行うことができる。
ところが、この特許文献1に開示された診断装置では、単にCCDカメラにより拡大画像を撮影するものであることから、撮影時における手ブレなどが生じ、焦点があっていない合焦状態が不良な画像が撮影されてしまうことがある。特に、毛髪の拡大写真では、大量の被写体が異なる距離で密集して撮影されることから、診断に適した毛髪に焦点を合わせて撮影するには熟練が要求される。
このような問題を解決すべく、特許文献2に開示された撮像装置がある。この撮像装置は、異なる距離の被写体に結像自在な撮像系と、当該撮像系からの画像信号を記憶する複数の画像メモリ手段と、画像情報を記録媒体に記録する記録手段と、当該撮像系を初期位置から順次、異なる距離に結像させ、その間の、当該撮像系による画像信号を当該複数の画像メモリ手段の各々に格納し、当該複数の画像メモリ手段に格納される複数の画像の中から最良画像を選択して当該記録手段に供給する制御手段とを備えている。このような撮像装置によれば、全撮影距離のどの距離の被写体に対しても必ず一つはピントの合う画像を、自動焦点調節動作無しで短時間の内に得ることができる。
特開平11−70085号公報 特開平11−211974号公報
しかしながら、上述した特許文献2に開示された撮像装置では、被写体に対する全撮影距離について焦点調節を行い、全ての被写体に対してピントが合った画像を短時間で撮影することから、毛髪のように大量の被写体が密集している状態を拡大して撮影する場合には、手ブレの影響が大きく、微細な焦点距離を頻繁に調節することとなり、合焦のタイミングと、シャッタータイミングとを合致させることが困難となり、診断に耐えうる良好な画像を撮影するのは困難である。また、この微細な焦点距離を多数調整可能とする光学的な機構と、その動作に追随可能な高速なシャッター機構とが必要となり、装置が複雑・高度化し、装置の製造コストが増大する惧れもある。
そこで、本発明は、上記のような問題を解決するものであり、簡単な構成により、皮膚や毛髪のように被写体が密集している拡大写真の撮影を可能とするともに、撮影された画像データから、合焦状態の良好な画像データのみを選択して表示させ、目的の画像データを即時に閲覧することができる画像データ管理装置、画像データ管理プログラム、及び画像データ管理プログラムを提供することを目的とする。
上記課題を解決するために、本発明は、撮像部により撮像された画像データを管理する装置であって、複数枚の画像データを記憶保持する記憶部と、撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出部と、合焦点評価値算出部が設定した優先順位に応じて、記憶部に記憶された画像データを選択するデータ選択部と、記憶部に記憶保持された画像データを、データ選択部の選択に基づいて、表示する画像表示部とを有する。
また、他の発明は、撮像部により撮像された画像データを管理する管理方法であって、
(1)複数枚の画像データを記憶部に記憶保持する記憶ステップと、
(2)撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出ステップと、
(3)合焦点評価値算出ステップで設定した優先順位に応じて、記憶部に記憶された画像データを選択するデータ選択ステップと、
(4)記憶部に記憶保持された画像データを、データ選択部の選択に基づいて、画像表示部に表示させる画像表示ステップとを有する。
このような発明によれば、撮像された複数枚の画像データに対して、合焦点評価値算出部によって合焦点評価値を算出し、合焦点評価値に基づく優先順位を設定するので、撮像された複数枚の画像データの中から合焦状態の良好な画像データと、不良な画像データとを判別することができる。そして、本発明では、優先順位に応じて画像データを選択するので、例えば、優先順位が高い合焦状態が良好な画像データを優先的に自動で表示させることができる。これにより、本発明によれば、毛髪のように狭い範囲に大量に被写体が密集した拡大図であっても、自動焦点調節機構を有さない撮像装置を用いることができ、簡単な構成により、目的とする画像データを取得することができる。
さらに、本発明では、合焦点評価値によって算出された優先順位に基づいて、画像データを表示部に表示させるので、ユーザーによる並び替えの作業等をなくし、ユーザーは、合焦状態の良好な画像データのみを即時に閲覧することができる。
上記発明において、合焦点評価値算出部は、各画像データの標準偏差に基づいて、合焦点評価値を算出することが好ましい。すなわち、通常、画像データにおける画素の標準偏差は、焦点が合わず、ぼけた状態ほど偏差が小さくなるので、標準偏差を求めることで、画像データに焦点が合った部分を含んでいるのか否かを判別することができる。
上記発明において、ユーザー操作に基づいて、画像表示部に表示された画像データ内に所定範囲を指定する範囲指定部と、範囲指定部により指定された所定範囲に含まれる画像データを加工する加工処理部とをさらに備えることが好ましい。
この場合には、表示部に表示された画像の所定の範囲を指定し、加工することができるので、ユーザーの目的に沿った画像データを得ることができる。ここで、画像データの加工とは、例えば、画像データに文字や図形等を差し込む処理や、シャープ、エンボスなどの加工、赤目補正、明るさ、コントラスト調整等の種々の画像加工処理が含まれる。
また、上記発明において、撮像部は、接写による拡大画像を撮影する機能を有し、加工処理部は、所定範囲に含まれた画素を二値化する機能を有し、画像表示部は、表示された画像データ内の所定範囲に、二値化された画像を合成して表示する機能を有することが好ましい。
この場合には、例えば、背景部分と、指定する範囲とを切り離す処理を実行するその境界部分を明確にし、切り離し処理を容易にすることができる。
さらに、上記発明において、この拡大画像は、毛髪の拡大写真であり、画像表示部は、所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示機能を有することが好ましい。
この場合には、撮像された毛髪の拡大写真から、例えば、焦点の合っている所定範囲を指定範囲として二値処理し、二値化された画像を表示部に表示させることで毛髪の表面状態を明確に表示させることができるので、容易に被験者の毛髪のキューティクルを診断することができる。ここで、毛髪の診断には、例えば、研究者や美容技術者であるユーザー等が、画像表示部に表示された二値化された画像を閲覧することでそのキューティクルの状態を診断し、その診断結果をユーザーが入力して診断結果を表示部に表示させてもよいし、例えば、コンピュータのCPUが、表示された画像データの二値化処理した部分を数値化し、所定の閾値に基づいて診断結果を算出して、自動的に診断結果を表示するようにしてもよい。
さらに、他の発明は、撮像部により撮像された画像データを管理する管理プログラムであって、コンピュータに、
(1)複数枚の画像データを記憶部に記憶保持する記憶ステップと、
(2)前記撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出ステップと、
(3)前記合焦点評価値算出ステップで設定した優先順位に応じて、前記記憶部に記憶された画像データを選択するデータ選択ステップと、
(4)前記記憶部に記憶保持された画像データを、データ選択部の選択に基づいて、画像表示部に表示させる画像表示ステップと
を有する処理を実行させる。
このような発明によれば、画像データ管理プログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述した画像データ管理装置とし、画像データ管理方法を様々な情報処理装置において実現することができる。すなわち、この画像データ管理プログラムを、汎用的なコンピュータやICチップにインストールし、CPU上で実行することにより、上述した各機能を有する画像データ管理装置が構成され、画像データ管理方法を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。そして、このような画像データ管理プログラムは、コンピュータで読み取り可能な記録媒体に記録することができ、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
以上述べたように、本発明によれば、簡単な構成により、皮膚や毛髪のように被写体が密集している拡大写真の撮影が可能となるともに、撮影された画像データから、合焦状態の良好な画像データのみを選択して表示させ、目的の画像データを即時に閲覧することができる。この結果、本発明によれば、製造コストの増大を抑えつつ、医療や美容分野など様々な分野においても利用可能な、有用な撮像装置を提供することができる。
実施形態に係る画像データ管理装置の全体構成を示す概念図である。 実施形態に係るコンピュータ上のCPUにおける画像データの管理機能モジュールを示すブロック図である。 実施形態に係るウインドウに表示された、画像データ一覧表示画面を示す説明図である。 実施形態に係るウインドウに表示された範囲指定処理を示す説明図である。 実施形態に係る撮影された画像データを選択・表示させる手順を示すフローチャート図である。 実施形態に係る記憶された画像データの解析・保存処理を示すフローチャートである。 実施形態に係る合焦点評価値算出方法を示すフローチャート図である 実施形態に係る二値化処理及び毛髪診断処理を示すフローチャート図である。
以下に添付図面を参照して、本発明に係る画像データ管理装置の実施形態を詳細に説明する。図1は、本実施形態に係る画像データ管理装置の全体構成を示す概念図である。ここでは、予め本発明の画像データ管理プログラムがコンピュータ1にインストールされているものとし、被験者の毛髪を撮影して、毛髪の健康状態等について診断する場合を例に説明する。
同図に示すように、画像データ管理装置は、撮像部手段あるCCDカメラ5により撮像された画像データを、蓄積し管理する装置であって、画像データ管理プログラムがインストールされたコンピュータ1に操作デバイス2(マウス2a、及びキーボード2b)と、表示装置であるモニター4と、CCDカメラ5とが接続された構成となっている。
コンピュータ1は、CPUを備えた演算処理装置であり、パーソナルコンピュータ等の汎用コンピュータや、機能を特化させた専用装置により実現することができ、例えば、モバイルコンピュータやPDA(Personal Digital Assistance)、携帯電話機が含まれる。なお、コンピュータ1は、LAN等の通信網に接続され、通信網を通じて、カメラやプリンタなどの外部機器に対してデータの送受信を行う通信機能を備えていてもよい。
操作デバイス2は、ユーザー操作を操作信号としてコンピュータ1に入力する操作デバイスであり、マウス2a、及びキーボード2b等のボタンの他、ジョグダイヤルやタッチパネル等であってもよい。特に、本実施形態において、操作デバイス2は、ユーザーからの画像表示指示や、表示された画像データの選択、及び画像データ内の範囲を指定する操作、画像データの加工処理の開始及び停止等のユーザー操作を受け付ける操作部として機能する。モニター4は、例えば、液晶ディスプレイ等の表示装置であり、アプリケーションによって生成されるウインドウを通じて、映像や文字などを表示することができる。
CCDカメラ5は、静止画、又は動画を撮影する撮像装置であって、レンズ5aと、図示しないCCDである固定撮像素子から構成され、入射された被写体像を表す光がCCDの受光面に結像され、カメラ信号処理回路及びA/D変換器等を介して、コンピュータ1に画像データが送信される。この画像データには、動画及び静止画が含まれ、動画データは、多数の連続画像がフレームとなったストリーミング形式で、コンピュータ1に転送される。また、CCDカメラ5は、接写による拡大画像を撮影する光学的又は電子的な機能を有しており、本実施形態において、この拡大画像には、毛髪や皮膚など被写体が密集した拡大写真が含まれる。
そして、本実施形態においては、CCDカメラ5によって被験者の毛髪を動画撮影することで、動画像をモニター4上のウインドウ42にリアルタイムで表示できるとともに、この撮像された複数枚の画像データの中から合焦状態の良好な画像データを選択し、選択された拡大画像48をウインドウ42に表示する。そして、ユーザーが、コンピュータ1に接続されたキーボード2bやマウス2aを操作し、所定の操作を実行することで、モニター4に表示された画像データの所定範囲を指定したり、画像データを加工処理することで、画像データを用いた毛髪の健康状態(キューティクル状態など)を診断することができる。
(画像データの管理機能モジュール)
上述した画像データの管理は、上記コンピュータ1のCPU上における、画像データ管理機能モジュールによって行われる。図2は、本実施形態に係るコンピュータ1上のCPUにおける画像データの管理機能モジュールを示すブロック図であり、図3は、本実施形態に係るウインドウに表示された、画像データ一覧表示画面を示す説明図であり、図4は、本実施形態に係るウインドウに表示された範囲指定処理を示す説明図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
図2に示すように、本実施形態において、コンピュータ1のCPUには、出入力系のモジュールとして、入力インターフェース101と、出力インターフェース102とを備えている。
入力インターフェース101(101a、101b)は、操作デバイス2や、外部接続機器等からの信号が入力されるモジュールである。本実施形態において、入力インターフェース101aには、マウス2aやキーボード2b等の操作デバイス2が接続され、その操作信号が入力されるモジュールであり、表示された画像データの選択や、画像データの所定範囲が指定されたり、画像データに対する加工処理に対する指示操作が操作信号として操作信号取得部111へ入力される。一方、入力インターフェース101bは、撮像部であるCCDカメラ5等の外部接続機器が接続され、CCDカメラ5によって撮影された動画像が、ストリーミング形式の連続画像データとして入力される。
出力インターフェース102は、映像及び音声の出力信号を、モニター4及びスピーカーからそれぞれ出力させるモジュールであり、本実施形態では、アプリケーション実行部110から受信した撮影された画像データをモニター4へ出力する。
また、コンピュータ1のCPUには、アプリケーション実行部110と、記憶部120とを備えている。
記憶部120は、各種データや、プログラムを記憶するメモリ装置等であり、本実施形態においては、画像データの管理プログラムや、CCDカメラ5により撮像された複数枚の画像データを記憶保持する。特に、本実施形態において、記憶部120は、一連の撮影処理によって記録された複数枚の画像データを、一群の画像データとして記録保持するフォルダ120aを有しており、撮影日時や、被験者等の条件に応じて、複数枚の画像データをフォルダ120a内に記憶保持する。
アプリケーション実行部110は、OS上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、画像データの優先順位設定処理・選択処理を実行するモジュール群と、画像データの加工処理を実行するモジュール群とに大別される。以下、各モジュール群毎に説明する。
画像データの優先順位設定処理・選択処理に関するモジュール群には、出力信号生成部114と、画像処理部117と、合焦点評価値算出部116と、データ選択部115とを備えている。
画像処理部117は、画像表示に必要な画像データの変換等を行い、画像処理に特化したデジタル信号処理を行うモジュールである。本実施形態において、画像処理部117は、CCDカメラ5により撮影された静止画像や動画像のデータの圧縮符号化等を行い、その圧縮符号化された画像データを、アプリケーション実行部110による制御に基づいて記憶部120に記憶させる。また、画像処理部117は、アプリケーション実行部110による制御に基づいて記憶部120から読み出された圧縮符号化されている画像データ等を伸張復号化等し、その伸張復号後の画像データを出力信号生成部114に送信する。なお、画像処理部117には、画像データを表示画像にRGB画像に変換する色変換、画像データの切替等を制御し、画像表示部41における画像形成処理全体を制御する画像形成制御機能が含まれる。
出力信号生成部114は、画像処理部117によってデジタル信号処理された画像データを映像信号及び音声信号に変換し、画像表示部41やスピーカーで出力可能な信号に生成するモジュールである。本実施形態において、出力信号生成部114は、画像処理部117及び加工処理部113からの信号に基づいて、信号生成処理を実行し、その映像信号及び音声信号を出力インターフェース102へ送出する。
合焦点評価値算出部116は、CCDカメラ5により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定するモジュールである。特に、本実施形態において、合焦点評価値算出部116は、各画像データの標準偏差に基づいて、合焦点評価値を算出する機能を備えている。
具体的に、合焦点評価値算出部116は、CCDカメラ5によって撮像された画像データに対して、ノイズ量(V1)、画像データ全体の鮮鋭度(V2)、毛髪の鮮鋭度(V3)、及び毛髪量(V4)を算出し、算出されたこれらの各データ(V1,V2,V3,及びV4)に基づいて、合焦点評価値(F)を算出するものである。
詳述すると、先ず、合焦点評価値算出部116は、撮像された画像データに含まれるノイズ量(V1)を算出する。具体的に、合焦点評価値算出部116は、ノイズ量の算出として、上下(Y軸方向)に隣接する画素間における緑成分の階調差の平均値を求める。これは、動画撮像された画像データがインターレース方式によって表示されるため、画像データにはインターレース状のノイズが生じ、このインターレース状のノイズが合焦点評価値の算出に影響を与えるためである。具体的に、このノイズ量(V1)は、以下の式で算出する。

そして、合焦点評価値算出部116は、この算出されたノイズ量を、移動平均法によって画像全体のノイズを除去する。
次いで、合焦点評価値算出部116は、画像データ全体の鮮鋭度(V2)を算出する。通常、ぼけている画像は画素近傍の階調が平均化され、中間階調の画素が多いため、階調のばらつき具合が小さくなる。すなわち、標準偏差が高い画像データは、鮮明な画像であり、標準偏差が低い画像データは、合焦点が不良な、ぼけた画像であるといえる。
したがって、本実施形態では、画像全体の階調の標準偏差を求めることで、画像の鮮鋭度を算出する。具体的には、以下の式で、画像全体の鮮鋭度(V2)を算出する。
次いで、合焦点評価値算出部116は、毛髪の鮮鋭度(V3)を算出する。すなわち、算出された画像全体の鮮鋭度(V2)は、映っている背景と毛髪の量の影響を受けるため、毛髪部分のみの鮮鋭度を算出する必要がある。ここで、背景部分は一様に階調のばらつきが小さく、毛髪部分は階調のばらつきが大きいため、本実施形態では、各画素の階調と近傍画素の階調の平均との差を求めることで、毛髪部分のみの鮮鋭度を算出する。具体的には、以下の式で、毛髪の鮮鋭度(V3)を算出する。
また、合焦点評価値算出部116は、毛髪量(V4)を算出する。ここで、算出された画像全体の鮮鋭度(V2)は、映っている背景と毛髪の量の影響を受けるため、毛髪量を算出し正規化する必要がある。そして、背景部分はエッジがなく、検出されたエッジは毛髪部分となるので、本実施形態においては、ラプラシアンフィルタによるエッジ抽出後における画像全体の階調の標準偏差を求めることで、毛髪量を算出する。具体的には、以下の式で、毛髪量(V4)を算出する。
そして、合焦点評価値算出部116は、ノイズ量(V1)、画像データ全体の鮮鋭度(V2)、毛髪の鮮鋭度(V3)、及び毛髪量(V4)で算出した結果を説明変量とし、且つ、目視結果を目的変量として算出された回帰方程式によって、合焦点評価値(F)を算出する。具体的には、以下の式で、合焦点評価値(F)を算出する。
データ選択部115は、合焦点評価値算出部116が設定した優先順位に応じて、記憶部120に記憶された画像データに対して、削除や並び替えを実行するモジュールである。具体的に、データ選択部115は、一群の画像データの中から、各画像データの優先順位を対比し、優先順位に基づいて順位付けを行い、並び替えを実行する。そして、データ選択部115は、その順位付けされた各画像データを記憶部120に記憶させる。本実施形態においては、優先順位の上位30番までの画像データを並び替えるようになっており、この並び替えられた30枚の画像データは、図3に示すように、画像処理部117の制御により、画像表示部41のウインドウ42に一覧表示される。このウインドウ42には、イメージ画像43が優先順位毎に並んで表示されており、この画面を通じてユーザーが任意の画像データを選択することができるようになっている。なお、本実施形態において、データ選択部115は、優先順位が一定値以下の画像データについては、記憶部120に記憶された画像データを選択又は削除する機能も備えている。
次いで、アプリケーション実行部110における、画像データの加工処理に関するモジュール群について説明する。画像データの加工処理に関するモジュール群には、操作信号取得部111と、範囲指定部112と、加工処理部113とを備えている。
操作信号取得部111は、ユーザー操作による操作信号を、入力インターフェース101から受信するモジュールであり、受信した操作信号を解析し、ユーザー操作に応じた処理を他のモジュールに実行させる。特に、本実施形態において、操作信号取得部111は、操作デバイス2から取得した、画像表示部41に表示された画像データ内の所定範囲を指定する操作に関する信号を取得し、範囲指定部112に入力する。
範囲指定部112は、ユーザー操作に基づいて、画像表示部41に表示された画像データ内の所定範囲を指定するモジュールである。この範囲指定部112は、ウインドウ42に表示された画像データ上における範囲を指定する範囲指定モードでは、ユーザーのポイント指定操作によって囲まれた範囲を指定範囲として特定し、この範囲は、多角形によって指定することができる。そして、特に本実施形態では、この範囲指定モードでは、ユーザーが操作デバイス2から、3点のポイントを指定する操作信号を操作信号取得部111から取得した際、その操作信号に基づいて指定された平行四辺形を指定範囲として、自動的に特定する機能が備えられている。
詳述すると、本実施形態では、図4(a)に示すように、毛髪の拡大画像48が表示された状態において、例えば、マウス2aによって、毛髪部分の任意の範囲ポイント45を3箇所クリック操作すると、範囲指定部112は、このクリック操作の操作信号を取得し、画像データ上のポイント位置を特定する。そして、範囲指定部112は、図4(b)に示すように、その3点を含む平行四辺形部分を指定範囲46と特定する。そして、その指定された範囲に関する信号は、加工処理部113へ入力される。このように被写体が毛髪の拡大図であるときには、多くの場合、毛髪表面を特定する指定範囲の形状は平行四辺形であることから、範囲指定モードでは自動的に3点指定による平行四辺形の領域を、指定範囲として認識するようにしている。これにより、本実施形態では、ユーザーの操作の省力化を図っている。
加工処理部113は、範囲指定部112により指定された指定範囲46に含まれる画像データを加工するモジュールであり、画像データに対して、文字や図形等を差し込む処理や、シャープ・エンボスなどの加工、赤目補正、明るさ、コントラスト調整等の画像加工処理を実行する。特に、本実施形態において、加工処理部113は、所定範囲に含まれた画素を二値化する機能を有しており、図4(c)に示すように、特定された指定範囲46の画像データを取得し、その指定範囲46内の画素を二値化する。そして、加工処理部113は、二値化した画像データを画像処理部117、及び出力信号生成部114に送信する。
画像表示部41は、例えば、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示するモジュールである。特に、本実施形態において、画像表示部41は、記憶部120に記憶保持された画像データを、合焦点評価値算出部116によって設定された優先順位に基づいて表示したり、表示された画像データ内の所定範囲に、二値化された画像を合成して表示する機能を有している。
なお、本実施形態において、アプリケーション実行部110には、所定範囲内において二値化された画像データに基づく毛髪のキューティクル状態を診断する機能も備えている。具体的に、アプリケーション実行部110は、表示された画像データの二値化処理した部分を数値化し、記憶部120に記憶された、所定の閾値に基づいて診断処理を実行し、診断結果を算出する。そして、画像表示部41は、アプリケーション実行部110によって診断された、画像に基づく毛髪の診断結果を表示する。
(画像データの管理方法)
以上の構成を有す画像データの管理装置を動作させることによって、本発明の画像データの管理方法を実施することができる。図5は、本実施形態に係る撮影された画像データを選択・表示させる手順を示すフローチャート図であり、図6は、本実施形態に係る撮影された画像データの解析・保存処理を示すフローチャート図であり、図7は、本実施形態に係る合焦点評価値算出方法を示すフローチャート図であり、図8は、本実施形態に係る二値化処理及び毛髪診断処理を示すフローチャート図である。なお、本実施形態においては、被験者の毛髪を撮影して、毛髪を診断する場合を例に説明する。
先ず、図5に示すように、研究者又は美容技術者等であるユーザーが、CCDカメラ5によって、被験者の頭部を接写によって毛髪の拡大画像を撮影する(S101)。この動画データは、入力インターフェース101bを介して、コンピュータ1の画像処理部117に入力される。
画像処理部117は、ユーザーが被験者の毛髪を撮像している間、出力信号生成部114及び出力インターフェース102を通じて、撮影中の動画データを画像表示部41の画面上に表示させる(S102)。また、焦点評価値算出部116は、撮影中の動画データから随時画像データを取得し、各画像データの合焦点評価値を解析して優先順位を設定し、優先順位が設定された画像データを記憶部120に記録保持させる(S103)。
そして、これらS101〜S103の処理は、ユーザーが撮影を終了するまで、繰り返し継続され(S104における”N”)、ユーザーの停止操作やアプリケーション終了操作とともに、終了する(S104における”Y”)。ユーザーの停止操作やアプリケーション終了操作されると(S104における”Y”)、次ぎに、画像データの選択・表示が実行される(S105)。詳述すると、画像処理部117は、合焦点評価値算出部116から優先順位設定が終了した旨の信号を受信し、複数の画像データの優先順位に基づいて、図3に示すように、記録保持された画像データを選択し、ウインドウ42に各イメージ画像43として表示させる(S105)。
次いで、ステップ103において実行された、撮影された画像データの解析・保存処理について説明する。始めに、ユーザーは画像データの管理プログラムを実行すると、合焦点評価値算出部116は、撮像された画像データを解析及び保存する操作信号を取得する(S201)。操作信号を取得した合焦点評価値算出部116は、撮像された動画データから取得した画像データの標準偏差に基づいて、合焦点評価値(F)を算出する(S202)。そして、合焦点評価値算出部116は、各画像データの合焦点評価値(F)に基づく優先順位を設定し(S203)、その画像データをデータ選択部115に送信する。
データ選択部115は、取得した画像データの優先順位が上位30番以上の画像データか否かを判断し(S204)、取得された画像データの優先順位が上位30番以内である場合には、(S204における“Y”)、データ選択部115は、画像データを選択し、保存する(S205)。なお、すでに、優先順位が設定された画像データが30枚以上あった場合には、データ選択部115は、新たに取得された画像データと、以前の画像データの優先順位30番目の画像データとを差替える処理を実行する(S205)。
一方、選択された画像データの優先順位が上位30番以内でない場合には、データ選択部115は、その画像データに対して選択・保存処理を実行せず(S204における“N”)、終了する。
次いで、本実施形態に係る画像データ管理方法に係る画像加工方法について説明する。ここでは、優先順位が設定された一覧画面から任意の画像データが選択され、毛髪の拡大画像48が画像表示部41上のウインドウ42に表示されているものとする。
先ず、図8に示すように、ユーザー操作に基づいて、ウインドウ42に表示した画像データ内の所定範囲を指定する(S401)。具体的には、図4(a)に示すように、ユーザーは、マウス2aによって、毛髪の拡大画像における毛髪部分上の3点をクリック操作する。この際、範囲指定部112は、このクリック操作の操作信号を取得すると、図4(b)に示すように、画像データの指定位置を特定し、その3点を含む平行四辺形部分を指定範囲と特定する。そして、範囲指定部112は、その指定された範囲に関する信号を、加工処理部113へ入力する。
加工処理部113は、範囲指定部112によって指定された所定範囲に含まれる画像データに対して、加工処理を実行する。具体的に、加工処理部113は、範囲指定部112からの信号に基づいて、画像データの指定範囲に含まれた画素を二値化する演算処理を行う(S402)。この演算処理のデータは、画像処理部117に送信され、画像処理部117の制御により、画像表示部41上のウインドウ42に表示された画像データ内の指定範囲部分に、二値化された画像を合成する処理を実行する。これにより、画像表示部41のウインドウ42には、図4(c)に示すように、指定範囲46内の画像部分に2値化処理された画像47が表示される。
そして、アプリケーション実行部110は、表示された画像データの二値化処理した部分を数値化し、記憶部120に記憶された、所定の閾値に基づいて、診断処理を実行して診断結果を算出し、この診断結果データを画像処理部117に送信する。
そして、画像処理部117の制御によって、ウインドウ42に、所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する(S403)。
なお、上述したステップS203では、具体的には、以下の制御を行う。図7は、本実施形態に係る合焦点評価値算出方法を示すフローチャート図である。
図7に示すように、合焦点評価値算出部116は、取得した画像データのノイズ量(V1)を算出する(S301)。そして、合焦点評価値算出部116は、移動平均法により、この画像データからノイズ量(V1)を除去する(S302)。
次いで、合焦点評価値算出部116は、画像データから、画像全体の鮮鋭度(V2)を算出するとともに(S303)、毛髪部分の鮮鋭度(V3)を算出する(S304)。そして、合焦点評価値算出部116は、ラプラシアンフィルタによって画像データからエッジを抽出し(S305)、画像データ内の毛髪部分である毛髪量(V4)を算出する(S306)。
そして、ノイズ量(V1),画像全体の鮮鋭度(V2),毛髪部分の鮮鋭度(V3),及び毛髪量(V4)を回帰方程式によって演算し、合焦点評価値(F)を算出する(S307)。
(画像データに係る管理プログラム)
上述した画像データ管理装置及び画像データ管理方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やWebサーバ等のコンピュータやICチップにインストールし、CPU上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
この画像データ管理プログラムは、例えば、PCなどのコンピュータ1上において、画像データの管理プログラムを実行し、PCのディスプレイ等に上述した画像データを表示させ、操作デバイス2を通じて、画像データの管理を行えるようにすることができる。
具体的には、コンピュータ1に、複数枚の画像データを記憶部120に記憶保持する記憶ステップと、CCDカメラ5により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出ステップと、合焦点評価値算出ステップで設定した優先順位に応じて、記憶部に記憶された画像データを選択するデータ選択ステップと、記憶部120に記憶保持された画像データを、データ選択部の選択に基づいて、ウインドウ42に表示させる画像表示ステップとを含む処理を実行させる。
また、画像データの管理プログラムは、合焦点評価値算出ステップにおいて、各画像データの標準偏差に基づいて、合焦点評価値(F)を算出する処理を実行させる。本実施形態において、画像データの管理プログラムは、コンピュータ1に、ユーザー操作に基づいて、画像表示ステップでウインドウ42に表示した画像データ内に所定範囲を指定する範囲指定ステップと、範囲指定ステップで指定された所定範囲に含まれる画像データを加工する加工処理ステップとを含む処理を実行させる。
さらに、CCDカメラ5は、接写による拡大画像を撮影する機能を有し、加工処理ステップでは、所定範囲に含まれた画素を二値化する演算処理を行い、画像表示ステップでは、ウインドウ42に表示された画像データ内の所定範囲に、二値化された画像を合成して表示する処理を実行させる。
また、拡大画像は、毛髪の拡大写真であり、画像表示ステップは、所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示ステップを含む処理を実行させる。
そして、このような画像データ管理プログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができ、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
(作用・効果)
このような実施形態によれば、撮像された複数枚の画像データの中から合焦状態の良好な画像データと、不良な画像データとを判別することができる。そして、本実施形態では、優先順位に応じて記憶部120に記憶された画像データの中から画像データを選択又は削除するので、例えば、優先順位が高い合焦状態が良好な画像データを優先的に表示させるとともに、不良な画像データを自動で削除することができ、ユーザーによる画像データの確認作業や、削除作業などの煩雑となる作業をなくすことができる。さらに、本実施形態では、合焦点評価値(F)によって算出された優先順位に基づいて、画像データをウインドウ42に表示させるので、ユーザーによる並び替えの作業等をなくし、ユーザーは、合焦状態の良好な画像データのみを即時に閲覧することができる。
また、本実施形態において、合焦点評価値算出部116は、各画像データの標準偏差に基づいて、合焦点評価値(F)を算出するので、焦点が合わず、ぼけた画像データか否かを判別することができ、画像データに焦点が合った部分を含んでいるのか否かを判断することができる。
さらに、本実施形態においては、ユーザー操作に基づいて、ウインドウ42に表示された画像データ内に所定範囲を指定する範囲指定部112と、範囲指定部112により指定された所定範囲に含まれる画像データを加工する加工処理部113とをさらに備えるので、ウインドウ42に表示された画像の所定の範囲を指定し、様々な加工処理をすることができ、ユーザーの目的に沿った画像データを得ることができる。
また、本実施形態においては、CCDカメラ5は、接写による拡大画像を撮影する機能を有し、加工処理部113は、所定範囲に含まれた画素を二値化する機能を有しており、ウインドウ42は、表示された画像データ内の所定範囲に、二値化された画像を合成して表示する機能を有し、拡大画像は、毛髪の拡大写真であり、ウインドウ42には、所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示機能を有するので、撮像された毛髪の拡大写真から、焦点の合っている所定範囲を指定範囲として二値処理して、毛髪の表面状態を明確に表示させ、毛髪のキューティクルを容易に診断することができる。
1…コンピュータ
2…操作デバイス
2a…マウス
2b…キーボード
4…モニター
5…CCDカメラ
5a…レンズ
41…画像表示部
42…ウインドウ
43…イメージ画像
45…範囲指定ポイント
46…指定範囲
47…二値化された画像
48…毛髪の拡大画像
101…入力インターフェース
101a…入力インターフェース
101b…入力インターフェース
102…出力インターフェース
110…アプリケーション実行部
111…操作信号取得部
112…範囲指定部
113…加工処理部
114…出力信号生成部
115…データ選択部
116…合焦点評価値算出部
117…画像処理部
120…記憶部
120a…フォルダ

Claims (15)

  1. 撮像部により撮像された画像データを管理する装置であって、
    複数枚の画像データを記憶保持する記憶部と、
    前記撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出部と、
    前記合焦点評価値算出部が設定した優先順位に応じて、前記記憶部に記憶された画像データを選択するデータ選択部と、
    前記記憶部に記憶保持された画像データを、前記データ選択部による選択に基づいて、表示する画像表示部と
    を有することを特徴とする画像データ管理装置。
  2. 前記合焦点評価値算出部は、各画像データの標準偏差に基づいて、前記合焦点評価値を算出することを特徴とする請求項1に記載の画像データ管理装置。
  3. ユーザー操作に基づいて、前記画像表示部に表示された画像データ内に所定範囲を指定する範囲指定部と、
    前記範囲指定部により指定された前記所定範囲に含まれる画像データを加工する加工処理部と、
    をさらに備えることを特徴とする請求項1又は2に記載の画像データ管理装置。
  4. 前記撮像部は、接写による拡大画像を撮影する機能を有し、
    前記加工処理部は、前記所定範囲に含まれた画素を二値化する機能を有し、
    前記画像表示部は、表示された画像データ内の前記所定範囲に、二値化された画像を合成して表示する機能を有する
    ことを特徴とする請求項3に記載の画像データ管理装置。
  5. 前記拡大画像は、毛髪の拡大写真であり、
    前記画像表示部は、前記前記所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示機能を有する
    ことを特徴とする請求項4に記載の画像データ管理装置。
  6. 撮像部により撮像された画像データを管理する管理プログラムであって、コンピュータに、
    複数枚の画像データを記憶部に記憶保持する記憶ステップと、
    前記撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出ステップと、
    前記合焦点評価値算出ステップで設定した優先順位に応じて、前記記憶部に記憶された画像データを選択するデータ選択ステップと、
    前記記憶部に記憶保持された画像データを、データ選択部の選択に基づいて、画像表示部に表示させる画像表示ステップと
    を有する処理を実行させることを特徴とする画像データ管理プログラム。
  7. 前記合焦点評価値算出ステップでは、各画像データの標準偏差に基づいて、前記合焦点評価値を算出することを特徴とする請求項6に記載の画像データ管理プログラム。
  8. ユーザー操作に基づいて、前記画像表示ステップで画像表示部に表示した画像データ内に所定範囲を指定する範囲指定ステップと、
    前記範囲指定ステップで指定された前記所定範囲に含まれる画像データを加工する加工処理ステップと、
    をさらに備えることを特徴とする請求項6又は7に記載の画像データ管理プログラム。
  9. 前記撮像部は、接写による拡大画像を撮影する機能を有し、
    前記加工処理ステップでは、前記所定範囲に含まれた画素を二値化する演算処理を行い、
    前記画像表示ステップでは、前記画像表示部に表示された画像データ内の前記所定範囲に、二値化された画像を合成して表示する
    ことを特徴とする請求項8に記載の画像データ管理プログラム。
  10. 前記拡大画像は、毛髪の拡大写真であり、
    前記画像表示ステップは、前記所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示ステップをさらに有する
    ことを特徴とする請求項9に記載の画像データ管理プログラム。
  11. 撮像部により撮像された画像データを管理する管理方法であって、
    複数枚の画像データを記憶部に記憶保持する記憶ステップと、
    前記撮像部により撮像された画像データを順次取得し、取得された画像データの合焦点評価値を算出するとともに、各画像データの合焦点評価値に基づく優先順位を設定する合焦点評価値算出ステップと、
    前記合焦点評価値算出ステップで設定した優先順位に応じて、前記記憶部に記憶された画像データを選択するデータ選択ステップと、
    前記記憶部に記憶保持された画像データを、データ選択部の選択に基づいて、画像表示部に表示させる画像表示ステップと
    を有することを特徴とする画像データ管理方法。
  12. 前記合焦点評価値算出ステップでは、各画像データの標準偏差に基づいて、前記合焦点評価値を算出することを特徴とする請求項11に記載の画像データ管理方法。
  13. ユーザー操作に基づいて、前記画像表示ステップで画像表示部に表示した画像データ内に所定範囲を指定する範囲指定ステップと、
    前記範囲指定ステップで指定された前記所定範囲に含まれる画像データを加工する加工処理ステップと、
    をさらに備えることを特徴とする請求項11又は12に記載の画像データ管理方法。
  14. 前記撮像部は、接写による拡大画像を撮影する機能を有し、
    前記加工処理ステップでは、前記所定範囲に含まれた画素を二値化する演算処理を行い、
    前記画像表示ステップでは、前記画像表示部に表示された画像データ内の前記所定範囲に、二値化された画像を合成して表示する
    ことを特徴とする請求項13に記載の画像データ管理方法。
  15. 前記拡大画像は、毛髪の拡大写真であり、
    前記画像表示ステップは、前記所定範囲内において二値化された画像に基づく毛髪の診断結果を表示する診断結果表示ステップをさらに有する
    ことを特徴とする請求項14に記載の画像データ管理方法。
JP2010181397A 2010-08-13 2010-08-13 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法 Expired - Fee Related JP5588267B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010181397A JP5588267B2 (ja) 2010-08-13 2010-08-13 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010181397A JP5588267B2 (ja) 2010-08-13 2010-08-13 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法

Publications (2)

Publication Number Publication Date
JP2012044285A true JP2012044285A (ja) 2012-03-01
JP5588267B2 JP5588267B2 (ja) 2014-09-10

Family

ID=45900130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010181397A Expired - Fee Related JP5588267B2 (ja) 2010-08-13 2010-08-13 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法

Country Status (1)

Country Link
JP (1) JP5588267B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792587A (ja) * 1993-09-28 1995-04-07 Fuji Photo Film Co Ltd 放射線画像再生装置
JPH08166534A (ja) * 1994-12-14 1996-06-25 Toshiba Corp 画像処理装置の自動焦点合せ方法
JPH1170085A (ja) * 1997-08-28 1999-03-16 Ekuserento:Kk 皮膚及び/又は毛髪診断装置
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2002007568A (ja) * 2000-06-27 2002-01-11 Kaihatsu Komonshitsu:Kk 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体
JP2004113390A (ja) * 2002-09-25 2004-04-15 Olympus Corp 光プローブ装置
JP2009168540A (ja) * 2008-01-15 2009-07-30 Shiseido Co Ltd 評価装置、評価方法、評価プログラム、及び該プログラムが記録された記録媒体
JP2009172023A (ja) * 2008-01-22 2009-08-06 Finezone Corp 毛髪診断支援システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792587A (ja) * 1993-09-28 1995-04-07 Fuji Photo Film Co Ltd 放射線画像再生装置
JPH08166534A (ja) * 1994-12-14 1996-06-25 Toshiba Corp 画像処理装置の自動焦点合せ方法
JPH1170085A (ja) * 1997-08-28 1999-03-16 Ekuserento:Kk 皮膚及び/又は毛髪診断装置
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2002007568A (ja) * 2000-06-27 2002-01-11 Kaihatsu Komonshitsu:Kk 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体
JP2004113390A (ja) * 2002-09-25 2004-04-15 Olympus Corp 光プローブ装置
JP2009168540A (ja) * 2008-01-15 2009-07-30 Shiseido Co Ltd 評価装置、評価方法、評価プログラム、及び該プログラムが記録された記録媒体
JP2009172023A (ja) * 2008-01-22 2009-08-06 Finezone Corp 毛髪診断支援システム

Also Published As

Publication number Publication date
JP5588267B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
JP4154400B2 (ja) 撮像装置及びその制御方法及びプログラム
US8947519B2 (en) Image processing apparatus, image processing system, image processing method, and image processing program
KR101489048B1 (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
US8144234B2 (en) Image display apparatus, image capturing apparatus, and image display method
JP4998630B2 (ja) 画像処理装置、および画像評価プログラム
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
US8854448B2 (en) Image processing apparatus, image display system, and image processing method and program
KR20160118963A (ko) 실시간 이미지 스티칭 장치 및 실시간 이미지 스티칭 방법
US20130286254A1 (en) Image capturing apparatus, control method, and recording medium
JP2012195668A (ja) 画像処理装置、画像処理方法およびプログラム
JP2007336411A (ja) 撮像装置、オートブラケティング撮影方法、およびプログラム
JP2014120122A (ja) 領域抽出装置、領域抽出方法、及びコンピュータプログラム
JP2015012481A (ja) 画像処理装置
JP2008079193A (ja) デジタルカメラ
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2019110430A (ja) 制御装置、撮像装置、制御方法およびプログラム
US9357133B2 (en) Digital photographing apparatus, auto-focusing method, and computer-readable storage medium for executing the auto-focusing method
JP2010026734A (ja) 画像処理装置およびその方法
JP5588267B2 (ja) 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法
US20210400207A1 (en) Imaging apparatus, method of controlling imaging apparatus and computer-readable medium
JP2004222233A (ja) 画像処理装置および画像処理プログラム
JP2007208355A (ja) 撮影装置および方法並びにプログラム
KR101551427B1 (ko) 홍채 인식 기능을 지원하는 이동 단말기
US20070147819A1 (en) System and method for indicating sharpness of images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140725

R150 Certificate of patent or registration of utility model

Ref document number: 5588267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees