JP2020126523A - 画像切出装置、画像解析装置及びプログラム - Google Patents

画像切出装置、画像解析装置及びプログラム Download PDF

Info

Publication number
JP2020126523A
JP2020126523A JP2019019700A JP2019019700A JP2020126523A JP 2020126523 A JP2020126523 A JP 2020126523A JP 2019019700 A JP2019019700 A JP 2019019700A JP 2019019700 A JP2019019700 A JP 2019019700A JP 2020126523 A JP2020126523 A JP 2020126523A
Authority
JP
Japan
Prior art keywords
image
cutout
cut
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019019700A
Other languages
English (en)
Other versions
JP7304704B2 (ja
Inventor
俊枝 三須
Toshie Misu
俊枝 三須
秀樹 三ツ峰
Hideki Mitsumine
秀樹 三ツ峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2019019700A priority Critical patent/JP7304704B2/ja
Publication of JP2020126523A publication Critical patent/JP2020126523A/ja
Application granted granted Critical
Publication of JP7304704B2 publication Critical patent/JP7304704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】部分領域の切出画像を解析する際に、処理の効率化を図ることが可能な画像切出装置、画像解析装置及びプログラムを提供する。【解決手段】画像解析装置2−1において、入力画像から被写体を含む部分領域の画像を切り出す画像切出装置1−1は、入力画像からM個(Mは1以上の整数)の部分領域の画像を第一切出画像として切り出し、さらに入力画像から第二切出領域で指定されるN個(Nは1以上の整数)の部分領域の画像を第二切出画像として切り出す画像切出部10−1と、第一切出画像に基づいて、被写体を含む部分領域を、画像切出部10−1による指定の際に用いる第二切出領域として設定する注視領域設定部11を備える。【選択図】図1

Description

本発明は、入力画像から複数の部分領域を切り出す画像切出装置、部分領域の画像を解析する画像解析装置、及びこれらのプログラムに関する。
従来、入力画像を所定の解像度で取り込み、当該解像度の画像に対して画像解析処理を行う装置が知られている。この画像解析処理の演算コストと演算精度を両立させる手法としては、入力画像を低解像化することで低解像画像に対して荒い処理を行い、入力画像である高解像画像に対してより高精度な処理を行う多重解像度解析手法がある。
また、高解像画像内において、まず注視点(ROI:Region of Interest)を設定し、当該注視点付近の画像を高分解能な画像として切り出し、これを解析する注視点設定解析手法もある。
例えば、デジタルカメラまたはスマートフォンのアプリケーションソフトウェアには、被写体検出(特に、顔検出)手法を用いて注視点を設定し、当該注視点において露出またはフォーカス等の設定のための解析を行うものがある。さらには、人物を特定するための処理を行うものもある(例えば、非特許文献1を参照)。また、多重解像度解析手法と注視点設定解析手法を併用するものもある(例えば、特許文献1を参照)。
特許第6393230号公報
Paul Viola and Michael Jones,"Rapid Object Detection using a Boosted Cascade of Simple Features",Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,pp.511-518,2001.
このような従来の画像解析処理において、解析精度を向上させるためには、画像の解像度が高いことが望ましい。しかし、画像の解像度を高くすればするほど、画像解析処理に要する演算コストも高くなる。つまり、所要演算装置規模が大きくなり、所要記憶領域が広くなる。
前述の多重解像度解析手法または注視点設定解析手法を用いることにより、演算コスト及び演算精度の両立がある程度可能となるが、画像解析装置の入力部には、依然として高解像画像の入力が必要である。このため、超高精細度画像(例えば、7680×3840画素の画像)を入力しようとすると、入力インターフェース部の広帯域化が必要となり、装置全体の製作コストが上がってしまう。したがって、前述の多重解像度解析手法または注視点設定解析手法では、演算コスト及び演算精度の両立が不十分であるという問題があった。
このため、入力画像から被写体を含む部分領域を切り出し、部分領域の切出画像を解析する際に、入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減するために、切出処理及び解析処理の効率化が所望されていた。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、入力画像から被写体を含む部分領域を切り出し、部分領域の切出画像を解析する際に、処理の効率化を図ることが可能な画像切出装置、画像解析装置及びプログラムを提供することにある。
前記課題を解決するために、請求項1の画像切出装置は、入力画像から被写体を含む部分領域の画像を切り出す画像切出装置において、前記入力画像から、M個(Mは1以上の整数)の部分領域の画像を第一切出画像として切り出し、前記入力画像から、第二切出領域で指定されるN個(Nは1以上の整数)の部分領域の画像を第二切出画像として切り出す画像切出部と、前記第一切出画像に基づいて、前記被写体を含む部分領域を、前記画像切出部による指定の際に用いる前記第二切出領域として設定する切出領域設定部と、を備えたことを特徴とする。
請求項1の発明によれば、第二切出領域を、注視すべき被写体を含む画像を切り出すための領域として設定し、また、第二切出画像を、注視すべき被写体の属性を解析するための画像として抽出することができる。その結果、分解能よりも画角の広さが重視される第二切出画像の切出処理と、画角の広さよりも分解能が重視される、第二切出画像を用いた解析処理とを効率的に実行することが可能となる。
また、請求項2の画像切出装置は、請求項1に記載の画像切出装置において、前記画像切出部が、前記入力画像から前記M個の部分領域の画像を切り出し、当該画像の解像度変換を行い前記第一切出画像を生成し、前記入力画像から、前記切出領域設定部により設定された前記第二切出領域で指定される前記N個の部分領域の画像を切り出し、当該画像を前記第二切出画像として生成するか、または当該画像の解像度変換を行い前記第二切出画像を生成する、ことを特徴とする。
請求項2の発明によれば、第一切出画像及び第二切出画像を異なる分解能となるように生成することができる。つまり、第一切出画像を用いて第二切出領域を設定する際の処理負荷を考慮して、所定の分解能の第一切出画像を生成するための解像度変換を行うことができる。また、第二切出画像を用いて解析を行う際の処理精度を考慮して、所定の分解能の第二切出画像を生成するための解像度変換を行うことができる。
また、請求項3の画像切出装置は、請求項2に記載の画像切出装置において、前記画像切出部が、前記第二切出画像の分解能が前記第一切出画像よりも高くなるように、前記第一切出画像及び前記第二切出画像を生成する、ことを特徴とする。
請求項3の発明によれば、低分解能の第一切出画像を用いて第二切出領域が設定されるから、この処理は低負荷で済む。また、高分解能の第二切出画像は解析処理に用いることができるから、高精度な解析を実現することができる。
また、請求項4の画像切出装置は、請求項1から3までのいずれか一項に記載の画像切出装置において、前記画像切出部が、前記第一切出画像及び前記第二切出画像を空間分割的または時分割的に多重化し、多重画像を生成する、ことを特徴とする。
請求項4の発明によれば、多重画像を一映像信号として構成することができるため、信号線の総数すなわち信号線のインターフェースの総数を減ずることが可能となり、運用性の向上及びコストの削減が可能となる。
さらに、請求項5の画像解析装置は、入力画像から被写体を含む部分領域の画像を切り出し、前記部分領域の切出画像を解析する画像解析装置において、請求項1から3までのいずれか一項の画像切出装置と、前記画像切出装置により切り出された前記第二切出画像に基づいて、当該第二切出画像に含まれる前記被写体の属性を求める画像解析部と、を備えたことを特徴とする。
請求項5の発明によれば、画像切出装置が、被写体を含む領域を限定した第二切出画像を切り出し、画像解析部が、高分解能の第二切出画像を用いて被写体の属性を求めることで、演算負荷を削減しつつ解析精度を向上させることができる。
また、請求項6の画像解析装置は、入力画像から被写体を含む部分領域の画像を切り出し、前記部分領域の切出画像を解析する画像解析装置において、請求項4の画像切出装置と、前記画像切出装置により生成された前記多重画像から前記第二切出画像を分離し、当該第二切出画像に含まれる前記被写体の属性を求める画像解析部と、を備えたことを特徴とする。
請求項6の発明によれば、画像切出装置が、被写体を含む領域を限定した第二切出画像を切り出し、画像解析部が、多重画像から分離した高分解能の第二切出画像を用いて被写体の属性を求めることで、演算負荷を削減しつつ解析精度を向上させることができる。
さらに、請求項7のプログラムは、コンピュータを、請求項1から4までのいずれか一項に記載の画像切出装置として機能させることを特徴とする。
また、請求項8のプログラムは、コンピュータを、請求項5または6に記載の画像解析装置として機能させることを特徴とする。
以上のように、本発明によれば、入力画像から被写体を含む部分領域を切り出し、部分領域の切出画像を解析する際に、切出処理の負荷を低減し、かつ解析処理の高精度化を実現することができ、結果として処理の効率化を図ることができる。また、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
実施例1の画像切出装置及び画像解析装置の構成の一例を示すブロック図である。 実施例1における画像切出部の構成の一例を示す図である。 実施例1における画像切出装置の処理の一例を示すフローチャートである。 入力画像Iの一例を示す図である。 第一切出領域Am及び第二切出領域Bnの一例を示す図である。 実施例2の画像切出装置及び画像解析装置の構成の一例を示すブロック図である。 実施例2における画像切出部の構成の一例を示す図である。 実施例2における画像切出装置の処理の一例を示すフローチャートである。 切出多重画像Lのレイアウトの一例を示す図である。 切出多重画像Lの一例を示す図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、入力画像内において被写体を含む部分領域を設定し、入力画像から、設定した部分領域の画像を切り出す際に、入力画像から、切り出し対象の部分領域を直接設定するのではなく、入力画像から低解像画像を生成し、低解像画像から部分領域を設定し、入力画像から部分領域の画像を切り出すことを特徴とする。また、本発明は、部分領域の切出画像を解析する。
これにより、切り出し対象の部分領域は低解像画像を用いて設定されるから、切出処理は、入力画像を用いるよりも低負荷で実現することができる。また、解析処理は、入力画像から切り出された部分領域の切出画像を用いるから、高精度で実現することができる。つまり、切出処理及び解析処理の効率化を図ることができ、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
〔実施例1〕
まず、実施例1について説明する。実施例1は、入力画像Iから第一切出領域A1〜AMで指定される第一切出画像J1〜JMを切り出し、第一切出画像J1〜JMを用いて第二切出領域B1〜BNを設定し、第二切出領域B1〜BNで指定される第二切出画像K1〜KNを切り出し、第二切出画像K1〜KN(及び第一切出画像J1〜JM)を用いて解析を行う例である。M,Nは1以上の整数である。
図1は、実施例1の画像切出装置及び画像解析装置の構成の一例を示すブロック図である。この画像切出装置1−1は、画像切出部10−1及び注視領域設定部(切出領域設定部)11を備えている。画像解析装置2−1は、画像切出装置1−1及び画像解析部12−1を備えている。
(画像切出装置1−1/構成)
画像切出装置1−1の画像切出部10−1は、入力画像Iを入力すると共に、予め設定されたM個の第一切出領域A1〜AMを入力する。そして、画像切出部10−1は、入力画像Iから、第一切出領域A1〜AMで指定されるM個の部分領域の画像(第一切出画像)J1〜JMを切り出す。画像切出部10−1は、M個の第一切出画像J1〜JMを注視領域設定部11(及び画像解析部12−1)に出力する。
ここで、第一切出領域A1〜AMは、予め設定された固定の領域であっても構わないし、ユーザにより手動で設定される領域であっても構わない。第一切出領域A1〜AM及び後述する第二切出領域B1〜BNは、入力画像I内の位置及び大きさにより定められる。
画像切出部10−1は、注視領域設定部11からN個の第二切出領域B1〜BNを入力し、入力画像Iから、第二切出領域B1〜BNで指定されるN個の部分領域の画像(第二切出画像)K1〜KNを切り出す。画像切出部10−1は、N個の第二切出画像K1〜KNを画像解析部12−1に出力する。
尚、画像切出部10−1は、第一切出画像J1〜JMの各々の解像度(画素数)を、第一切出領域A1〜AMの各々の大きさに応じて可変としても構わないし、各第一切出領域A1〜AMの縦横比を保った上で水平または垂直方向の解像度を固定値としても構わない。入力画像Iにおける各第一切出領域A1〜AMの解像度と、各第一切出画像J1〜JMとが異なる場合には、補間処理(例えば、移動平均フィルタ、双三次補間、双一次補間、Lanczos(ランチョス)補間、最近傍補間等)を施して、解像度変換を行うものとする。
また、M個の第一切出画像J1〜JMは、全て同じ解像度であっても、異なる解像度であっても構わないし、時間的に解像度を変化させても、変化させなくても構わない。好適には、第一切出画像J1〜JMの各々の解像度は、時間的に不変とする。
さらに、画像切出部10−1は、第二切出画像K1〜KNの各々の解像度を、第二切出領域B1〜BNの各々の大きさに応じて可変としても構わないし、各第二切出領域B1〜BNの縦横比を保った上で水平または垂直方向の解像度を固定値としても構わない。入力画像Iにおける各第二切出領域B1〜BNの解像度と、各第二切出画像K1〜KNとが異なる場合には、前述と同様の補間処理を施して、解像度変換を行うものとする。
また、N個の第二切出画像K1〜KNは、全て同じ解像度であっても、異なる解像度であっても構わないし、時間的に解像度を変化させても、変化させなくても構わない。好適には、第二切出画像K1〜KNの各々の解像度は、時間的に不変とする。後述する画像切出部10−2についても同様である。
図2は、図1に示した画像切出部10−1の構成の一例を示す図である。この画像切出部10−1は、第一切出手段20及び第二切出手段21を備えている。
第一切出手段20は、入力画像Iを入力すると共に、予め設定されたM個の第一切出領域A1〜AMを入力する。そして、第一切出手段20は、入力画像Iから第一切出領域A1〜AMで指定される第一切出画像J1〜JMを切り出し、M個の第一切出画像J1〜JMを注視領域設定部11(及び画像解析部12−1)に出力する。
例えば、第一切出手段20は、入力画像Iから第一切出領域A1〜AMで指定される画像をそれぞれ切り出し、切り出したそれぞれの画像に対して前述の補間処理を施すと共に、解像度変換処理を施すことで、第一切出画像J1〜JMを生成する。これにより、例えば入力画像Iよりも低い解像度の第一切出画像J1〜JMが得られる。
第二切出手段21は、注視領域設定部11により注視領域として設定されたN個の第二切出領域B1〜BNを入力し、入力画像Iから第二切出領域B1〜BNで指定される第二切出画像K1〜KNを切り出す。そして、第二切出手段21は、N個の第二切出画像K1〜KNを画像解析部12−1に出力する。
例えば、第二切出手段21は、入力画像Iから第二切出領域B1〜BNで指定される画像をそれぞれ切り出し、切り出したそれぞれの画像に対して前述の補間処理を施すと共に、解像度変換処理を施し、第二切出画像K1〜KNを生成する。
図1に戻って、注視領域設定部11は、画像切出部10−1からM個の第一切出画像J1〜JMを入力する。そして、注視領域設定部11は、第一切出画像J1〜JMを解析することで、第一切出画像J1〜JMに基づき、画像切出部10−1が切り出すべき第二切出画像K1〜KNの位置及び大きさを注視領域に設定し、これを第二切出領域B1〜BNとする。注視領域設定部11は、N個の第二切出領域B1〜BNを画像切出部10−1に出力する。
例えば、注視領域設定部11は、第一切出画像J1〜JMに含まれる所定の被写体(例えば、人物、人物の顔、物体(ボールまたは自動車等))を検出する。そして、注視領域設定部11は、入力画像Iにおける第一切出領域A1〜AMの位置及び大きさを考慮して、入力画像Iにおける所定の被写体の位置及び大きさを求め、被写体の位置及び大きさに基づいて第二切出領域B1〜BNを設定する。
具体的には、注視領域設定部11は、例えば公知のクロマキーまたは背景差分法を用いて、第一切出画像J1〜JMから前景領域(前景領域が複数の連結領域からなる場合には、そのうちN個以下の各連結領域)を分離し、この前景領域を所定の被写体を含む領域として第二切出領域B1〜BNを設定する。
また、注視領域設定部11は、例えばHaar-like(ハールライク)特徴に基づくBoosting Cascade(ブースティングカスケード)識別器による顔検出手法(前述の非特許文献1)を用いて、第一切出画像J1〜JMから特定の被写体(複数の被写体を検出した場合には、そのうちN個以下の各被写体)を検出し、被写体の位置及び大きさに基づいて第二切出領域B1〜BNを設定する。
ここで、注視領域設定部11は、第二切出領域B1〜BNを設定する際に、好ましくは、ある過去の時点(例えばt−1)における第一切出画像J1〜JMを解析し、現時点(例えばt)における第二切出領域B1〜BNを設定する。
画像切出装置1−1の起動直後等のように、注視領域設定部11が過去の時点の第一切出画像J1〜JMを得ることができない場合には、注視領域設定部11は、現時点の第二切出領域B1〜BNを画像切出部10−1に出力しなくても構わない。また、注視領域設定部11は、予め設定された固定の領域を、現時点の第二切出領域B1〜BNとして出力しても構わない。
尚、入力画像I内の被写体の移動速度が速い場合には、注視領域設定部11により第一切出画像J1〜JMに基づき設定される第二切出領域B1〜BNと、画像切出部10−1により入力画像Iから切り出される第二切出領域B1〜BNの第二切出画像K1〜KNとが時間的に対応しないことがあり得る。これは、現時点の第二切出画像K1〜KNを切り出す際に、過去の時点の第二切出領域B1〜BNを用いることとなるからである。
この場合、注視領域設定部11は、過去の時点と現時点の時刻差を考慮し、第一切出画像J1〜JMの解析結果に対して時間方向の予測処理を適用し、その予測結果を第二切出領域B1〜BNとして設定しても構わない。
例えば、注視領域設定部11は、入力画像I内における第二切出領域B1〜BNの位置、大きさ及びこれらの時間微分(速度)(または時間差分)を状態量とし、第一切出画像J1〜JMを観測値とするフィルタ(例えばカルマンフィルタ)を用いる。注視領域設定部11は、当該フィルタにより状態量を予測し、予測した状態量のうち、位置及び大きさを第二切出領域B1〜BNとして設定する。
これにより、入力画像I内の被写体が動いている場合に、その動きを考慮した現時点の第二切出領域B1〜BNが予測される。したがって、入力画像I内の被写体の移動速度が速い場合であっても、注視領域設定部11は、精度の高い現時点の第二切出領域B1〜BNを設定することができる。
(画像切出装置1−1/処理)
次に、図1に示した画像切出装置1−1の処理について詳細に説明する。図3は、図1に示した画像切出部10−1の処理の一例を示すフローチャートである。画像切出部10−1は、入力画像Iを入力すると共に(ステップS301)、第一切出領域A1〜AMを入力する(ステップS302)。
画像切出部10−1の第一切出手段20は、入力画像Iから、第一切出領域A1〜AMで指定される第一切出画像J1〜JMを切り出す(ステップS303)。
ここで、入力画像Iにおける時刻t及び画像座標(x,y)の画素値をI(t,x,y)とする。また、M個の第一切出領域A1〜AMを構成するm番目の領域をAmとし、M個の第一切出画像J1〜JMを構成するm番目の画像をJmとする(mは1以上M以下の整数)。また、入力画像Iの解像度をP×Q画素とし、m番目の第一切出領域Amを左上頂点座標(rm,sm)の大きさRm×Sm画素の領域とし、さらに、m番目の第一切出画像Jmの解像度をTm×Um画素とし、補間関数をφとする。
第一切出手段20は、以下の式にて、入力画像Iから第一切出画像Jmを切り出す。
Figure 2020126523
総和をとる領域V(x,y)は、少なくとも以下の式を満たすものとする。
Figure 2020126523
x及びLyは、補間関数φの非ゼロの値が定義されている水平方向及び垂直方向の範囲(半径)をそれぞれ表すものとする。
補間関数φとして、例えば2次元Lanczos-3関数を用いる。
Figure 2020126523
尚、前記式(3)の補間関数φを用いる場合、Lx=Ly=3である。
例えば、入力画像Iの解像度を7680×4320画素、第一切出領域Amの数をM=1、第一切出領域A1を左上頂点座標(0,960)の大きさ7680×2400画素の領域とする。また、第一切出画像J1の解像度を1920×600画素とし、補間関数φを、移動平均フィルタを用いた場合の関数とする。
この場合、第一切出手段20は、以下の式にて、入力画像Iから第一切出画像J1を切り出す。
Figure 2020126523
注視領域設定部11は、画像切出部10−1の第一切出手段20により切り出された第一切出画像J1〜JMを解析することで、第一切出画像J1〜JMに基づき注視領域である第二切出領域B1〜BNを設定する(ステップS304)。
画像切出部10−1の第二切出手段21は、入力画像Iから、注視領域設定部11により設定された第二切出領域B1〜BNで指定される第二切出画像K1〜KNを切り出す(ステップS305)。そして、第二切出手段21は、第二切出画像K1〜KNを画像解析部12−1に出力する(ステップS306)。
ここで、N個の第二切出領域B1〜BNを構成するn番目の領域をBnとし、N個の第二切出画像K1〜KNを構成するn番目の画像をKnとする(nは1以上N以下の整数)。また、入力画像Iの解像度をP×Q画素とし、n番目の第二切出領域Bnを左上頂点座標(r’n,s’n)の大きさR’n×S’n画素の領域とし、さらに、n番目の第二切出画像Knの解像度をT’m×U’m画素とし、補間関数をφとする。
第二切出手段21は、以下の式にて、入力画像Iから第二切出画像Knを切り出す。
Figure 2020126523
総和をとる領域V’(x,y)は、少なくとも以下の式を満たすものとする。
Figure 2020126523
(画像解析部12−1)
図1に戻って、画像解析装置2−1の画像解析部12−1は、画像切出装置1−1から第二切出画像K1〜KN(及び第一切出画像J1〜JM)を入力する。そして、画像解析部12−1は、第二切出画像K1〜KN(及び第一切出画像J1〜JM)を解析することで、第二切出画像K1〜KN(及び第一切出画像J1〜JM)に基づき、解析結果を生成する。画像解析部12−1は、解析結果を外部へ出力する。
例えば、画像解析部12−1は、第二切出画像K1〜KNに含まれる被写体の属性を求めるための解析を行う。この場合、画像解析部12−1は、第二切出画像K1〜KN(及び第一切出画像J1〜JM)に基づいて、個人を特定する識別子、顔の表情(喜怒哀楽等)を分類する識別子、被写体の姿勢(例えば顔の向き)を表す角度情報、被写体の形状(例えば人物の仕草)を分類する識別子、スポーツ選手のゼッケンの数字等の属性を求める。第二切出画像K1〜KN(及び第一切出画像J1〜JM)に基づいて被写体の属性を求める手法は既知であるため、ここでは詳細な説明を省略する。
尚、画像解析部12−1は、画像切出装置1−1から第二切出画像K1〜KN(及び第一切出画像J1〜JM)に加え、注視領域設定部11により設定された第二切出領域B1〜BNも入力するようにしてもよい。この場合、画像解析部12−1は、第二切出画像K1〜KNに含まれる被写体の属性を求めると共に、第二切出領域B1〜BNに基づいて、入力画像I内における被写体の位置を特定し、解析結果として、被写体の属性及び位置を出力する。後述する図6に示す画像解析部12−2についても同様である。
(入力画像I、第一切出領域Am及び第二切出領域Bnの例)
次に、入力画像I、第一切出領域Am及び第二切出領域Bnの例について説明する。図4は、入力画像Iの一例を示す図であり、図5は、第一切出領域Am及び第二切出領域Bnの一例を示す図であり、M=1及びN=4の場合を示している。入力画像Iの解像度は7680×4320画素であり、第一切出領域Amの画像の解像度は7680×2400画素であるものとする。
画像切出装置1−1の画像切出部10−1に備えた第一切出手段20により、図4に示す入力画像Iから、図5に示す第一切出領域A1の画像(被写体である人間を含む画像)が切り出され、当該画像の画素値列に対し、必要に応じて補間処理及び解像度変換処理が施され、所定の解像度に変換される。これにより、入力画像Iから第一切出領域A1の第一切出画像J1が切り出される。
また、画像切出部10−1に備えた第二切出手段21により、図4に示す入力画像Iから、図5に示す第二切出領域B1〜B4の画像(被写体である人間を含む画像)が切り出され、当該画像の画素値列に対し、必要に応じて補間処理及び解像度変換処理が施され、所定の解像度に変換される。これにより、入力画像Iから第二切出領域B1〜B4の第二切出画像K1〜K4が切り出される。
以上のように、本発明の実施形態の画像切出装置1−1によれば、画像切出部10−1は、入力画像Iから、予め設定された第一切出領域A1〜AMの画像を切り出し、切り出した画像に対し必要に応じて補間処理及び解像度変換処理を施すことで、第一切出画像J1〜JMを生成する。
注視領域設定部11は、画像切出部10−1により生成された第一切出画像J1〜JMを解析することで、例えば第一切出画像J1〜JMに含まれる被写体を検出し、被写体の位置及び大きさに基づいて、注視領域である第二切出領域B1〜BNを設定する。
画像切出部10−1は、入力画像Iから、注視領域設定部11により設定された第二切出領域B1〜BNで指定される画像を切り出し、切り出した画像に対し必要に応じて補間処理及び解像度変換処理を施すことで、第二切出画像K1〜KNを生成する。
ここで、画像切出部10−1は、第二切出画像K1〜KNの分解能が第一切出画像J1〜JMよりも高くなるように、解像度変換処理を行うことが望ましい。つまり、第一切出画像J1〜JMの分解能は、入力画像I及び第二切出画像K1〜KNよりも低く、第二切出画像K1〜KNの分解能は、入力画像Iと同じまたはこれよりも低く、かつ第一切出画像J1〜JMよりも高いことが望ましい。尚、解像度は、画像を構成する画素の密度を示し、分解能は、画像内の対象を識別可能な能力を示す。
第二切出画像K1〜KNの分解能が第一切出画像J1〜JMよりも高いことから、注視領域設定部11は、低分解能の第一切出画像J1〜JMを用いて第二切出領域B1〜BNを設定すればよく、低負荷な処理で済む。また、画像切出部10−1により第二切出領域B1〜BNを用いて切り出された高分解能の第二切出画像K1〜KNは、解析処理に用いることができ、高精度な解析を実現することができる。
したがって、分解能よりも画角の広さが重視される切出処理と、画角の広さよりも分解能が重視される解析処理とを、効率的に実行することができる。つまり、切出処理の負荷を低減し、かつ解析処理の高精度化を実現することができ、結果として処理の効率化を図ることができる。また、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
また、本発明の実施形態の画像解析装置2−1によれば、画像解析部12−1は、画像切出部10−1により生成された第二切出画像K1〜KN(及び第一切出画像J1〜JM)を解析することで、第二切出画像K1〜KNに含まれる被写体の属性を求め、被写体毎の属性を解析結果として生成する。
ここで、前述のように第二切出画像K1〜KNの分解能が第一切出画像J1〜JMよりも高い場合に、注視領域設定部11は、低分解能の第一切出画像J1〜JMを用いて、第一切出領域A1〜AMよりも限定された第二切出領域B1〜BNを設定する。そして、画像解析部12−1は、第二切出領域B1〜BNに対応する高分解能の第二切出画像K1〜KNを解析する。
これにより、入力画像Iを直接解析するよりも第二切出画像K1〜KNを解析する方が、解析範囲が狭いから、処理負荷を削減することができる。つまり、画像解析装置2−1全体として処理負荷を削減しつつ、解析精度を向上させることができる。したがって、切出処理及び解析処理の負荷を低減し、かつ解析処理の高精度化を実現することができ、結果として処理の効率化を図ることができる。また、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
〔実施例2〕
次に、実施例2について説明する。実施例2は、実施例1と同様の処理にて切り出した第一切出画像J1〜JM及び第二切出画像K1〜KNを多重化して切出多重画像Lを生成し、切出多重画像Lを用いて解析を行う例である。
図6は、実施例2の画像切出装置及び画像解析装置の構成の一例を示すブロック図である。この画像切出装置1−2は、画像切出部10−2及び注視領域設定部11を備えている。画像解析装置2−2は、画像切出装置1−2及び画像解析部12−2を備えている。
(画像切出装置1−2/構成)
画像切出装置1−2の画像切出部10−2は、図1に示した画像切出部10−1と同様に、入力画像I及び第一切出領域A1〜AMを入力し、入力画像Iから、第一切出領域A1〜AMで指定される第一切出画像J1〜JMを切り出す。そして、画像切出部10−2は、第一切出画像J1〜JMを注視領域設定部11に出力する。
画像切出部10−2は、図1に示した画像切出部10−1と同様に、注視領域設定部11から第二切出領域B1〜BNを入力し、入力画像Iから、第二切出領域B1〜BNで指定される第二切出画像K1〜KNを切り出す。
画像切出部10−2は、第一切出画像J1〜JM及び第二切出画像K1〜KNを空間分割的に1系統の画像に多重化し、切出多重画像Lを生成する。そして、画像切出部10−2は、切出多重画像Lを画像解析部12−2に出力する。
図7は、図6に示した画像切出部10−2の構成の一例を示す図である。この画像切出部10−2は、第一切出手段20、第二切出手段21及び多重手段22を備えている。
第一切出手段20及び第二切出手段21は、図2に示したものと同様であるから、ここでは説明を省略する。第一切出手段20は、第一切出画像J1〜JMを多重手段22及び注視領域設定部11に出力し、第二切出手段21は、第二切出画像K1〜KNを多重手段22に出力する。
多重手段22は、第一切出手段20から第一切出画像J1〜JMを入力すると共に、第二切出手段21から第二切出画像K1〜KNを入力する。そして、多重手段22は、第一切出画像J1〜JM及び第二切出画像K1〜KNを空間分割的に1系統の画像に多重化し、切出多重画像Lを生成する。多重手段22は、切出多重画像Lを画像解析部12−2に出力する。
図6に戻って、注視領域設定部11は、画像切出部10−2から第一切出画像J1〜JMを入力し、第一切出画像J1〜JMを解析することで、第一切出画像J1〜JMに基づき第二切出領域B1〜BNを設定する。そして、注視領域設定部11は、第二切出領域B1〜BNを画像切出部10−2に出力する。注視領域設定部11については、図1にて説明済みであるから、ここでは詳細な説明を省略する。
(画像切出装置1−2/処理)
次に、図6に示した画像切出装置1−2の処理について詳細に説明する。図8は、図6に示した画像切出部10−2の処理の一例を示すフローチャートである。図8において、ステップS801〜S805は、図3に示したステップS301〜S305と同様であるから、ここでは説明を省略する。
画像切出部10−2の多重手段22は、第一切出手段20によりステップS803にて切り出された第一切出画像J1〜JM、及び第二切出手段21によりステップS805にて切り出された第二切出画像K1〜KNを多重化し、1つの画像である切出多重画像Lを生成する(ステップS806)。そして、多重手段22は、切出多重画像Lを画像解析部12−2に出力する(ステップS807)。
(画像解析部12−2)
図6に戻って、画像解析装置2−2の画像解析部12−2は、画像切出装置1−2から切出多重画像Lを入力する。そして、画像解析部12−2は、切出多重画像Lから第二切出画像K1〜KN及び第一切出画像J1〜JMを分離する。
画像解析部12−2は、図1に示した画像解析部12−1と同様に、第二切出画像K1〜KN(及び第一切出画像J1〜JM)を解析することで、第二切出画像K1〜KN(及び第一切出画像J1〜JM)に基づき、解析結果を生成する。画像解析部12−2は、解析結果を外部へ出力する。
(切出多重画像Lの例)
次に、画像切出装置1−2の画像切出部10−2に備えた多重手段22により生成される切出多重画像Lの例について説明する。
図9は、切出多重画像Lのレイアウトの一例を示す図である。第一切出手段20により、1920×600画素からなる第一切出画像J1が切り出され、第二切出手段21により、それぞれが480×480画素からなる第二切出画像K1〜K4が切り出されたものとする。
多重手段22により、1920×600画素からなる第一切出画像J1及びそれぞれが480×480画素からなる第二切出画像K1〜K4が多重化される。そして、図9に示す1920×1080画素からなる切出多重画像Lが生成される。
これにより、画像切出装置1−2は、例えば3G−SDI信号のような既存の普及した汎用のインターフェースを用いることで、第一切出画像J1及び第二切出画像K1〜K4を切出多重画像Lとして同時に出力することができる。また、切出多重画像Lを入力する画像解析部12−2の入力部に、汎用のインターフェースを用いることができる。
図10は、切出多重画像Lの一例を示す図である。第一切出手段20により、図5に示した7680×4320画素からなる入力画像Iから、第一切出領域A1の画像が切り出され、当該画像に補間処理及び解像度変換処理が施され、図10に示す1920×600画素からなる第一切出画像J1が生成されたものとする。また、第二切出手段21により、図5に示した7680×4320画素からなる入力画像Iから、第二切出領域B1〜B4の画像が480×480画素からなる第二切出画像K1〜K4として切り出されたものとする。
多重手段22により、1920×600画素からなる第一切出画像J1及びそれぞれが480×480画素からなる第二切出画像K1〜K4が多重化され、図10に示す1920×1080画素からなる切出多重画像Lが生成される。つまり、8Kの解像度を有する入力画像Iから、2Kの解像度を有する切出多重画像Lが生成される。この2Kの解像度を有する切出多重画像Lは、1920×600画素からなる低分解能の第一切出画像J1と、それぞれが480×480画素からなる高分解能の第二切出画像K1〜K4から構成される。
このように、図10に示した切出多重画像Lにおいて、上側5/9の領域には、入力画像Iの中央付近の広範な領域が縮小された画像として、低分解能の第一切出画像J1が配置される。また、下側4/9の領域には、入力画像I内の被写体が切り出された画像として、高分解能の第二切出画像K1〜K4が配置される。
尚、典型的には、図10に示した切出多重画像Lにおいて、上側5/9の領域に配置される第一切出画像J1の第一切出領域A1は、画像解析部12−2による解析処理の開始前に設定され、解析処理中に変更されることは原則としてない。
一方、下側4/9の領域に配置される第二切出画像K1〜K4の第二切出領域B1〜B4は、第一切出画像J1の時々刻々の変化に応じて、注視領域設定部11により随時変更される。したがって、入力画像Iから切り出された第一切出画像J1内において、被写体の動きに追従した第二切出画像K1〜K4を得ることができる。
以上のように、本発明の実施形態の画像切出装置1−2によれば、画像切出部10−2は、入力画像Iから、予め設定された第一切出領域A1〜AMの画像を切り出し、切り出した画像に対し必要に応じて補間処理及び解像度変換処理を施すことで、第一切出画像J1〜JMを生成する。
注視領域設定部11は、画像切出部10−2により生成された第一切出画像J1〜JMを解析することで、例えば第一切出画像J1〜JMに含まれる被写体を検出し、被写体の位置及び大きさに基づいて、注視領域である第二切出領域B1〜BNを設定する。
画像切出部10−2は、入力画像Iから、注視領域設定部11により設定された第二切出領域B1〜BNで指定される画像を切り出し、切り出した画像に対し必要に応じて補間処理及び解像度変換処理を施すことで、第二切出画像K1〜KNを生成する。そして、画像切出部10−2は、第一切出画像J1〜JM及び第二切出画像K1〜KNを多重化し、切出多重画像Lを生成する。
ここで、画像切出部10−2は、実施例1の画像切出部10−1と同様に、第二切出画像K1〜KNの分解能が第一切出画像J1〜JMよりも高くなるように、解像度変換処理を行うことが望ましい。つまり、第一切出画像J1〜JMの分解能は、入力画像I及び第二切出画像K1〜KNよりも低く、第二切出画像K1〜KNの分解能は、入力画像Iと同じまたはこれよりも低く、かつ第一切出画像J1〜JMよりも高いことが望ましい。
これにより、実施例1と同様に、切出処理の負荷を低減し、かつ解析処理の高精度化を実現することができ、結果として処理の効率化を図ることができる。また、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
また、画像切出部10−2が、第一切出画像J1〜JM及び第二切出画像K1〜KNを切り出し、これらを多重化する際に、例えば3G−SDI信号のような既存の普及した汎用のインターフェースの規格に適合するように、切出多重画像Lを生成することができる。したがって、汎用のインターフェースを用いて切出多重画像Lを入出力することができるから、入出力信号線の総数すなわち信号線のインターフェースの総数を減少させることができ、運用性を向上させると共にコストの削減が可能となる。
また、本発明の実施形態の画像解析装置2−2によれば、画像解析部12−2は、画像切出装置1−2により生成された切出多重画像Lから第二切出画像K1〜KN及び第一切出画像J1〜JMを分離する。そして、画像解析部12−2は、第二切出画像K1〜KN(及び第一切出画像J1〜JM)を解析することで、第二切出画像K1〜KNに含まれる被写体の属性を求め、被写体毎の属性を解析結果として生成する。
ここで、実施例1と同様に、第二切出画像K1〜KNの分解能が第一切出画像J1〜JMよりも高い場合に、注視領域設定部11は、低分解能の第一切出画像J1〜JMを用いて、第一切出領域A1〜AMよりも限定された第二切出領域B1〜BNを設定する。そして、画像解析部12−2は、第二切出領域B1〜BNに対応する高分解能の第二切出画像K1〜KNを解析する。
これにより、入力画像Iを直接解析するよりも第二切出画像K1〜KNを解析する方が、解析範囲が狭いから、処理負荷を削減することができる。つまり、画像解析装置2−2全体として処理負荷を削減しつつ、解析精度を向上させることができる。したがって、切出処理及び解析処理の負荷を低減し、かつ解析処理の高精度化を実現することができ、結果として処理の効率化を図ることができる。また、装置の入力インターフェース部の広帯域化を抑え、装置全体の製作コストを低減することが可能となる。
以上、実施例1,2を挙げて本発明を説明したが、本発明は前記実施例1,2に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、実施例2の画像切出装置1−2において、図7に示した画像切出部10−2の多重手段22は、第一切出画像J1〜JM及び第二切出画像K1〜KNを空間分割的に多重化し、切出多重画像Lを生成して出力するようにした。これに対し、多重手段22は、第一切出画像J1〜JM及び第二切出画像K1〜KNのうちの一部または全部を時分割的に多重化し、多重画像として出力するようにしてもよい。
図10に示した例を参照して、入力画像Iのフレーム周波数が60Hzであり、第一切出画像J1及び第二切出画像K1〜K4の解像度が全て同一(例えば640×480画素)であるとする。この場合、多重手段22は、解像度が同一の第一切出画像J1及び第二切出画像K1〜K4を、J1,K1,K2,K3,K4の順序の繰り返しで時分割的に多重化する。そして、多重手段22は、この順序で繰り返された640×480画素のフレーム周波数300Hzの映像信号(多重画像)を出力する。
尚、本発明の実施例1の画像切出装置1−1及び画像解析装置2−1、並びに実施例2の画像切出装置1−2及び画像解析装置2−2のハードウェア構成としては、通常のコンピュータを使用することができる。画像切出装置1−1,1−2及び画像解析装置2−1,2−2は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
画像切出装置1−1に備えた画像切出部10−1及び注視領域設定部11の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、画像解析装置2−1に備えた画像切出装置1−1及び画像解析部12−1の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
さらに、画像切出装置1−2に備えた画像切出部10−2及び注視領域設定部11の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、画像解析装置2−2に備えた画像切出装置1−2及び画像解析部12−2の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
1−1,1−2 画像切出装置
2−1,2−2 画像解析装置
10−1,10−2 画像切出部
11 注視領域設定部(切出領域設定部)
12−1,12−2 画像解析部
20 第一切出手段
21 第二切出手段
22 多重手段
I 入力画像
1〜AM,Am 第一切出領域
1〜BN,Bn 第二切出領域
1〜JM,Jm 第一切出画像
1〜KN,Kn 第二切出画像
L 切出多重画像L

Claims (8)

  1. 入力画像から被写体を含む部分領域の画像を切り出す画像切出装置において、
    前記入力画像から、M個(Mは1以上の整数)の部分領域の画像を第一切出画像として切り出し、前記入力画像から、第二切出領域で指定されるN個(Nは1以上の整数)の部分領域の画像を第二切出画像として切り出す画像切出部と、
    前記第一切出画像に基づいて、前記被写体を含む部分領域を、前記画像切出部による指定の際に用いる前記第二切出領域として設定する切出領域設定部と、
    を備えたことを特徴とする画像切出装置。
  2. 請求項1に記載の画像切出装置において、
    前記画像切出部は、
    前記入力画像から前記M個の部分領域の画像を切り出し、当該画像の解像度変換を行い前記第一切出画像を生成し、
    前記入力画像から、前記切出領域設定部により設定された前記第二切出領域で指定される前記N個の部分領域の画像を切り出し、当該画像を前記第二切出画像として生成するか、または当該画像の解像度変換を行い前記第二切出画像を生成する、ことを特徴とする画像切出装置。
  3. 請求項2に記載の画像切出装置において、
    前記画像切出部は、
    前記第二切出画像の分解能が前記第一切出画像よりも高くなるように、前記第一切出画像及び前記第二切出画像を生成する、ことを特徴とする画像切出装置。
  4. 請求項1から3までのいずれか一項に記載の画像切出装置において、
    前記画像切出部は、
    前記第一切出画像及び前記第二切出画像を空間分割的または時分割的に多重化し、多重画像を生成する、ことを特徴とする画像切出装置。
  5. 入力画像から被写体を含む部分領域の画像を切り出し、前記部分領域の切出画像を解析する画像解析装置において、
    請求項1から3までのいずれか一項の画像切出装置と、
    前記画像切出装置により切り出された前記第二切出画像に基づいて、当該第二切出画像に含まれる前記被写体の属性を求める画像解析部と、
    を備えたことを特徴とする画像解析装置。
  6. 入力画像から被写体を含む部分領域の画像を切り出し、前記部分領域の切出画像を解析する画像解析装置において、
    請求項4の画像切出装置と、
    前記画像切出装置により生成された前記多重画像から前記第二切出画像を分離し、当該第二切出画像に含まれる前記被写体の属性を求める画像解析部と、
    を備えたことを特徴とする画像解析装置。
  7. コンピュータを、請求項1から4までのいずれか一項に記載の画像切出装置として機能させるためのプログラム。
  8. コンピュータを、請求項5または6に記載の画像解析装置として機能させるためのプログラム。
JP2019019700A 2019-02-06 2019-02-06 画像切出装置、画像解析装置及びプログラム Active JP7304704B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019019700A JP7304704B2 (ja) 2019-02-06 2019-02-06 画像切出装置、画像解析装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019700A JP7304704B2 (ja) 2019-02-06 2019-02-06 画像切出装置、画像解析装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020126523A true JP2020126523A (ja) 2020-08-20
JP7304704B2 JP7304704B2 (ja) 2023-07-07

Family

ID=72084060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019700A Active JP7304704B2 (ja) 2019-02-06 2019-02-06 画像切出装置、画像解析装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7304704B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919279A1 (en) 2020-06-01 2021-12-08 Seiko Epson Corporation Liquid ejecting head and liquid ejecting apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057069A (ja) * 2008-08-29 2010-03-11 Sony Corp 映像表示装置、映像表示システムおよび映像表示方法
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057069A (ja) * 2008-08-29 2010-03-11 Sony Corp 映像表示装置、映像表示システムおよび映像表示方法
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919279A1 (en) 2020-06-01 2021-12-08 Seiko Epson Corporation Liquid ejecting head and liquid ejecting apparatus

Also Published As

Publication number Publication date
JP7304704B2 (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
US10277812B2 (en) Image processing to obtain high-quality loop moving image
US9179071B2 (en) Electronic device and image selection method thereof
US8472669B2 (en) Object localization using tracked object trajectories
JP6371553B2 (ja) 映像表示装置および映像表示システム
EP2040221A1 (en) Template-based overlap detection
JP5531865B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
WO2020021879A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2007129591A1 (ja) 遮蔽物映像識別装置及び方法
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2005071344A (ja) 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
JP7304704B2 (ja) 画像切出装置、画像解析装置及びプログラム
JP5911063B2 (ja) 物体検出装置およびプログラム
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3796216A1 (en) Image processing apparatus, image processing method, and program
JP2019083467A (ja) 画像処理装置、画像処理方法およびプログラム
JP6332864B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009266169A (ja) 情報処理装置及び方法、並びにプログラム
JP5192940B2 (ja) 画像変換装置、画像変換プログラムおよび画像変換方法
JP2020086961A (ja) 画像解析装置、撮影装置、画像解析方法、及び、プログラム
JPH11225310A (ja) 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体
JP2012226403A (ja) 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム
JP6406340B2 (ja) 画像処理装置及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150