JP2022043749A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022043749A JP2022043749A JP2020149204A JP2020149204A JP2022043749A JP 2022043749 A JP2022043749 A JP 2022043749A JP 2020149204 A JP2020149204 A JP 2020149204A JP 2020149204 A JP2020149204 A JP 2020149204A JP 2022043749 A JP2022043749 A JP 2022043749A
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- limited
- information processing
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 61
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000001513 elbow Anatomy 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 210000002832 shoulder Anatomy 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
また、非特許文献2には、セマンティックセグメンテーションによって、写真から、人物の領域、自転車の領域、動物の領域など各領域を推定することが開示されている。
入力インタフェース11は、ユーザの操作を受け付け、受け付けた操作に応じた入力信号をプロセッサ16へ出力する。本実施形態では入力インタフェース11は一例としてタッチパネルである。
通信モジュール12は、通信回路網に接続されて、通信回路網に接続されている他のコンピュータと通信する。この通信は有線であっても無線であってもよい。
メモリ14は、データ及びプログラムを一時的に保持する。メモリ14は、揮発性メモリであり、例えばRAM(Random Access Memory)である。
ディスプレイ15は、プロセッサ16の指令に従って、情報を表示する。
まず、処理の実施例1は、キーポイント推定を使ったものである。実施例1について図3を用いて説明する。図3は、実施例1の処理について説明するための図である。図3において、限定領域抽出部162は、対象画像H1において、非特許文献1などの技術を用いて、キーポイント位置を推定する。画像H2は、推定されたキーポイントの位置が白丸で示されている。このように、キーポイントとして、関節点(肩、肘、手首、腰、膝、足首など)や特徴点(目、鼻、口、耳など)が抽出される。一態様では、限定領域抽出部162によって、顔のキーポイントのバウンディングボックスは、1人の人物について1個設定され、その人物の顔のキーポイント(例えば目、鼻、口、耳のキーポイント)全部を含む1個のバウンディングボックスが設定される。図3の例では、顔のキーポイントのバウンディングボックスH21と、顔のキーポイントのバウンディングボックスH22が示されている。ここでは一例として、顔のキーポイントのバウンディングボックスは、人物の顔のキーポイント全部をちょうど囲うのに必要な大きさの四角い箱(矩形)である。また一態様では、限定領域抽出部162によって、身体のキーポイントに対するバウンディングボックスは、1人の人物について1個設定され、身体のキーポイントに対する関節点(例えば肩、肘、手首、腰、膝、足首のキーポイント)全部を含む1個のバウンディングボックスが設定される。
(1)より多くの顔のキーポイントが検出された人物を選ぶ。
(2)より多くの身体のキーポイントが検出された人物を選ぶ。
(3)顔のキーポイントのバウンディングボックスが大きい人物を選ぶ。
(4)身体のキーポイントのバウンディングボックスが大きい人物を選ぶ。
(1)顔のキーポイントのバウンディングボックスを所定量もしくは所定の割合だけ広げた領域を「限定領域」とする。ここで「所定量もしくは所定の割合」は、具体的には下記のようにしてもよい。
(ア)顔のキーポイントのバウンディングボックスの大きさに対する所定の割合。
(イ)身体のキーポイントのバウンディングボックスの大きさに対する所定の割合。
(ウ)ソース画像の大きさに対する所定の割合。
(エ)所定の画素数。
(ア)顔のキーポイントのバウンディングボックスの大きさに対する所定の割合。
(イ)身体のキーポイントのバウンディングボックスの大きさに対する所定の割合。
(ウ)ソース画像の大きさに対する所定の割合。
(エ)所定の画素数。
なお、顔のキーポイントが検出されなかった場合は,近隣の部位(例えば首,肩など)のキーポイントの位置を元に,顔が含まれるであろう「限定領域」を設定してもよい。
このように、限定領域抽出部162は、対象画像におけるキーポイント位置を推定し当該推定したキーポイント位置を用いて、前記対象画像から前記所望領域を含む限定領域を抽出する。
続いて、実施例2の処理は、セマンティックセグメンテーションを使ったものである。実施例2について図4を用いて説明する。図4は、実施例2の処理について説明するための図である。図4において、限定領域抽出部162は、対象画像H1において、非特許文献2などのセマンティックセグメンテーションの技術を用いて、画像領域を分類して、人物領域を「限定領域」として抽出する。
限定領域抽出部162は、複数の人物領域が抽出された場合、画像の中心により近い人物領域を限定領域として抽出してもよいし、人物領域の大きさが最も大きい人物領域を限定領域として抽出してもよいし、画像の中心により近く且つ人物領域の大きさが最も大きい人物領域を限定領域として抽出してもよい。
図4の場合、例えば、限定領域抽出部162によって、人物領域R11、R12のうち、中心に近い、及び/又はより領域が大きい人物領域R11が限定領域として抽出される。図4の例の場合、限定領域H13は一例として、画像から人物領域R11に対して上及び左右にマージンを付けて抜き出した領域である。なお、これに限らず、限定領域H13は、人物領域R11に対して上及び左右にマージンがなくてもよく、人物領域R11にぴったり外接する矩形領域であってもよい。そして、抽出された限定領域H13に対して、所望領域出力部163によって顔検出が実行されて、所望領域H14が出力される。この顔検出は、公知の方法を用いてもよい。
例えば、限定領域抽出部162は、セマンティックセグメンテーションによって対象画像を複数の領域に分け、当該領域毎に当該領域が表すカテゴリに分類し、ユーザが所望する所望領域の種類(例えば、人の顔)に対応するカテゴリ(例えば、人体)に分類された領域を略含む領域を限定領域として選択してもよい。所望領域出力部163は、当該選択された限定領域において当該所望領域を認識する処理(ここでは顔検出)を実行して、当該限定領域から所望領域(例えば、人の顔の画像領域)を抽出して出力してもよい。
続いて、実施例3は、セマンティックセグメンテーションとキーポイント推定を使った実施例である。この場合、限定領域抽出部162はまず、対象画像に対してセマンティックセグメンテーションを実行し、人物領域を抽出する。そして限定領域抽出部162は、この人物領域に対して、前記の「キーポイント推定を使った実施例」の手法を実行し、「限定領域」を抽出してもよい。このように、限定領域抽出部162は、セマンティックセグメンテーションによって前記対象画像を複数の領域に分け、当該領域毎に当該領域が表すカテゴリに分類し、前記所望領域の種類に対応するカテゴリに分類された領域(例えば、人物領域)を略含む領域において、キーポイント位置を推定し、当該推定したキーポイントのうちの1個または複数個を含むように前記限定領域を作る。これにより、キーポイントを推定するときに、人物以外のもの(例えば、コンセント)などを対象とすることを未然に防止できる。
以上の実施例では「限定領域」を1個(1人分)に絞り込んだが、数個(複数人)のままにしても良い。あるいは、「限定領域」の個数を,所定の個数(または所定の個数以下)に絞り込んでもよい。
(ステップS110)まずプロセッサ16は、対象画像が選択され所望領域の種類が指定された状態で、抽出開始ボタンが押されたか否か判定する。
なお、表示制御部164は、限定領域抽出部162によって抽出された限定領域が複数ある場合、当該複数の限定領域をユーザが選択可能にディスプレイ15に表示制御してもよい。受付部165は、ユーザによって選択された限定領域を受け付ける受付部と、を備える。所望領域出力部163は、前記ユーザによって選択された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から所望領域を抽出して出力する。これにより、ユーザが複数の限定領域の中から1以上の限定領域を選択することで、ユーザによって選択された限定領域から所望領域が出力されるので、所望領域の出力精度を向上させることができる。
続いて第2の実施形態について説明する。第1の実施形態では、ユーザが使用する情報処理装置1によって処理を実行したが、第2の実施形態では、ユーザが使用する端末装置が通信回路網を介して接続されたコンピュータシステムによって実行される。
図8は、第2の実施形態に係る情報処理システムの概略構成図である。図8に示すように、情報処理システムSは一例として、端末装置3-1、…、3-N(Nは自然数)と、端末装置3-1~3-Nそれぞれと通信回路網NWを介して接続されたコンピュータシステム2を備える。コンピュータシステム2は、端末装置3-1、…、3-Nからの要求に応じて、処理を実行する。ここではコンピュータシステム2は一例として、一台のサーバであるものとして説明するが、これに限定されるものではなく、クラウドサービスのように複数のコンピュータで構成されてもよい。
入力インタフェース11は、コンピュータシステム2の管理者の操作を受け付け、受け付けた操作に応じた入力信号をプロセッサ25へ出力する。
通信モジュール22は、通信回路網NWに接続されて、通信回路網NWに接続されている端末装置3-1~3-Nと通信する。この通信は有線であっても無線であってもよい。
メモリ24は、データ及びプログラムを一時的に保持する。メモリ14は、揮発性メモリであり、例えばRAM(Random Access Memory)である。
11 入力インタフェース
12 通信モジュール
13 ストレージ
14 メモリ
15 ディスプレイ
16 プロセッサ
161 取得部
162 限定領域抽出部
163 所望領域出力部
164 表示制御部
165 受付部
166 記憶処理部
17 カメラ
2 コンピュータシステム
21 入力インタフェース
22 通信モジュール
23 ストレージ
24 メモリ
25 プロセッサ
3-1~3-N 端末装置
S 情報処理システム
Claims (11)
- 対象画像におけるキーポイント位置の推定及び/又はセマンティックセグメンテーションによる領域分類を実行し、当該推定したキーポイント位置、及び/又は当該領域分類の結果を用いて、前記対象画像から所望領域を含む限定領域を抽出する限定領域抽出部と、
前記抽出された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から前記所望領域を抽出して出力する所望領域出力部と、
を備える情報処理装置。 - 前記限定領域抽出部は、前記セマンティックセグメンテーションによって前記対象画像を複数の領域に分け、当該領域毎に当該領域が表すカテゴリに分類し、前記所望領域の種類に対応するカテゴリに分類された領域を略含む領域を前記限定領域として抽出し、
前記所望領域出力部は、前記選択された限定領域において前記所望領域を認識する処理を実行して、少なくとも一つの所望領域を出力する
請求項1に記載の情報処理装置。 - 前記限定領域抽出部は、前記推定されたキーポイントのうちの1個または複数個を含むように前記限定領域を抽出する
請求項1に記載の情報処理装置。 - 前記限定領域抽出部は、前記セマンティックセグメンテーションによって前記対象画像を複数の領域に分け、当該領域毎に当該領域が表すカテゴリに分類し、前記所望領域の種類に対応するカテゴリに分類された領域を略含む領域において、キーポイント位置を推定し、当該推定したキーポイントのうちの1個または複数個を含むように前記限定領域を抽出する
請求項1に記載の情報処理装置。 - 前記限定領域抽出部によって抽出された限定領域が複数ある場合、当該複数の限定領域をユーザが選択可能にディスプレイに表示制御する表示制御部と、
ユーザによって選択された限定領域を受け付ける受付部と、
を備え、
前記所望領域出力部は、前記ユーザによって選択された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から所望領域を抽出して出力する
請求項1から4のいずれか一項に記載の情報処理装置。 - 前記所望領域出力部によって出力された所望領域が複数ある場合、前記出力された前記複数の所望領域のうち、少なくとも一つをユーザが選択可能にディスプレイに表示制御する表示制御部を備える
請求項1から5のいずれか一項に記載の情報処理装置。 - 前記所望領域出力部によって出力された所望領域が複数ある場合、前記複数の所望領域のうちユーザによって選択された1以上の所望領域を受け付ける受付部と、
前記ユーザによって選択された1以上の所望領域をストレージに保存させる記憶処理部と、
を更に備える請求項1から6のいずれか一項に記載の情報処理装置。 - 前記所望領域の出力において優先する対象を、ユーザによる優先度の指定に基づき取得する取得部を備え、
前記限定領域抽出部は、複数の限定領域を抽出し、当該優先する対象に応じて、複数の限定領域それぞれの優先度を決定し、
前記所望領域出力部は、当該優先度に応じて前記所望領域を出力する
請求項1から7のいずれか一項に記載の情報処理装置。 - 対象画像におけるキーポイント位置の推定及び/又はセマンティックセグメンテーションによる領域分類を実行し、当該推定したキーポイント位置、及び/又は当該領域分類の結果を用いて、前記対象画像から所望領域を含む限定領域を抽出する限定領域抽出部と、
前記抽出された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から所望領域を抽出して出力する所望領域出力部と、
を備える情報処理システム。 - 対象画像におけるキーポイント位置の推定及び/又はセマンティックセグメンテーションによる領域分類を実行し、当該推定したキーポイント位置、及び/又は当該領域分類の結果を用いて、前記対象画像から所望領域を含む限定領域を抽出する限定領域抽出手順と、
前記抽出された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から所望領域を抽出して出力する所望領域出力手順と、
を有する情報処理方法。 - コンピュータに、
対象画像におけるキーポイント位置の推定及び/又はセマンティックセグメンテーションによる領域分類を実行し、当該推定したキーポイント位置、及び/又は当該領域分類の結果を用いて、前記対象画像から所望領域を含む限定領域を抽出する限定領域抽出手順、
前記抽出された限定領域に対して前記所望領域を認識する処理を実行して、前記限定領域から所望領域を抽出して出力する所望領域出力手順、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149204A JP6927540B1 (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149204A JP6927540B1 (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6927540B1 JP6927540B1 (ja) | 2021-09-01 |
JP2022043749A true JP2022043749A (ja) | 2022-03-16 |
Family
ID=77456265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020149204A Active JP6927540B1 (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6927540B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259215A (ja) * | 2003-02-27 | 2004-09-16 | Toshiba Corp | 顔検出システムとその方法 |
JP2007081732A (ja) * | 2005-09-13 | 2007-03-29 | Canon Inc | 撮像装置 |
JP2014168149A (ja) * | 2013-02-28 | 2014-09-11 | Casio Comput Co Ltd | 撮像装置、及び撮像処理方法、プログラム |
JP2018124973A (ja) * | 2017-01-27 | 2018-08-09 | 株式会社デンソーアイティーラボラトリ | 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 |
-
2020
- 2020-09-04 JP JP2020149204A patent/JP6927540B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259215A (ja) * | 2003-02-27 | 2004-09-16 | Toshiba Corp | 顔検出システムとその方法 |
JP2007081732A (ja) * | 2005-09-13 | 2007-03-29 | Canon Inc | 撮像装置 |
JP2014168149A (ja) * | 2013-02-28 | 2014-09-11 | Casio Comput Co Ltd | 撮像装置、及び撮像処理方法、プログラム |
JP2018124973A (ja) * | 2017-01-27 | 2018-08-09 | 株式会社デンソーアイティーラボラトリ | 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 |
Non-Patent Citations (1)
Title |
---|
飯田 紗也香,外4名: "帝国会議会議録におけるsemantic segmentationを用いたレイアウト解析", 情報処理学会 研究報告 数理モデル化と問題解決(MPS) 2019−MPS−124 [ONLINE], JPN6021004198, 2019, JP, ISSN: 0004442532 * |
Also Published As
Publication number | Publication date |
---|---|
JP6927540B1 (ja) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10616475B2 (en) | Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium | |
US8938100B2 (en) | Image recomposition from face detection and facial features | |
CN110517185B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR101605983B1 (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
KR20190028349A (ko) | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 | |
US8811747B2 (en) | Image recomposition from face detection and facial features | |
US20130108168A1 (en) | Image Recomposition From Face Detection And Facial Features | |
US20130108164A1 (en) | Image Recomposition From Face Detection And Facial Features | |
WO2020244074A1 (zh) | 表情交互方法、装置、计算机设备及可读存储介质 | |
US20130108119A1 (en) | Image Recomposition From Face Detection And Facial Features | |
CN105430269B (zh) | 一种应用于移动终端的拍照方法及装置 | |
US20130108171A1 (en) | Image Recomposition From Face Detection And Facial Features | |
WO2021190625A1 (zh) | 拍摄方法和设备 | |
US20130108170A1 (en) | Image Recomposition From Face Detection And Facial Features | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN106815803B (zh) | 图片的处理方法及装置 | |
WO2022017006A1 (zh) | 视频处理方法、装置、终端设备及计算机可读存储介质 | |
CN112330533A (zh) | 混血人脸图像生成方法、模型训练方法、装置和设备 | |
WO2023197648A1 (zh) | 截图处理方法及装置、电子设备和计算机可读介质 | |
US9025835B2 (en) | Image recomposition from face detection and facial features | |
US11468571B2 (en) | Apparatus and method for generating image | |
WO2022073516A1 (zh) | 生成图像的方法、装置、电子设备及介质 | |
CN115937033A (zh) | 图像生成方法、装置及电子设备 | |
JP2019067163A (ja) | 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体 | |
WO2016082470A1 (zh) | 一种图片处理方法、装置及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200904 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210112 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6927540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |