JP2020167496A

JP2020167496A - 情報処理装置、情報処理方法、プログラム

Info

Publication number: JP2020167496A
Application number: JP2019065448A
Authority: JP
Inventors: 卓士藤川; Takushi Fujikawa
Original assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Current assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2020-10-08
Anticipated expiration: 2039-03-29
Also published as: JP7319521B2

Abstract

【課題】被写体が複数いる場合にも、所望のタイミングの写真を記録できる仕組みを提供する。【解決手段】情報処理装置は、撮影した画像の中から検出された複数の顔の、単位時間における上下方向の移動量Ｎ（△ｔ）の平均値を基に、被写体がジャンプをして、着地したことを検出する。上下方向の移動量の平均値が、閾値（Ｔｖ）を超えたことを検出した後に、負の閾値（Ｔｖ）を越えるまでの間であって、移動量が０、又は最小となるタイミングで取得された画像を、シャッターチャンスの撮像画像として見做して、取得する。【選択図】図６

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

ジャンプした被写体が、軌跡の頂点に達したタイミングでシャッターを切ることで、被写体があたかも浮遊しているように見える写真を撮影し、SNSなどに投稿することが流行している。

このような写真を撮影するには、第三者がタイミング良くシャッターを切ったり、セルフタイマーを仕掛けておきシャッターが切られるタイミングに合わせてジャンプすることで、撮影する必要がある。

また、特許文献１には、被写体を自動で追従し、所定のタイミングで撮影する技術について開示されている。

特開２００３−０６９８８４号公報

上述のとおり、特許文献１には、被写体を自動で追従し、所定のタイミングで撮影する技術が記載されている。しかし、被写体は一人とは限らず、複数人が同時に浮遊しているように見える写真を撮影したいケースもある。このようなケースにおいては、被写体一人ひとりをそれぞれ別々に扱うのではなく、１枚の画像に含まれる複数の被写体を関連したものとして扱わなければ、所望の写真を撮影することはできない。

そこで、本発明は、被写体が複数いる場合にも、所望のタイミングの写真を記録できる仕組みを提供することを目的とする。

本発明の情報処理装置は、撮影された画像を取得する取得手段と、前記取得手段により取得した画像から、被写体の移動量を算出する移動量算出手段と、前記移動量算出手段により算出された移動量が所定の条件を満たす画像を特定する特定手段と、を備えることを特徴とする。

また、本発明の情報処理方法は、情報処理装置の取得手段が、撮影された画像を取得する取得工程と、前記情報処理装置の移動量算出手段が、前記取得工程により取得した画像から、被写体の移動量を算出する移動量算出工程と、前記情報処理装置の特定手段が、前記移動量算出工程により算出された移動量が所定の条件を満たす画像を特定する特定工程と、を備えることを特徴とする。

また、本発明のプログラムは、情報処理装置を、撮影された画像を取得する取得手段と、前記取得手段により取得した画像から、被写体の移動量を算出する移動量算出手段と、前記移動量算出手段により算出された移動量が所定の条件を満たす画像を特定する特定手段として機能させるためのプログラムである。

本発明によれば、被写体が複数いる場合にも、所望のタイミングの写真を記録することが可能となる。

本発明における情報処理システムの構成例を示す図ハードウエア構成の一例を示すブロック図本発明の処理内容を示すフローチャートステップＳ３０１〜Ｓ３０４の処理を示す図ステップＳ３０７〜Ｓ３１１の処理を示す図被写体の上下の移動量の時系列変化を示すグラフ

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明における情報処理システムの構成の一例を示す図である。

図１に示す通り、本発明における情報処理システムは、撮像部と情報処理装置１０１とが通信可能に接続され、それぞれ別々の筐体として示しているが、撮像部と情報処理装置とは、同一の筐体でも良い。例えばスマートフォンやデジタルカメラが好適な具体例である。

図２は、本発明の情報処理装置のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

次に図３のフローチャートを用いて、本発明の処理の内容を説明する。

図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

なお、本発明は、カメラのセンサーから送られて来る撮影画像（ストリーミングデータ）を随時処理し、過去一定時間内の撮影画像の中から最も浮遊感（無重量状態）が得られていると感じられる画像を取得する処理を実現するものである。

ステップＳ３０１〜Ｓ３０５の処理は、撮影画像Ｉ（ｔ）に映る人物と、単位時間前に撮影された撮影画像Ｉ（ｔ−１）に映る人物との間で、同一の人物を特定し、特定した人物の顔に関する情報（位置等）を保存する処理である。

ステップＳ３０１では、撮像部（または、情報処理装置１０１の撮像部）により撮影された画像Ｉ（ｔ）を取得する。図４の（Ａ）は、取得した画像Ｉ（ｔ）を示す図である。

なお、本発明における情報処理装置１０１は、図１において説明したように、撮像部を同一筐体に備える装置であっても良いし、撮像部を備える他の装置と通信可能に接続された装置であってもよい。

ステップＳ３０２では、ステップＳ３０１で取得した撮影画像Ｉ（ｔ）から人物の顔を検出する。複数の人物が映っている場合は、複数の顔が検出される。図４の（Ｂ）は、撮影画像Ｉ（ｔ）から人物の顔（顔１（ｔ）、顔２（ｔ）・・・顔ｎ（ｔ））を検出した状況を示す図である。

ここで、撮影画像Ｉ（ｔ）から検出したｎ個の顔に関する情報（人物を特定する情報、画像における位置情報）を顔Ｍ（ｔ）とする（Ｍ＝１，２，・・・ｎ）。

ステップＳ３０３では、ステップＳ３０１で取得した撮影画像よりも単位時間だけ過去に撮影された撮影画像Ｉ（ｔ−１）から検出された顔の情報（ここでは、顔Ｎ（ｔ−１）とする。）を取得する。図４の（Ｃ）は、顔Ｎ（ｔ−１）を検出した状況を示す図である。

ステップＳ３０４では、ステップＳ３０２で検出された顔（顔Ｍ（ｔ））と、ステップＳ３０３で取得した顔（顔Ｎ（ｔ−１））を比較し、同一人物の顔を特定する。具体的な方法としては、顔認証により同一人物か否かを判定する方法や、単位時間前の画像から検出した顔との位置が最も近い顔を同一人物と判定する方法などによって特定する。

そして、同一人物として判定された顔Ｍ（ｔ）を顔Ｎ（ｔ）に移す。

図４の（Ｄ）は、顔１（ｔ）と顔ａ（ｔ−１）が同一人物として特定された状況を示す図である。

ステップＳ３０５では、検出したそれぞれの顔に関する情報（人物、位置等を特定する情報）を一時領域に保存する。

ステップＳ３０６〜Ｓ３１０の処理は、単位時間における顔の移動量を算出する処理である。

ステップＳ３０６では、検出されたすべての顔に対する処理が実行されたかを判定する。すべての顔について処理が行われた場合（ステップＳ３０６：ＹＥＳ）は、処理をステップＳ３１１に移行する。処理が実行されていない顔が存在する場合（ステップＳ３０６：ＮＯ）は、処理が実行されていない顔に対する処理を開始すべく、ステップＳ３０７に移行する。

ステップＳ３０７では、撮影画像Ｉ（ｔ）に映る顔の位置（顔Ｎの位置Ｎ（ｔ））を一時領域から取得する（図５（Ａ））。

ステップＳ３０８では、撮影画像Ｉ（ｔ）よりも単位時間だけ過去に撮影された画像Ｉ（ｔ−１）における顔Ｎの位置Ｎ（ｔ−１）を一時領域から取得する（図５（Ｂ））。

ステップＳ３０９では、撮影画像Ｉ（ｔ）から単位時間における顔Ｎの移動量Ｎ（△ｔ）を算出する。具体的には、位置Ｎ（ｔ）−位置Ｎ（ｔ−１）により算出する（図５（Ｃ））。

ステップＳ３１０では、検出した顔に関する情報（人物、位置、移動量）を一時領域に保存する。

そして、ステップＳ３０６に処理を戻し、撮影画像Ｉに映るすべての顔について処理を実行した場合には、処理をステップＳ３１１に移行する。

ステップＳ３１１では、ステップＳ３０９で算出したそれぞれの顔の移動量Ｎ（△ｔ）から、平均値Ａｖｅｒａｇｅ（Ｎ（△ｔ））を求める（図５（Ｄ））。

ステップＳ３１２では、撮影画像Ｉ（ｔ）に顔の移動量Ｎ（△ｔ）を埋め込む。

ステップＳ３１３では、ステップＳ３１１で算出した移動量（ここでは上下方向の移動量を用いる）の平均値が閾値（Ｔｖ）を超えたかを判定し、超えていると判定された場合には、フラグをセットする。そして、フラグがセットされた状態で（つまり、閾値（Ｔｖ）を超えたと判定された後に）、負の閾値（−Ｔｖ）を超えたと判定された場合に、フラグをリセットし、処理をステップＳ３１４に移行する。

すなわち、被写体がジャンプをして着地をしたことを検出した場合に、処理をステップＳ３１４に進める（フラグがセットされた状態とは、ジャンプをしている間の状態を意味することとなる）。

ステップＳ３１４では、フラグがセットされた状態で、上下方向への移動量の平均値が0または最小のものをシャッターチャンス(P)と見做し、撮影画像I(P)をピックアップする。

図６は、上下の移動量の時系列変化を示すグラフである。移動量が閾値（Ｔｖ）を超えてから、負の閾値（−Ｔｖ）を超えるまでの間であって、移動量が０または最小になるタイミングで取得された撮影画像Ｉ（Ｐ）が、ユーザの所望の写真として取得される。

以上の処理により、被写体の単位時間当たりの平均移動量から、複数の被写体がジャンプして軌跡の頂点に達したタイミングの画像を取得することが可能となり、被写体全員が浮遊しているように見える写真を記録することが可能となる。

なお、本実施形態においては、顔を基準に処理を行ったが、顔以外の部位を用いて移動量等の算出しても良い。

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図３に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１情報処理装置

Claims

撮影された画像を取得する取得手段と、
前記取得手段により取得した画像から、被写体の移動量を算出する移動量算出手段と、
前記移動量算出手段により算出された移動量が所定の条件を満たす画像を特定する特定手段と、
を備えることを特徴とする情報処理装置。
前記被写体は複数の人物であって、前記移動量算出手段は、複数の人物の移動量の平均値を算出することを特徴とする請求項１に記載の情報処理装置。
前記特定手段は、被写体の上方向への移動を検出してから下方向への移動を検出する間であって、前記移動量算出手段により算出された移動量が最小である画像を特定することを特徴とする請求項１又は２に記載の情報処理装置。
情報処理装置の取得手段が、撮影された画像を取得する取得工程と、
前記情報処理装置の移動量算出手段が、前記取得工程により取得した画像から、被写体の移動量を算出する移動量算出工程と、
前記情報処理装置の特定手段が、前記移動量算出工程により算出された移動量が所定の条件を満たす画像を特定する特定工程と、
を備えることを特徴とする情報処理方法。
情報処理装置を、
撮影された画像を取得する取得手段と、
前記取得手段により取得した画像から、被写体の移動量を算出する移動量算出手段と、
前記移動量算出手段により算出された移動量が所定の条件を満たす画像を特定する特定手段として機能させるためのプログラム。