JP2020522943A

JP2020522943A - 対象追跡に基づくスローモーションビデオキャプチャ

Info

Publication number: JP2020522943A
Application number: JP2019566896A
Authority: JP
Inventors: サズ，パル
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-06-05
Filing date: 2017-06-05
Publication date: 2020-07-30
Anticipated expiration: 2037-06-05
Also published as: WO2018226203A1; US20200162665A1; EP3635946A1; US11206347B2; JP6892524B2

Abstract

【解決手段】対象追跡に基づくスローモーションビデオキャプチャのトリガは、デジタルカメラのファインダ上にトリガ領域を画定するユーザ入力を受け取ることと、該カメラの視野内の行為者の動きを追跡することとを含む。行為者が動いたことにより行為者は画定済トリガ領域の境界内に位置している、との判定がなされる。この判定に基づいてスローモーションビデオキャプチャが開始される。特徴検出法を用いて特徴点が識別される。これら特徴点の一部は行為者に対応している。さらに、特徴点追跡法を用いて行為者に対応する特徴点の動きが追跡される。統計的手法を用いて異常値特徴点が除去される。トリガウィンドウをデジタルカメラの視野内の静止物体に固定するために、トリガ領域が追跡されてその位置が更新される。

Description

本開示は電子機器に関し、特にスローモーションビデオを撮影するように構成されたデジタルカメラに関する。

現代社会においてデジタルカメラは広く普及している。技術革新と競合とによって高品質のデジタルカメラをほぼ誰もが入手して利用できるようになっている。独立型のデジタルカメラに限らず、今日では多くの個人向け電子機器にデジタルカメラが内蔵されている。例えば、現在ではほとんど全てのスマートフォンやタブレットコンピュータが、動画や静止画を撮影可能な一体型のデジタルカメラを備えている。さらに、時計、メディア・プレーヤ、眼鏡などの頭部装着型機器、ラップトップコンピュータなどの、多くの個人向け小形電子機器も現在では一体型のデジタルカメラを備えている。

これら個人向け電子機器に内蔵されたものを初めとして、現代のデジタルカメラはきわめて機能に富んでいる。これらのカメラの多くは形状因子が小さいにもかかわらず、概して高解像度の画像を取り込むことができ、多くの場合カメラまたはホスト装置のオペレーティングソフトの一部としての強力な編集ツールを備えている。最新のデジタルカメラにおいて人気のある機能の１つに、ビデオ画像フレームを高速で取り込み、取り込んだフレームを低速で表示することでスローモーションビデオ効果を生む機能がある。ただし、スローモーション再生のためのビデオの撮影、特にきわめて高速にビデオ画像フレームを取り込む必要のある極スローモーション再生のためのビデオの撮影には課題がある。本明細書において、用語「スローモーションビデオ」とは、映像内の出来事が撮影時よりも低速で進行する再生を目的に撮影されたビデオを指している。

このようなスローモーションビデオの撮影に伴う課題の１つに、スローモーションビデオに必要な高フレームレートでの撮影を開始するにはユーザの労力が必要になることがある。例えば、スローモーションビデオキャプチャ機能を備えたデジタルカメラの多くは、スローモーションビデオに必要な高フレームレートでの撮影を開始するためにユーザ入力を必要とする。例えば、ユーザは、スローモーションビデオを撮影したいときにハードボタンかソフトボタンを押す必要がある。

スローモーションビデオの撮影において上述のようなユーザインタラクションが必要であることから、カメラのスローモーションビデオキャプチャ機能に制約が生じている。例えば、カメラによっては（特に、例えば、毎秒９６０フレーム（９６０ｆｐｓ）以上のフレームレートで撮影されたビデオなどの極スローモーションビデオの撮影機能をもつカメラでは）、カメラ自体のハードウェアに限界があるためにスローモーションビデオキャプチャを開始するにはユーザ入力が必要になる。これらの事例においては、スローモーションビデオのフレームキャプチャレートがきわめて高いのでビデオバッファはごく短時間で一杯になってしまう。このため、ごく短時間（例えば、数秒）のスローモーションビデオしか撮影できない。したがって、スローモーションビデオバッファがもたらす時間ウィンドウ内で所望の事象を記録するには、ある特定の時点でスローモーションビデオキャプチャを開始するためのユーザインタラクションが必要になる。

より長時間のスローモーションビデオを撮影できる別のカメラの場合、スローモーションビデオを撮影しようとするユーザがスローモーションで取り込みたいと思うのはビデオ中の特定部分だけである。そうしないと、興味のない部分を含んでいる比較的短時間のビデオが長すぎるものになってしまう。例えば、ユーザが、特定の行為（手品やアスリートの複雑な動作など）をスローモーションで取り込む一方、ビデオ中の興味のない箇所（ジャンプを行うスキーヤの滑り出しなど）を標準速度で再生したいと思うことがある。

このようなケースで、ユーザがスローモーションの記録機能の開始に必要なユーザ入力を行うために持ち得る時間ウィンドウは、ユーザがスローモーションで取り込みたいと思う動作に対してきわめて短いものでしかない。ユーザがこの時間ウィンドウより前に必要なユーザ入力を行うと、スローモーションビデオが長くなりすぎて不所望の映像がスローモーションで取り込まれてしまう。ユーザがこの時間ウィンドウより後に必要なユーザ入力を行うと、所望の映像の一部がスローモーションで取り込まれなくなることになる。

さらに、スローモーションビデオの開始にユーザインタラクションが必要であるため、無人での（例えば、カメラを三脚または他の設置面に置いたままでの）スローモーションビデオの撮影が困難である。

本開示の一態様により、デジタルカメラが開示される。このデジタルカメラは、制御回路であって、該デジタルカメラのファインダ上のトリガ領域の境界を画定するユーザ入力を受け取り、該カメラによってビデオフレームに取り込まれた行為者の動きを追跡し、行為者がトリガ領域の境界の内側に入ったと判定して、上記行為者が該トリガ領域の境界の内側に入ったとの判定に応じてスローモーションビデオキャプチャを開始するように該デジタルカメラを作動的に制御する制御回路を備える。

前記デジタルカメラの一実施形態によれば、ビデオフレームは特徴検出法によって処理される。この特徴検出法は、ビデオフレームに取り込まれた対象物に対応する特徴点を識別するものである。

前記デジタルカメラの一実施形態によれば、スローモーションビデオを開始するには閾値数の特徴点がトリガ領域の境界の内側にある必要がある。

前記デジタルカメラの一実施形態によれば、デジタルカメラは、特徴点を移動特徴点または固定特徴点のいずれかとして識別する。

前記デジタルカメラの一実施形態によれば、閾値数の特徴点は、移動特徴点と識別された特徴点の割合からなると定義される。

前記デジタルカメラの一実施形態によれば、閾値数の特徴点は、最小数の特徴点を含むと定義される。

前記デジタルカメラの一実施形態によれば、前記デジタルカメラは、行為者を移動特徴点と識別された特徴点の離散集合として確定する。

前記デジタルカメラの一実施形態によれば、デジタルカメラは、行為者を移動特徴点と識別された特徴点の離散集合として確定し、閾値数の特徴点は前記離散集合の割合と定義される。

前記デジタルカメラの一実施形態によれば、行為者の動きは、行為者に対応する複数の特徴点の動きを追跡する特徴点追跡法によって追跡される。

前記デジタルカメラの一実施形態によれば、特徴検出法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む。

前記デジタルカメラの一実施形態によれば、特徴点追跡法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む。

前記デジタルカメラの一実施形態によれば、ビデオフレームはオプティカルフロー法によって処理される。

前記デジタルカメラの一実施形態によれば、オプティカルフロー法は、特徴点追跡法がビデオフレーム内の消失特徴点の識別に失敗した該消失特徴点の位置を予測する。

前記デジタルカメラの一実施形態によれば、オプティカルフロー法はＫＬＴ（Kanade-Lucas-Tomasi）法を含む。

前記デジタルカメラの一実施形態によれば、制御回路は、基準点に対するトリガ領域の初期位置を決定するように前記カメラを制御する。

前記デジタルカメラの一実施形態によれば、制御回路は、１つ以上の特徴点を異常値として識別するようにカメラを制御し、異常値として識別された特徴点は閾値数の特徴点の決定において無視される。

前記デジタルカメラの一実施形態によれば、制御回路はカメラを制御して、カメラが、トリガ領域の位置を追跡し、追跡したトリガ領域の位置に基づいて、トリガ領域が基準点に対する前記トリガ領域の初期位置から変位していることを判定する。

前記デジタルカメラの一実施形態によれば、前記トリガ領域の位置が、前記基準点に対する前記トリガ領域の初期位置を反映するように調整される。

前記デジタルカメラの一実施形態によれば、前記基準点は、固定特徴点と識別された特徴点の少なくとも１つに基づいて決定される。

本開示の一態様により、デジタルカメラで実行される方法が開示される。この方法は、デジタルカメラによってビデオフレームに取り込まれた行為者の動きを追跡するステップと、行為者がデジタルカメラのファインダ上に画定されたトリガ領域の境界の内側に入ったと判定するステップと、前記行為者が前記トリガ領域の境界の内側に入ったとの判定に応じてスローモーションビデオキャプチャを開始するステップとを含む。

前記方法の一実施形態によれば、該方法は、デジタルカメラのファインダ上のトリガ領域を画定するユーザ入力をデジタルカメラによって受けることを含む。

前記方法の一実施形態によれば、該方法は、ビデオフレームを特徴検出法によって処理することを含み、該特徴検出法はビデオフレームに取り込まれた対象物に対応する特徴点を識別するものである。

前記方法の一実施形態によれば、スローモーションビデオを開始するには閾値数の特徴点がトリガ領域の境界の内側にある必要がある。

前記方法の一実施形態によれば、該方法は、特徴点を移動特徴点または固定特徴点のいずれかとして識別することを含む。

前記方法の一実施形態によれば、該方法は、閾値数の特徴点を移動特徴点と識別された特徴点の割合からなると定義することを含む。

前記方法の一実施形態によれば、該方法は、閾値数の特徴点は、最小数の特徴点を含むと定義することを含む。

前記方法の一実施形態によれば、該方法は、行為者を移動特徴点と識別された特徴点の離散集合として確定することを含む。

前記方法の一実施形態によれば、該方法は、行為者を移動特徴点と識別された特徴点の離散集合として確定することと、閾値数の特徴点を前記離散集合の割合として定義することと、を含む。

前記方法の一実施形態によれば、該方法は、行為者に対応する複数の特徴点の動きを追跡する特徴点追跡法によって行為者の動きを追跡することを含む。

前記方法の一実施形態によれば、特徴検出法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む。

前記方法の一実施形態によれば、特徴点追跡法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む。

前記方法の一実施形態によれば、該方法は、ビデオフレームをオプティカルフロー法によって処理することを含む。

前記方法の一実施形態によれば、該方法は、特徴点追跡法がビデオフレーム内のビデオフレーム内の消失特徴点の識別に失敗した該消失特徴点の位置をオプティカルフロー法によって予測することを含む。

前記方法の一実施形態によれば、オプティカルフロー法はＫＬＴ（Kanade-Lucas-Tomasi）法を含む。

前記方法の一実施形態によれば、該方法は、基準点に対する前記トリガ領域の初期位置を決定することを含む。

前記方法の一実施形態によれば、該方法は、１つ以上の特徴点を異常値として識別し、それら異常値として識別された特徴点を閾値数の特徴点の決定において無視することを含む。

前記方法の一実施形態によれば、該方法は、トリガ領域の位置を追跡することと、追跡されたトリガ領域の位置に基づいて、トリガ領域は基準点に対するトリガ領域の初期位置から変位していると判定すること、とを含む。

前記方法の一実施形態によれば、該方法は、トリガ領域の位置を、基準点に対するトリガ領域の初期位置を反映するように調整することを含む。

前記方法の一実施形態によれば、該方法は、固定特徴点と識別された特徴点の少なくとも１つに基づいて基準点を決定することを含む。

図１は、スローモーションビデオキャプチャプロセスの一例を示す流れ図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図２Ａから図２Ｆは、それぞれ本開示の特徴に係るデジタルカメラの一例を示す模式図である。図３は、本開示の特徴に係るデジタルカメラの一例を示す模式的構成図である。図４は、スローモーションビデオエンジンの一例を示す模式的構成図である。図５は、トリガ領域画定ロジックの一例を示す流れ図である。図６は、本開示の特徴に係るデジタルカメラの視野であって該デジタルカメラのファインダを通して表示される視野の一例を表す図である。図７は、特徴検出および追跡ロジックの一例を示す流れ図である。図８は、特徴点の例を含む行為者の例を示す模式図である。図９は、特徴点の例を含む非行為者の移動対象の例を示す模式図である。図１０は、本開示の特徴に係るデジタルカメラの視野であって該デジタルカメラのファインダを通して表示されて、行為者例の経時的な動きを含む視野の一例を表す。図１１は、異常値除去ロジックの一例を示す流れ図である。図１２は、行為者と、特徴点と、トリガ領域とのそれぞれの例を示す模式図である。図１３は、異常値除去ロジックの一例を示す流れ図である。図１４、図１５は、それぞれトリガ領域追跡ロジックの一例を示す流れ図である。図１４、図１５は、それぞれトリガ領域追跡ロジックの一例を示す流れ図である。

以下、図面を参照して実施形態を説明する。全図を通して同様の参照記号を用いて同様の構成要素を示す。各図は必ずしも縮尺されたものではないことは理解されよう。ある実施形態との関連で説明および／または図示された特徴は、１つ以上の他の実施形態において同一または同様に、および／または他の実施形態の特徴と組み合わせてまたはその代わりに使用可能である。

デジタルカメラの視野内での対象物の検出および追跡に基づく、デジタルカメラでのスローモーションビデオキャプチャをトリガするシステムと方法との種々の実施形態を添付図面との関連で以下に述べる。本開示の技術の説明は、主として独立型のデジタルカメラ、スマートフォンまたは他の個人向け電子機器に内蔵されたデジタルカメラ、または取り付け式監視型デジタルカメラとの関連で行うが、この技術は、デジタルカメラを用いてスローモーションビデオを取り込む、多数の他の状況において適用可能なものである。本明細書による開示は例示であって限定を意図したものではない。

本明細書において、用語「デジタルカメラ」または「カメラ」は映像を記録して保存するように構成されたあらゆる機器を含む。すなわち、写真画像のシーケンス（すなわち、ビデオ「フレーム」または「画像フレーム」）を記録して保存するように構成された全ての機器を含む。一実施形態において、デジタルカメラはデジタルカメラシステムの一部をなしている。このシステムは、動きおよび／または連続性の錯視を生むのに十分な速さで画像が記録順に表示されるように画像を処理するべく構成されたシステムである。本明細書において、用語「ファインダ」とはカメラに備え付けの機器であって、デジタルカメラの視野を表示してかつ画面のフレーミングとフォーカシングとに用いられる機器のことである。多くの場合、ファインダはタッチ入力機能を有する表示器を含む。

図１は、一実施形態による、対象追跡に基づいてデジタルカメラでスローモーションビデオキャプチャを開始するステップの例を示す流れ図である。このステップは、ビデオフレームに取り込まれた行為者が、デジタルカメラのユーザによって画定されたトリガ領域に入ったときを判定する手法を伴うものである。行為者がユーザによって画定されたトリガ領域内に入ったと判定されると、スローモーションビデオキャプチャが開始される。

行為者の例として人間の行為者を用いて本明細書記載の技術を説明するが、行為者は人間に限らない。他の行為者の例として、動物に限らず、ボール、自動車などがある。

図１を参照すると、ステップ１０１で、トリガ領域がデジタルカメラのユーザによって画定される。一実施形態によれば、ユーザがデジタルカメラのファインダ上にトリガ領域を画定する。ユーザによるトリガ領域の画定時に、カメラによって撮影された光景をファインダに表示することもできる。したがって、ユーザは、対象物がカメラの視野内でカメラにより撮影されファインダを介してユーザに表示される結果として、ファインダに表示された実際の対象物との対比でトリガ領域を画定することができる。

ステップ１０２で、カメラは、デジタルカメラの視野内で行為者の動きを追跡する。一実施形態によれば、行為者の動きの追跡は、特徴点追跡法やオプティカルフロー法などの、コンピュータビジョンアルゴリズムを用いてカメラにより取り込まれた画像フレームを解析することを含む。スローモーションビデオキャプチャの意図せぬ開始を避けるために、カメラは、本明細書で述べた手法を用いて、カメラの視野内で他の移動対象（すなわち、非行為者の移動対象）から行為者を分離することもできる。

ステップ１０３で、カメラは、行為者がユーザによって画定されたトリガ領域に入ったと判定する。複数の実施形態によれば、カメラは、行為者の全体または一部が上記画定済トリガ領域に入ったと判定する。

ステップ１０４で、カメラは、行為者がトリガ領域に入ったとの判定の結果としてスローモーションビデオキャプチャを開始する。

行為者がトリガ領域に入ったとの判定に応じてスローモーションビデオキャプチャを開始することにより、スローモーションビデオキャプチャが開始された時点からの行為者の動作がスローモーションでの再生用に撮影される。スローモーションビデオキャプチャの開始にユーザ入力は必要でない。本明細書では図１に示したプロセスを「自動スローモーションビデオキャプチャ」とも呼ぶ。

図２Ａから図２Ｆは、対象物の検出および追跡に基づくスローモーションビデオキャプチャをトリガするように構成されたデジタルカメラの例を示した図である。デジタルカメラ２００（単に「カメラ２００」とも呼ぶ）は、本明細書記載の各実施形態に合わせて種々の形状指数で示されている。図２Ａから図２Ｆに示したデジタルカメラの諸例はそれぞれスローモーションビデオまたは極スローモーションビデオを撮影する機能を有している。先述の「スローモーションビデオ」および／または「極スローモーションビデオ」とは、フレームが視聴者に対して再生される単位時間当たりのフレームレート（例えば、２４または３０ＦＰＳ）よりも高速のフレームレート（例えば、９６０ＦＰＳ）で撮影されたビデオのことであり、これにより時間（再生されたスローモーションビデオ内での時間）が遅くなったような錯覚が生じる。

図２Ａ、２Ｂは、それぞれ一実施形態に係る独立型デジタルカメラの例を示す図である。図２Ａは独立型デジタルカメラ２００の前側を示している。図２Ａに示すとおり、独立型デジタルカメラ２００の一例は、ハウジング２０５と、シャッタ制御ボタン２１０と、フラッシュライト２１５と、光学系２２０とを備えている。センサ類、メータ類、入力機能などを付加的に備えることもある。図２Ｂは、独立型デジタルカメラ２００の一例の後側（すなわちユーザ制御側）を示している。図２Ｂに示すとおり、独立型デジタルカメラ２００の一例はさらにファインダ２２５を備えている。ファインダ２２５は、ファインダ内での画像のセンタリングの際にユーザを補助するイメージセンタリングエイド２３０を備えている。

図２Ｃ、図２Ｄは、一実施形態に係る、個人向け電子機器に一体化された独立型デジタルカメラ２００の例を示す図である。図２Ｃ、図２Ｄに示した個人向け電子機器は、スマートフォンとして具現された移動体無線電話機である。多くの個人向け電子機器がデジタルカメラを備えているが、図２Ｃ、図２Ｄは例示および説明のためのものであり、限定するものではない。

図２Ｃは、一実施形態に係る、一体型デジタルカメラ２００を備えた個人向け電子機器の後側を表す。図２Ｃに示したとおり、この個人向け電子機器は、ハウジング２０５と、フラッシュライト２１５と、カメラ光学系２２０と、ボタン２５０とを備えている。センサ類、メータ類、入力機能などを付加的に備えることもある。この個人向け電子機器の前側（すなわちユーザインタフェース側）を図２Ｄに示す。図２Ｄに示したとおり、該個人向け電子機器はさらに、マイクロフォン２４０と、スピーカ２４５と、画面２５５とを備えている。デジタルカメラ２００が個人向け電子機器上で起動されると、ファインダ２２５が個人向け電子機器の画面２５５に表示される。ファインダ２２５は、カメラ２００のユーザとファインダ内での画像のセンタリングとを補助するセンタリングエイド２３０を備えている。

図２Ｅは、一実施形態に係る、取り付け式監視型カメラであるデジタルカメラ２００を示している。図２Ｅに示したとおり、監視型デジタルカメラ２００は、ハウジング２０５と、フラッシュライト２１５と、光学系２２０とを備えている。さらに、図２Ｅに示したとおり、監視型デジタルカメラ２００は取り付けポストと取り付けブラケット２６０とを用いて取り付けられる。

取り付け式監視型カメラなどのデジタルカメラ２００は、実施形態によっては、図２Ｅに示したとおり、カメラ２００のハウジング２０５に一体化されたファインダを備えていないものがある。そのような実施形態では、ファインダは離れて表示される。例えば、図２Ｆに示したカメラ２００のファインダ２２５はモニタ２８０の画面２５５に表示されている。このような実施形態においては、ユーザがカメラ２００に一体化されたファインダを見るのが不便である場所にカメラ２００が設置されている場合に、ユーザはカメラ２００のファインダ２２５を見ることができる。

図２Ｅ、図２Ｆに示したカメラ２００の実施形態によれば、光学系２２０によって取り込まれた映像が画面２５５に転送されて、適当な方法でファインダ２２５に表示される。例えば、カメラ２００からの映像が、ＶＧＡ、ＤＶＩ、Ｓ−Ｖｉｄｅｏなどの様々なビデオまたはグラフィックス標準に基づいてデジタルまたはアナログのビデオケーブルを介して表示される。あるいは、カメラ２００からの映像データが、有線または無線のコンピュータネットワーク接続を介してパケット化されて伝送される。

図３を参照して、例としてのデジタルカメラ２００の全般的動作を説明する。図３は、一実施形態に係る例としてのデジタルカメラ２００の構成図である。デジタルカメラ２００は、カメラアセンブリ３００とカメラインタフェース３２０とを備えている。カメラアセンブリ３００は、カメラ光学系２２０（例えば、１つ以上のレンズとその他の光学部品）と、イメージセンサ３１０と、イメージプロセッサ３１５と、光学系制御部３０５とを含む。カメラ光学系２２０は、光学系制御部３０５からの制御信号に応答してイメージセンサ３１０上に光を集めて合焦する。光学系制御部３０５は、例えば、オートフォーカス機能またはユーザ入力に応答してカメラ光学系２２０のフォーカスを変えることによってカメラ光学系２２０を制御する。

イメージセンサ３１０は、カメラ光学系２２０によってフォーカスされた光によって形成された画像を取り込む。イメージセンサ３１０は、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサなどの、任意の従来型イメージセンサである。イメージプロセッサ３１５は、画像データを処理するようにプログラムされた従来型のデジタルシグナルプロセッサである。イメージプロセッサ３１５は、イメージセンサ３１０により取り込まれた画像データを処理する。バッファ３１２は、イメージセンサ３１０から生画像データを受け取り、イメージプロセッサ３１５がその画像データを処理できるようになるまで該画像データを保存する。バッファ３１２は、イメージセンサ３１０から受け取った画像データの保存に適したメモリを含む。

引き続き図３を参照する。デジタルカメラ２００は、入出力（Ｉ／Ｏ）回路（例えば、システムバス）３３０と、制御回路３４０と、メモリ（記憶部）３５０と、オペレーティングシステム（ＯＳ）／制御ソフトウェア３５５とを備えている。制御回路３４０はデジタルカメラ２００の動作全体を司る。制御回路３４０は、ハードウェア（例えば、マイクロプロセッサ、マイクロコントローラ、中央演算装置（ＣＰＵ）他）またはハードウェアとソフトウェアとの組合せ（例えば、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）など）として具現される（または該ハードウェアを備えている）。一実施形態において、制御回路３４０は操作命令を実行するプロセッサ３４５を備えている。制御回路３４０のプロセッサ３４５は、デジタルカメラ２００の操作を行うためにコードを実行する。

メモリ（記憶部）３５０は、１つまたは複数のメモリおよび／または１つまたは複数の他の種類の記憶媒体を含む。例えば、メモリ（記憶部）３５０は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、フラッシュメモリ、および／または何らかの他の種類のメモリを含む。また、メモリ（記憶部）３５０はハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、固体ディスク他）を含む。典型的な構成では、メモリ（記憶部）３５０は、長期データ保存用の不揮発メモリと、制御回路３４０のシステムメモリとして機能する揮発メモリとを含む。メモリ（記憶部）３５０はデータバスを介して制御回路３４０とデータを交換する。これらに付随して、制御ラインとアドレスバスとがメモリ（記憶部）３５０と制御回路３４０との間に存在する。メモリ（記憶部）３５０は、持続的なコンピュータ読み取り可能な媒体と考えられる。

ＯＳ／制御ソフトウェア３５５は、デバイスファームウェア、オペレーティングシステム（ＯＳ）、またはデジタルカメラ２００で実行される様々なアプリケーションを含む。例として、オペレーティングシステムは、デジタルカメラ２００の実施態様によってＬｉｎｕｘ、Ｕｎｉｘ、Ａｎｄｒｏｉｄ、ｉＯＳなどに一致する。さらに、ソフトウェア３５５は、カメラ操作用アプリケーションおよび／または写真編集アプリケーションを含む。

デジタルカメラが個人向け汎用電子機器（図２Ｃ、図２Ｄに示した機器）に内蔵されている実施形態では、ソフトウェア３５５は、限定はしないが、電話アプリケーション、マルチメディアアプリケーション、ｅメールアプリケーション、コンタクトアプリケーション、カレンダアプリケーション、インスタントメッセージングアプリケーション、ウェブブラウジングアプリケーション、ロケーションベースのアプリケーション（例えば、全地球測位システム（ＧＰＳ）アプリケーション）などの、デバイスの機能を実行する任意の適当なプログラムを含む。

入出力回路３３０は、カメラインタフェース３２０を介して制御回路３４０とメモリ３５０とをカメラアセンブリ３００のイメージプロセッサ３１５に接続する。イメージプロセッサ３１５は、カメラインタフェース３２０とＩ／Ｏ回路３３０とを介して、取り込んだビデオ画像フレームや静止画像をメモリ３５０に保存する（システムＲＡＭの場合は一時的、ハードディスクやソリッドステートメディアなどの不揮発記憶装置の場合は持続的に保存する）。また、イメージプロセッサ３１５は、光学系２２０の視野内に取り込まれた光景をファインダ２２５としての表示器２５５に出力する（図２Ｂ、２Ｄ、２Ｆ参照）。

一実施形態によれば、カメラインタフェース３２０はさらに、カメラアセンブリ３００と種々の目的の様々なユーザインタフェース部品とを接続する。例えば、図２Ａから図２Ｆの実施形態に示したとおり、デジタルカメラ２００は、表示器２５５と、ボタン２５０および／またはシャッタ制御ボタン２１０と、マイクロフォン２４０と、スピーカ２４５とを備えている。表示器２５５はタッチセンスディスプレイとして構成されており、光学系制御部３０５を介して光学系２２０のフォーカスの調整に使用可能なソフトボタンまたは制御部（図示せず）を備えている。別の実施形態では、タッチセンスディスプレイとして構成された表示器２５５は、光学系２２０を介してイメージセンサ３１０に光を照射するシャッタ（図示せず）を操作するソフトボタン（図示せず）を備えている。

別の実施形態では、ハードボタンまたはソフトボタンのいずれかの、シャッタ制御ボタン２１０またはボタン２５０によって、光学系２２０を介してイメージセンサ３１０に光を照射するシャッタ（図示せず）を操作する。さらに、ボタン２１０は、例えば光学系制御部３０５を介して光学系２２０のフォーカスを調整するように構成される。

一実施形態によれば、記録されたビデオ画像フレームに対応する音声内容を記録するためにマイクロフォン２４０が使用され、かつ撮影された映像に対応する音声内容を再生するためにスピーカ２４５が使用される。マイクロフォン２４０とスピーカ２４５とは、音声処理回路３６０とＩ／Ｏ回路３３０とを介して制御回路３４０とメモリ（記憶部）３５０とに接続している。

一実施形態によれば、デジタルカメラ２００は通信回路３７０を備えている。通信回路３７０は、１つまたは複数の無線インタフェースおよび／または有線インタフェース（図示せず）を備えている。通信回路３７０はさらに、他の電子機器との通信用の、例えばアンテナ３７５に接続された、１つまたは複数のトランスミッタ、レシーバ、および／またはトランシーバを備えている。通信回路３７０は、１つまたは複数のプロトコル、通信標準類（すなわち、イーサネット、ＴＣＰ／ＩＰ、Ｗｉ−Ｆｉ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、ｃｅｌｌｕｌａｒ他）に基づいて動作する。通信回路３７０を用いて、撮影された映像、写真、または他のデータがデジタルカメラ２００と送受信される。

他の実施形態によれば、デジタルカメラ２００は、図３および本明細書に示した構成要素と比較して、少数、追加、別種、および／または異なる構成の構成要素を備えている。

一実施形態によれば、デジタルカメラ２００などの本開示の特徴に係るデジタルカメラは、デジタルカメラにスローモーションまたは極スローモーションの映像を撮影させるように構成されたハードウェアおよび／またはソフトウェアを備えている。さらに、このカメラは、図１に説明されているように、当該デジタルカメラのユーザに自動スローモーションビデオキャプチャを開始させるように構成されたハードウェアおよび／またはソフトウェアを備えている。前述したとおり、自動スローモーションビデオキャプチャプロセスは、トリガ領域の画定という形でのユーザ入力から始まる。

一実施形態によれば、カメラは、カメラをスローモーションビデオキャプチャモードに設定するユーザ入力に基づいて動作する。スローモーションカメラモードに設定されると、トリガ領域を画定するユーザ入力が受け取られる。このトリガ領域を画定するユーザ入力が、自動スローモーションビデオキャプチャプロセスにおける最初のステップになる。例えば、一実施形態において、自動スローモーションビデオキャプチャプロセスを開始するために、ユーザはカメラ上でスローモーションビデオキャプチャモードを手動で開始する。このときカメラはトリガ領域を画定するユーザ入力の待機状態にある（例えば、図１のステップ１０１）。

別の実施形態では、カメラは、カメラの動作時（例えば、オン状態）、またはカメラが、例えば、（静止画キャプチャモードに対するモードである）ビデオキャプチャモードにある間に、トリガ領域を画定するユーザ入力の受け取り準備状態にある。トリガ領域が画定および配置されると、残りのステップである、行為者を追跡するステップと、行為者がトリガ領域に入ったと判定するステップと、スローモーションビデオを開始するステップとが実行される。

図４に、一実施形態に係るスローモーションビデオエンジンを示す。スローモーションビデオエンジン４００は、本明細書記載の実施形態に係るデジタルカメラ（例えば、デジタルカメラ２００）によるスローモーションビデオの撮影を自動化するように構成されている。スローモーションビデオエンジン４００はソフトウェアとして具現され、例えば制御ソフトウェア３５５に組み込まれる。この実施形態では、制御回路３４０および／またはプロセッサ３４５はスローモーションビデオエンジン４００を実行する。あるいは、スローモーションビデオエンジン４００は、ハードウェア、あるいはＳｏＣまたはＡＳＩＣなどのハードウェアとソフトウェアとの組合せの形で具現される。ある実施形態では、スローモーションビデオエンジン４００はイメージプロセッサ３１５の一部をなすか、またはイメージプロセッサ３１５によって実行される。一実施形態によれば、スローモーションビデオエンジン４００は、１つ以上のトリガ領域画定ロジック４１０と、特徴検出／追跡ロジック４２０と、異常値除去ロジック４３０と、スローモーションビデオ開始ロジック４４０と、トリガ領域追跡ロジック４５０との任意の組合せを含む。

一実施形態例において、スローモーションビデオエンジン４００が起動すると、デジタルカメラはスローモーションビデオキャプチャモードに入る。一実施形態において、スローモーションビデオエンジン４００はユーザ入力の結果として起動する。例えば、図２Ｃ、図２Ｄに示したような、デジタルカメラ２００が個人向け電子機器に内蔵されている実施形態では、ユーザはタッチセンス画面２５５と交信して、アプリケーションすなわち「ａｐｐ」であるスローモーションビデオエンジン４００を選択して開始する。タッチセンス画面がない場合、ユーザは、スローモーションビデオエンジン４００を起動するために、マウスやキーボードなどの、他の種類の入力装置を用いる。別の実施形態では、スローモーションビデオエンジン４００は、デジタルカメラのＯＳの始動時に起動し、デジタルカメラのオペレーティングシステムのサービスまたはデーモンとしてバックグラウンドで作動する。さらに別の実施形態では、スローモーションビデオキャプチャモードが、カメラの数種の選択モードのいずれかにおいて（またはいずれかとして）アクティブになる。

スローモーションビデオエンジン４００は、起動すると、トリガ領域画定ロジック４１０に基づいてトリガ領域を画定するユーザ入力を受けて、それにより自動スローモーションビデオキャプチャプロセスを開始するように構成されている。

本明細書記載の実施形態によれば、本開示の特徴に係るデジタルカメラ（例えば、デジタルカメラ２００）のユーザが行為者のスローモーションビデオの撮影をしようとする場合、ユーザは、デジタルカメラの配置によりカメラの視野を調整して、行為者の動作がユーザによって予測される光景が取り込まれるようにする。例えば、ユーザはファインダ２２５を用いて、所望の光景がファインダ２２５内にコマ取りされるようにデジタルカメラ２００を調整する。前述したとおり、ファインダ２２５は、光学系２２０を介して受け取った入力画像をデジタルカメラ２００のユーザに表示する。このように、デジタルカメラ２００のユーザはカメラ２００の視野を可視化することができ、行為者の動作がユーザによって予測される光景をファインダ２２５内にコマ取りすることができる。

行為者の動作が予測される光景をユーザがファインダ内にコマ取りすると、ユーザはトリガ領域を画定する。トリガ領域はユーザによってファインダ上に画定および配置される。ユーザは、ファインダ上にトリガ領域を配置する。この配置は、行為者がトリガ領域に入った結果として、ユーザがスローモーションビデオキャプチャを開始したい光景の一部にトリガ領域が重なるように行われる。

例えば、図６を参照すると、ユーザはファインダ２２５上でトリガ領域６００を画定する。図６に示したとおり、ファインダ２２５はデジタルカメラ２００の視野を表している。ファインダ２２５に、行為者（行為者６０５、すなわちスキージャンプ台６１０の頂部にいるスキーヤ）の光景が、光景内の静止風景（例えば、左右の背景の木々６１５）と共にコマ取りされている。光景内には行為者以外の移動する物体（例えば、鳥６２０）も存在している。トリガ領域６００は、デジタルカメラ２００によって撮影されてファインダ２２５に表示された光景に重なってファインダ２２５に表示されている。

一実施形態によれば、ユーザはトリガ領域の形と位置とを指示する。例えば、図６のトリガ領域６００は四辺形（特に、正方形）として画定され、ファインダ２２５の中心からずれた位置にある。ただし、トリガ領域６００は任意の形でかつファインダ２２５上の任意の位置を占め得る。ファインダ２２５がタッチセンス画面に表示される場合は、ユーザは、スタイラスなどのユーザ入力ツールまたはユーザ自身の指を用いてファインダ２２５に直接トリガ領域６００を描画してもよい。さらに、ユーザは、タッチジェスチャによってトリガ領域６００をファインダ上の所望の位置にサイズ変更および／またはドラッグして、それによりスローモーションビデオキャプチャが所望されるカメラ２００の視野範囲をトリガ領域６００がカバーするようにしてもよい。カバーされた範囲は、行為者６０５の動作が起こることがユーザによって予測される光景で、かつユーザがその行為のスローモーションビデオを撮影したいと思う光景の範囲に一致する。例えば、図６では、トリガ領域６００は、行為者がスキージャンプ台６１０のリフトオフ領域に入るとスローモーションビデオキャプチャが開始されるように位置決めされている。

別の実施形態（例えば、ファインダ２２５がタッチセンス画面に表示されない実施形態）では、ユーザは、マウスやキーボードなどの入力装置を用いてトリガ領域６００を描いて配置する。あるいは、ユーザは、従来式または通常のユーザインタフェースコンポーネント（選択ボックス、ドロップダウンボックス、リストボックスなど）と入力装置（例えば、マウス、キーボード、および／またはハードボタンとソフトボタンとの組合せなど）とを用いてトリガ領域６００の所定のいろいろな形と大きさの中から選択を行う。トリガ領域６００の所定の形と大きさとがユーザに選択された後、トリガ領域画定ロジック４１０はトリガ領域６００の輪郭をファインダ２２５に表示する。次いでデジタルカメラ２００のユーザは、前述のユーザインタフェースと入力装置とを用いてトリガ領域６００の大きさおよび／または位置を操作する。一実施形態によれば、トリガ領域６００の所定の形と大きさとがデジタルカメラ２００のメモリ（記憶部）３５０に保存される。一実施形態において、トリガ領域はファインダ全体よりも小さい範囲（例えば、ファインダ領域の５０％未満）をカバーする。

図５は、一実施形態に係る、トリガ領域画定ロジック４１０のステップの一例を示す流れ図である。トリガ領域画定ロジック４１０は、ステップ５０５でトリガ領域を画定するユーザ入力を受けることで始まる。トリガ領域画定ロジック４１０がトリガ領域を画定するユーザ入力をステップ５０５で受け取ると、論理フローはステップ５１０に進む。

ステップ５１０で、デジタルカメラ２００はユーザにより画定されたトリガ領域の属性を記録して、該画定済トリガ領域の形状をファインダ上の相応の位置に表示する。トリガ領域の形、大きさ、および位置などの属性（これらが合わさってトリガ領域の境界を画定する）がカメラのメモリに保存され、ファインダに重なる形で表示される。

一実施形態によれば、ステップ５１５でデジタルカメラ２００は標準フレームレートで映像の記録を始める。「標準フレームレート」とは、再生用と同じフレームレートで映像が記録され、そのために表示される動作が撮影時と同じ速度で行われるフレームレートを意味し、「標準時間」ビデオキャプチャとも呼ばれる。ステップ５１５は、トリガ領域画定後直ちに始まるように自動化してもよい。あるいは、ステップ５１５が、標準フレームレートでの映像の記録を始めたいとのユーザの所望を示すユーザ入力を受けるサブステップ（図示せず）と、そのユーザ入力に応答して標準フレームレートでの撮影を開始するサブステップ（図示せず）とを含んでもよい。取り込まれたフレームは、メディアファイルの一部としてデジタルカメラ２００のメモリ（例えばメモリ（記憶部）３５０）に保存される。さらに、撮影された映像に対応する音声が取り込まれて該撮影映像と共にメディアファイルに保存される。メディアファイルは任意の適当な標準化されたまたは独自仕様のフォーマットからなり、任意の適当なコーデック（圧縮）アルゴリズムを用いて圧縮される。

別の実施形態では、ステップ５１５で取り込まれたフレームは、保存の開始を指示するユーザ入力をカメラ２００が受けるまでカメラ２００のメモリに保存されない。このような実施形態では、上記ユーザ入力が受け取られる前に取り込まれたフレームは、例えば、イメージプロセッサ３１５によって、および／またはスローモーションビデオエンジン４００によって処理され、その後消去されるかまたは次の着信フレームによって上書きされる。例えば、イメージプロセッサ３１５は、処理されたフレームが消去または上書きされる前に特徴検出／追跡ロジック４２０および／またはトリガ領域追跡ロジック４５０（いずれもより詳細に後述する）によって取り込まれた各フレームを処理する。

トリガ領域画定ロジック４１０は、ステップ５１５でカメラ２００が着信ビデオ画像フレームを標準時間ビデオとして（すなわち、標準フレームレートで）記録または記録の準備をすることで終了する。

図１に戻ると、ステップ１０１でトリガ領域が画定された後、ステップ１０２で行為者の動きがカメラの視野内で追跡される。一実施形態によれば、カメラの視野内で行為者の動きを追跡するために、カメラは、先ずカメラにより取り込まれたビデオフレーム内の特徴点を識別する。特徴点を識別するために、デジタルカメラによって取り込まれたビデオフレームが該フレーム内の特徴を識別するために特徴検出法によって解析される。通常、特徴検出法は、取り込まれた画像内の各画素を検査することから開始される。各画素を周辺画素との対比により検査して検査対象画素またはその近傍に特徴があるかどうかを判定する。画像の特徴は、例えば、画像内の孤立点、連続曲線、または連結領域などの形をとる。

特徴検出法は、識別する画像の特徴の種類によって大別される。特徴検出法のカテゴリの例として、エッジ検出法と、コーナ検出法と、ブロブ検出法と、リッジ検出法とがある。特徴検出法では、識別された特徴が画像内の特徴点の集合として定義され、１つ以上の特徴点が識別された特徴のインスタンスを反映する。したがって、エッジ検出アルゴリズムによって識別された特徴点が、ある特徴のエッジの全体または一部を概ね表すことになる。同様に、コーナ検出法によって検出された特徴が、ある特徴の２つのエッジが集合してコーナを形成するポイントを表すことになる。ある特徴検出法では、アルゴリズムをよりロバストにするために２つ以上の特徴分類法を組み合わせている（例えば、ある特徴検出法ではコーナ検出法とブロブ検出法とが組み合わせられている）。

図６に、ファインダ２２５内の光景のデジタル画像を処理する際に、特徴検出法が左右の木６１５やスキージャンプ台６１０などの比較的静止した物体に関して識別を行う特徴点６２５の例を示す。各特徴点は星印によって示されている。さらに図８、図９に、行為者６０５と鳥６２０（光景内の非行為者の移動対象を表す）とをそれぞれ図６よりも詳細に示す。図８に示したとおり、特徴検出法は、ファインダ２２５内の光景のデジタル画像を処理する際に、行為者６０５に関する特徴点６２５（星印で表示）を識別する。同様に、図９に示したとおり、特徴検出法は、鳥６２０に関する特徴点６２５を識別する。

特徴点６２５は、図６のファインダ２２５内の光景のデジタル画像を処理する際に特徴検出法が識別する特徴点の例を表すために図示されている。特徴点６２５は、特徴検出法によって検出される特徴点の数の限界を表すものではなく、また特徴検出法が検出し得る特徴点の正確な数や位置を表すものでもない。実際には、適当な特徴検出法は、添付図に示した特徴点と比較して多数、少数、または別種の特徴点を識別し得る。また、特徴点の視覚的な識別子（例えば、典型的には星印）はファインダに表示する必要はない。

一実施形態によれば、フレームが特徴検出法により処理されて特徴点が識別されると、特徴点に基づく追跡法を用いて特徴点の動きが追跡される。特徴点に基づく追跡法では、特徴点の動きは、先に取り込まれたフレーム内で検出された特徴点の各位置を基準に追跡される。すなわち、ある画像内の特徴を表すものとして識別された特徴点は、後続の画像内の同じ特徴を表す特徴点と整合し、対応する特徴点（すなわち、同じ特徴を表す特徴点）間の位置の差が記録される。一実施形態によれば、このようにして特徴点の動きが追跡される。

時々、特徴点に基づく追跡が失敗して、先に取り込まれたフレーム内で識別された特徴点が次に取り込まれたフレーム内で識別されないことがある（消失特徴点）。消失特徴点を再発見するために、所定のオプティカルフローアルゴリズムを用いてフレームを処理する。このアルゴリズムは、先に取り込まれたフレーム内で識別された該消失特徴点の位置および／または他の特徴点の追跡位置に基づいて消失特徴点の位置を予測し得るものである。一実施形態によれば、オプティカルフロー法が特徴点に基づく追跡と併用されて消失特徴点が再発見される。

別の実施形態では、バックグラウンド除去法、輪郭に基づく対象追跡、領域に基づく対象追跡などの、別の動作解析法を用いて行為者（例えば、行為者６０５）の動きが追跡される。

図７は、一実施形態における、特徴検出／追跡ロジック４２０の例を示す流れ図である。特徴検出／追跡ロジックは、本開示の特徴に係る例示的デジタルカメラ（例えば、カメラ２００）によってビデオフレーム内の特徴点の識別および追跡を行うために用いられる。

ステップ７０５で、特徴検出／追跡ロジック４２０は新しい着信画像フレームがあるかどうかを判定する。否定判定の場合（例えば、ユーザが例えばスマートフォンのカメラアプリを終了することにより新規着信フレームの取り込みを中断した場合）、特徴検出／追跡ロジック４２０は終了する。一方、肯定判定の場合は、論理フローはステップ７１０に進む。

ステップ７１０で、特徴検出／追跡ロジック４２０は着信画像フレームについての特徴点識別を実行する。特徴点識別は、取り込まれたフレームを任意の適当な特徴検出法によって処理することで開始される。特徴検出法の例として、キャニーエッジ検出器、ソーベルオペレータまたはフィルタ、ＳＵＳＡＮ（smallest univalue segment assimilating nucleus）コーナ検出器、ガウス差分（ＤｏＳ）アルゴリズム、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法などがある。

着信画像フレームについての特徴点検出が実行された後、論理フローはステップ７１５に進む。一実施形態によれば、ステップ７１５で、着信フレームについて特徴点追跡が実行される。上掲の特徴検出法の一部は特徴追跡法（例えば、ＦＡＳＴ）でもあり、ステップ７１５での利用にも適している。一実施形態によれば、前述したとおり、ステップ７１５でＬＫ（Lucas-Kanade）法やＫＬＴ（Kanade-Lucas-Tomasi）法などの、消失特徴点の位置を予測する所定のオプティカルフロー法を用いてフレームを解析することもできる。

一実施形態によれば、図７に示したとおり、特徴点検出と特徴点追跡とがデジタルカメラで取り込まれた連続ビデオフレーム上で実行される。特徴検出／追跡ロジックは論理ループとして構成され、このループにおいてカメラにより取り込まれた各ビデオフレームが前述の方法により解析されて特徴点の検出と追跡とが行われる。

図１０は、カメラ２００の視野内でファインダ２２５に表示される行為者６０５の例の経時的な動きを示す図である。図１０に示したとおり、行為者６０５はスキージャンプ台６１０のスロープを下降し始めた状態にある。矢印１０００は、時間経過に伴う行為者６０５の動き（「動き１０００」とも呼ぶ）を表す。言うまでもなく、１つの対象物についての複数のインスタンスが同時に表示されることはない。さらに、動きを表す矢印は表示されないが、明確にするために図中に示されている。

一実施形態によれば、動作１０００が行われると、新しい画像フレームが取り込まれて、例えば前述した特徴検出／追跡ロジック４２０によって処理される。すなわち、行為者６０５の動作１０００は、時間的に行為者６０５の動作１０００に時間が一致する連続フレームに漸次取り込まれる。一実施形態によれば、各画像フレームが取り込まれるにつれて、該画像フレームは順次処理されて特徴点が識別され、識別された特徴点の動きが追跡される。このように、行為者６０５の動作１０００を取り込む画像毎に、特徴点（例えば、図１０に示されていない特徴点６２５）が検出され、各フレームで識別された特徴点の位置が先のフレーム内でのそれら特徴点の位置を基準に追跡される。それら各特徴点の同一性と位置とが、後に自動スローモーションビデオプロセスにおいて参照するために、例えば変数としてそれぞれ記録される。

一実施形態によれば、所定の判定基準を満たす特徴点がデジタルカメラによって移動特徴点と識別される。本明細書において、用語「移動特徴点」とは、所定数のフレームにわたって閾値距離を越えて移動したとデジタルカメラによって判定された特徴点のことである。逆に、本明細書において、用語「固定特徴点」とは、所定数のフレームにわたって閾値距離より短い距離を移動したとデジタルカメラによって判定された特徴点のことである。

特徴点が識別されて追跡されると、特徴点とその相対位置が記録される（前述同様）。デジタルカメラは記録された特徴点の位置を利用して（例えば、連続フレーム内の識別された特徴点間の位置の違いを用いて）どの特徴点が動いているかを判定する。所定数のフレームにわたって閾値距離を越えて移動したとカメラによって判定された特徴点は、その特徴点が移動特徴点であっても固定特徴点であってもその標示として、例えばブールプロパティを用いてマークされる（フラグを立てられる）。

デジタルカメラは、行為者が該デジタルカメラのトリガ領域に入ったかどうかを判定するために、判定および記録した識別済特徴点についての情報を用いる。例えば、一実施形態によれば、各フレームがスローモーションビデオ開始ロジックによって解析されて、行為者が画定済トリガ領域に入ったかどうかが判定される。

図１１は、一実施形態における、スローモーションビデオ開始ロジック４４０のステップの例を示す流れ図である。ステップ１１０５で、新しいビデオ画像フレームが着信しているかどうかが判定される。否定判定がなされた場合、ロジックは終了する。一方、肯定判定がなされた場合、論理フローはステップ１１１０に進む。ステップ１１１０で、識別された特徴点（例えば、特徴検出／追跡ロジック４２０により追跡された特徴点）の位置が決定される。一実施形態において、ステップ１１１０は、識別された特徴点の全部または一部（例えば、特徴検出／追跡ロジック４２０により記録された特徴点）の位置をデジタルカメラのメモリから検索することを含む。ある実施形態では、移動特徴点の位置だけが検索される。別の実施形態では、移動特徴点と固定特徴点との位置が検索される。

ステップ１１１５で、スローモーションビデオ開始ロジック４４０は、閾値数の特徴点がトリガ領域の境界の内側に位置しているかどうかを判定する。本明細書において、「閾値数の特徴点」とは、スローモーションビデオキャプチャを始めるためにトリガ領域の内側に位置していなければならない数の特徴点のことである。閾値数の特徴点は数種の適当な方法のいずれによっても定義される。

例えば、一実施形態において、閾値数の特徴点は、移動特徴点と識別された全ての特徴点の割合と定義される。別の実施形態では、閾値数の特徴点は、（移動特徴点または固定特徴点のいずれかと判定された）全ての特徴点の割合と定義される。さらに別の実施形態では、閾値数の特徴点は、その位置がトリガ領域の境界の内側にあると判定された、単純な最小数の特徴点と定義される。さらに別の実施形態では、カメラは行為者を移動特徴点の離散集合として確定し、閾値数の特徴点は、その離散集合に含まれる特徴点の割合または該離散集合に含まれる最小数の特徴点と定義される。

上記の内容から分かるとおり、閾値数の特徴点の定義に用いる方法は、スローモーションビデオキャプチャの開始に関わる識別済特徴点の一部または全部の位置をレンダリングする。一実施形態によれば、当該特徴点の位置は、カメラのファインダに表示されるトリガ領域の境界との関連で決定される。再び図１１を参照する。ステップ１１１５で否定判定がなされた場合、スローモーションビデオ開始ロジック４４０はステップ１１０５に戻る。一方、ステップ１１１５で肯定判定がなされた場合、ステップ１１２０でスローモーションビデオキャプチャが開始される。

例として、一実施形態例に係る図１２に、ビデオフレームに取り込まれてファインダ２２５により表示された、トリガ領域６００と行為者６０５とが詳細に示されている。さらに、画像フレーム内に行為者６０５が存在する結果として典型的な特徴検出法によって識別されて典型的な特徴点追跡法によって追跡された、特徴点６２５が示されている。図１２は図１０からの詳細な続きである。図１０に示した動きから続いての、経時的な行為者の動きにより行為者はスキージャンプ台６１０（図示せず）の発進領域の近傍に位置している。さらに、この行為者の動きによって行為者（カメラのファインダに表示された行為者）の一部がトリガ領域の境界の内側に位置している。容易に分かるとおり、特徴点６２５はカメラのファインダに表示されないが、この図では説明を明確にするために示されている。

図１２に示すとおり、行為者６０５に対応する特徴点の大多数はトリガ領域６００の境界内に入っている。図１２に示したような実施形態例では、スローモーション開始ロジック４４０は、スローモーションビデオの開始に必要な閾値数の特徴点がトリガ領域６００の内側に位置していると判断し、スローモーションビデオキャプチャを開始する。その結果、スキージャンプ台の発進領域での行為者の動きと発進後の空中での行為者の動きがスローモーションビデオに取り込まれる。

複数の実施形態によれば、閾値数の特徴点を、移動特徴点と識別された特徴点の割合と最小数の特徴点（「最小閾値」）との両方で定義することが有効である。すなわち、スローモーションビデオキャプチャを開始するために、デジタルカメラは、一定割合の識別された移動特徴点がトリガ領域に位置していることだけでなく、移動特徴点の数が定義された最小閾値数より大きいことを判定する必要がある。

前述のとおり、スローモーションビデオキャプチャを開始する非行為者の移動対象（例えば、鳥６２０）のインスタンスを最小にするために、移動特徴点の割合と併せて最小閾値を用いることもある。行為者は撮影された光景の最前面にいることが多いので、詳細に画像に取り込まれやすい。行為者が詳細に取り込まれるためにカメラは行為者の特徴をより多く検出でき、そのために検出された行為者の特徴に対してより多くの特徴点を割り当てることができる。逆に、背景物は詳細には取り込まれないので、特徴点が少なくなる。さらに、サイズの大きい行為者（行為者６０５、自動車など）では、光景内で動く可能性のある小さい対象物（鳥６２０など）よりも多くの特徴点が生じることになる。したがって、行為者は非行為者（すなわち、背景物、非行為者の移動対象など）より多くの特徴点を有する傾向にある。このため、行為者は、スローモーションビデオキャプチャを開始するための最小閾値の要件を満たしやすい。一実施形態では、ユーザが最小閾値を様々な光景に合わせて微調整できるように、ユーザによる最小閾値の調整が可能になっている。

例として、スローモーションビデオの開始に必要な閾値数の特徴点は、例えば、フレーム内で識別された全移動特徴点の５０％と定義される。行為者が光景内に入っておらず、非行為者の移動対象（例えば、鳥６２０）がフレーム内に存在するフレームでは、フレーム内で識別される移動特徴点（例えば、鳥６２０に対応する特徴点）は例えば４つだけである。このようなケースでは、鳥６２０に対応するわずか２つの特徴点がトリガ領域の境界内に位置していると判定されたときに、スローモーションビデオキャプチャが開始される。したがって、鳥６２０の全部（または一部であっても）がトリガ領域に入った場合、スローモーションビデオキャプチャが非行為者の移動対象によって開始される。

前述と同じケース（閾値数の特徴点を全移動特徴点の５０％と定義するケース）であるが、例えば２０という最小閾値数の特徴点をスローモーションビデオ開始ロジックに要因として含めたケースを想定すると、鳥６２０がトリガ領域に入っても、スローモーションビデオは開始されない。この理由は、鳥６２０が、２０という最小閾値の特徴点を満たすに足る数の特徴点を有していないためである。

一実施形態によれば、スローモーションビデオキャプチャを開始する非行為者の移動対象のインスタンスをさらに極力少なくするために、（前述の最小閾値に加えて）さらに統計的アルゴリズムを用いて異常値特徴点が識別される。統計的プロファイルに適合する特徴点は異常値特徴点と識別されて、例えばスローモーションビデオ開始ロジックによって、閾値数の特徴点がトリガ領域内に位置しているかどうかの判定の際に無視される。図１３に、一実施形態に係る、異常値特徴点を識別するために異常値除去ロジック（例えば、異常値除去ロジック４３０）によって実行されるステップの例を示す。

図１３に、一実施形態における、異常値除去ロジック４３０のステップ例を詳細に示す流れ図を示す。ステップ１３０５で、フレーム内で固定特徴点と識別された全ての特徴点の平均位置（すなわち、幾何学的中心）が決定される。ステップ１３１０で、検出された特徴点について上記中心点からの平均変位が決定される。ステップ１３２０で、中心点からの変位が平均変位から著しく異なっている特徴点が、異常値特徴点と判定される。一実施形態例において、中心点からの変位が他の識別済特徴点から著しく異なっていると見なされる特徴点とは、例えば、その変位量が固定特徴点の中位変位より３倍大きい特徴点のことである。

一実施形態によれば、スローモーションビデオキャプチャの開始時に実施形態をよりロバストにするために、トリガ領域追跡とトリガ領域位置更新とが行われる。トリガ領域追跡と位置更新は、例えばビデオ撮影の間、ユーザがカメラの保持を試みることを原因として、ビデオ記録時にカメラの軽度または中度の変位（すなわちカメラの微動や震えなど）が生じた際に、画定済トリガ領域の相対位置を保つ上で望ましい。軽度のカメラ変位は、カメラが三脚または他の取り付け具に取り付いている間にも、風や振動などによって起こり得る。

固定特徴点に対するトリガ領域の位置を保つために、トリガ領域の動きが固定特徴点を基準に追跡されて、トリガ領域の位置が固定特徴点を基準に更新される。このようにカメラの震動を補償することにより、トリガ領域の位置を光景内の静止物体（例えば、スキージャンプ台６１０）に固定したままにすることができ、それにより行為者をトリガ領域内に入らせて、ユーザの所望の位置でスローモーションビデオキャプチャを開始することができるようになる。

図１４に、基準点に対するトリガ領域の位置を決定するために、トリガ領域追跡ロジック４５０によって実行されるステップの流れ図の一例を示す。基準点は、撮像される光景に対して固定された特徴点として識別された特徴点に基づいて決定される。本明細書において、用語「固定特徴点」とは、（前述したように）所定数のフレームにわたって閾値距離より短い距離を移動したと判定される特徴点のことである。

トリガ領域追跡ロジック４５０は、ステップ１４０５で固定特徴点を識別することから始まる。トリガ領域追跡ロジック４５０は、固定特徴点の識別において、複数の特徴点とそれら各特徴点の位置（前述同様）とのデータを用いる。一実施形態によれば、異常値特徴点（例えば、異常値除去ロジック４３０によって検出された特徴点）は、固定特徴点を識別する際に無視される。同じ特徴の多く（または大半）がビデオフレームの取り込みの間中デジタルカメラ２００の視野内に残っているケースでは、固定特徴点の識別結果は、カメラ２００によって撮影された光景内で静止もしくはほぼ静止している特徴点の集合になる。

ステップ１４０５で固定特徴点が識別された後、論理フローはステップ１４１０に進む。一実施形態によれば、ステップ１４１０で、識別された固定特徴点に基づいて基準点が決定される。基準点は１点でもよいし、複数の点からなるものでもよい。例えば、一実施形態において、基準点は１つ以上の識別済固定特徴点からなる。別の実施形態では、基準点は１つ以上の固定特徴点の平均位置（すなわち、幾何学的中心）からなる。任意の適当な方法を用いて、１つ以上の識別済固定特徴点に基づいて基準点を導くことができる。

基準点が決定されると、制御はステップ１４１５に進む。一実施形態によれば、ステップ１４１５で、基準点に対するトリガ領域の初期位置（本明細書並びに添付図面において「初期相対位置」と呼ぶ）が決定される。初期相対位置は、例えば、座標（例えば、（ｘ，ｙ）座標）の集合の形、または基準点に対するトリガ領域の初期相対位置を識別する任意の適当な形をとり得る。初期相対位置は、トリガ領域追跡ロジック４５０によって後の参照用に保存される。

図１５に、一実施形態に係る、基準点とトリガ領域の初期相対位置とが決定されるとトリガ領域追跡ロジック４５０が採るステップの流れ図を示す。ステップ１５０５で、トリガ領域が基準点に対する初期相対位置から変位したかどうかが判定される。肯定判定がなされた場合、ステップ１５１０でトリガ領域の位置が初期相対位置に固定されたままになるように調整され、それによりトリガ領域が固定特徴点に固定される。

一実施形態によれば、異常値除去ロジックとトリガ領域追跡ロジックとは撮影フレーム毎に実行される。異常値除去ロジックとトリガ領域追跡ロジックとは、特徴検出／追跡ロジックが各撮影フレームに対して実行された後に実行される。特徴検出／追跡ロジックの後に異常値除去ロジックとトリガ領域追跡ロジックとを実行することにより、特徴検出／追跡ロジックにより識別または更新された特徴点情報を異常値除去ロジックとトリガ領域追跡ロジックとによってなされる判定に使用することができる。

添付図面にはある特定の論理フローのステップが示されているが、可能であればこれらのステップを任意の順で実行可能なことは言うまでもない。これらのステップは論理フローの例として示したものであり、種々の実施形態に係る本開示のステップの実行順を制約するものではない。

特定の実施形態を図示および説明したが、当業者が本明細書を読んで理解することで添付した請求の範囲内の等価物と修正とを実施し得ることは明らかである。

Claims

制御回路を備えるデジタルカメラであって、
前記制御回路は、
前記デジタルカメラによってビデオフレームに取り込まれた行為者の動きを追跡し、
前記行為者が前記デジタルカメラのファインダ上に画定されたトリガ領域の境界の内側に入ったと判定し、
前記行為者が前記トリガ領域の境界の内側に入ったとの判定に応じてスローモーションビデオキャプチャを開始するように前記デジタルカメラを作動的に制御する、
デジタルカメラ。
前記デジタルカメラのユーザは、ユーザ入力によって前記デジタルカメラの前記ファインダに前記トリガ領域を画定する、
請求項１に記載のデジタルカメラ。
前記ビデオフレームは特徴検出法によって処理され、前記特徴検出法は、前記ビデオフレームに取り込まれた対象物に対応する特徴点を識別する、
請求項１または２に記載のデジタルカメラ。
スローモーションビデオを開始するには閾値数の特徴点が前記トリガ領域の境界の内側にある必要がある、
請求項３に記載のデジタルカメラ。
前記デジタルカメラは、前記特徴点を移動特徴点または固定特徴点のいずれかとして識別する、
請求項３または４に記載のデジタルカメラ。
前記閾値数の特徴点は、移動特徴点と識別された前記特徴点の割合を含むと定義される、
請求項４または５に記載のデジタルカメラ。
前記閾値数の特徴点は、最小数の特徴点を含むとさらに定義される、
請求項４から６のいずれか１項に記載のデジタルカメラ。
前記デジタルカメラは、前記行為者を移動特徴点と識別された前記特徴点の離散集合として確定する、
請求項５から７のいずれか１項に記載のデジタルカメラ。
前記デジタルカメラは、前記行為者を移動特徴点と識別された前記特徴点の離散集合として確定し、前記閾値数の特徴点は前記離散集合の割合と定義される、
請求項６に記載のデジタルカメラ。
前記行為者の動きは、前記行為者に対応する複数の特徴点の動きを追跡する特徴点追跡法によって追跡される、
請求項３から９のいずれか１項に記載のデジタルカメラ。
前記特徴検出法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む、
請求項３から１０のいずれか１項に記載のデジタルカメラ。
前記特徴点追跡法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む、
請求項３から１１のいずれか１項に記載のデジタルカメラ。
前記ビデオフレームはオプティカルフロー法によって処理される、
請求項１から１２のいずれか１項に記載のデジタルカメラ。
前記オプティカルフロー法は、前記特徴点追跡法がビデオフレーム内の消失特徴点の識別に失敗した該消失特徴点の位置を予測する、
請求項１３に記載のデジタルカメラ。
前記オプティカルフロー法はＫＬＴ（Kanade-Lucas-Tomasi）法を含む、
請求項１３または１４に記載のデジタルカメラ。
前記制御回路は、基準点に対する前記トリガ領域の初期位置を決定するように前記カメラを制御する、
請求項１から１５のいずれか１項に記載のデジタルカメラ。
前記制御回路は、１つ以上の前記特徴点を異常値として識別するように前記カメラを制御し、異常値として識別された前記特徴点は前記閾値数の特徴点の決定において無視される、
請求項４から１６のいずれか１項に記載のデジタルカメラ。
前記制御回路は前記カメラを制御して、前記カメラが、前記トリガ領域の位置を追跡し、
追跡した前記トリガ領域の位置に基づいて、前記トリガ領域は前記基準点に対する前記トリガ領域の前記初期位置から変位していることを判定し、
請求項１６または１７に記載のデジタルカメラ。
前記トリガ領域の位置が、前記基準点に対する前記トリガ領域の前記初期位置を反映するように調整される、
請求項１６から１８のいずれか１項に記載のデジタルカメラ。
前記基準点は、固定特徴点と識別された特徴点の少なくとも１つに基づいて決定される、
請求項１６から１９のいずれか１項に記載のデジタルカメラ。
デジタルカメラで実行される方法であって、
前記デジタルカメラによってビデオフレームに取り込まれた行為者の動きを追跡するステップと、
前記行為者が前記デジタルカメラのファインダ上に画定されたトリガ領域の境界の内側に入ったと判定するステップと、
前記行為者が前記トリガ領域の境界の内側に入ったとの判定に応じてスローモーションビデオキャプチャを開始するステップと、を含む、
方法。
前記デジタルカメラの前記ファインダ上の前記トリガ領域を画定するユーザ入力を前記デジタルカメラによって受けることをさらに含む、
請求項２１に記載の方法。
前記ビデオフレームを特徴検出法によって処理することをさらに含み、前記特徴検出法は前記ビデオフレームに取り込まれた対象物に対応する特徴点を識別する、
請求項２１または２２に記載の方法。
スローモーションビデオを開始するには閾値数の特徴点が前記トリガ領域の境界の内側にある必要がある、
請求項２３に記載の方法。
前記特徴点を移動特徴点または固定特徴点のいずれかとして識別することをさらに含む、
請求項２３または２４に記載の方法。
前記閾値数の特徴点を移動特徴点と識別された前記特徴点の割合からなると定義することをさらに含む、
請求項２４または２５に記載の方法。
前記閾値数の特徴点は、最小数の特徴点を含むと定義することをさらに含む、
請求項２４から６６のいずれか１項に記載の方法。
前記行為者を移動特徴点と識別された前記特徴点の離散集合として確定することをさらに含む、
請求項２５から２７のいずれか１項に記載の方法。
前記行為者を移動特徴点と識別された前記特徴点の離散集合として確定することと、
前記閾値数の特徴点を前記離散集合の割合として定義することと、をさらに含む、
請求項２６に記載の方法。
前記行為者に対応する複数の特徴点の動きを追跡する特徴点追跡法によって前記行為者の動きを追跡することをさらに含む、
請求項２３から２９のいずれか１項に記載の方法。
前記特徴検出法は、加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む、
請求項２３から３０のいずれか１項に記載の方法。
前記特徴点追跡法は、前記加速化断片試験による特徴抽出（ＦＡＳＴ）コーナ検出法を含む、
請求項２３から３１のいずれか１項に記載の方法。
前記ビデオフレームをオプティカルフロー法によって処理することをさらに含む
請求項２１から３２のいずれか１項に記載の方法。
前記特徴点追跡法がビデオフレーム内の消失特徴点の識別に失敗した該消失特徴点の位置を前記オプティカルフロー法によって予測することをさらに含む、
請求項３３に記載の方法。
前記オプティカルフロー法はＫＬＴ（Kanade-Lucas-Tomasi）法をさらに含む、
請求項３３または３４に記載の方法。
基準点に対する前記トリガ領域の初期位置を決定することをさらに含む、
請求項２１から３５のいずれか１項に記載の方法。
１つ以上の前記特徴点を異常値として識別することと、
異常値として識別された前記特徴点を前記閾値数の特徴点の決定において無視することをさらに含む、
請求項２４から３６のいずれか１項に記載の方法。
前記トリガ領域の位置を追跡することと、
追跡された前記トリガ領域の位置に基づいて、前記トリガ領域は前記基準点に対する前記トリガ領域の前記初期位置から変位していると判定すること、とを含む、
請求項３６または３７に記載の方法。
前記トリガ領域の位置を、前記基準点に対する前記トリガ領域の前記初期位置を反映するように調整することをさらに含む、
請求項３６から３８のいずれか１項に記載の方法。
固定特徴点と識別された特徴点の少なくとも１つに基づいて前記基準点を決定することをさらに含む、
請求項３６から３９のいずれか１項に記載の方法。