JP2017187969A - 画像処理装置、画像処理プログラム、及び画像処理方法 - Google Patents

Abstract

【課題】映像中の投球場面を表す画像を特定する画像処理装置、画像処理プログラム、及び画像処理方法を提供する。
【解決手段】記憶部１１１は、投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報１２１を記憶する。特定部１１２は、映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定する。判定部１１３は、差分画像内において領域情報が示す投手領域に含まれるエッジ領域の大きさと、差分画像内において所定領域に含まれるエッジ領域の大きさとに基づいて、差分画像が投球場面を表していると判定する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理プログラム、及び画像処理方法に関する。

テレビ放送等において、プロ野球中継を行うために野球の試合が撮影され、その映像が蓄積されることがある。蓄積された試合の映像は、再放送等で利用される。また、野球の試合を撮影した映像に対する様々な画像処理も知られている（例えば、特許文献１〜特許文献３を参照）。

特開２００３−５２００３号公報 特開２００６−２０３４９８号公報 特開２０１５−１３９０１５号公報

野球の試合を撮影した映像から投球場面を表す画像を抽出する際、映像の内容によっては投球場面の判定が困難になることがある。

なお、かかる問題は、野球の試合を撮影した映像に限らず、投球動作を含む他の映像から投球場面を表す画像を抽出する場合においても生ずるものである。

１つの側面において、本発明は、映像中の投球場面を表す画像を特定することを目的とする。

１つの案では、画像処理装置は、記憶部、特定部、及び判定部を含む。記憶部は、投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を記憶する。

特定部は、映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定する。

判定部は、差分画像内において領域情報が示す投手領域に含まれるエッジ領域の大きさと、差分画像内において所定領域に含まれるエッジ領域の大きさとに基づいて、差分画像が投球場面を表していると判定する。

実施形態によれば、映像中の投球場面を表す画像を特定することができる。

画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理装置の具体例を示す機能的構成図である。 投手領域及び打者領域を示す図である。 画像処理の第１の具体例を示すフローチャートである。 差分画像を示す図である。 エッジ領域生成処理を示す図である。 判定処理のフローチャートである。 第１の選択処理のフローチャートである。 第２の選択処理のフローチャートである。 画像処理の第２の具体例を示すフローチャートである。 打席情報を示す図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
野球の試合の視聴者は、映像に含まれる特定の場面の視聴を望む場合がある。例えば、ある選手のファンが、映像に含まれるその選手のすべての打球場面を見たいと望んでいる場合、打席に立った選手に対して投球が開始された時刻を示す情報が取得できれば、その打球場面の頭出し再生を行うことができる。また、ある球団において、試合相手の球団の選手に対する対策を検討する際に、特定の投手の投球動作を連続して見たり、特定の打者のスイングを連続して見たりすることを望む場合もある。

このような場合、投手が投球を開始した瞬間を示す時刻情報を取得することが望ましい。現在の野球放送では、投球等の情報を記録したスコアブックが作成されているが、投球開始時刻は記録されていない。その理由は、すべての投球に対して、投球開始時刻を間違いなく遅延もなしに記録することは、記録者にとって作業負荷が大きいためである。記録者の人数を増やせば、投球開始時刻をスコアブックに記録できる場合もあるが、十分な人数の記録者を必ずしも確保できるとは限らない。そこで、映像を解析して投球開始時刻を示す情報を取得する技術が望まれる。

映像の切れ目であるカットを検出し、検出したカットが投球開始に対応するか否かを判別する方法も考えられる。野球放送では、投球場面におけるカメラアングルはほぼ決まっており、投手の右斜め後方から映像が撮影されることが多く、さらに投球開始前に別のカメラアングルの映像が挿入されることが多い。そこで、カメラアングルを推定することで、検出したカットの画像が投球場面を表すか否かを判定し、投球場面を表す映像の開始時刻を投球開始時刻として用いることができる。

しかしながら、映像によっては、投球開始前にカットが存在しない場合もある。例えばメジャーリーグの試合では、試合時間を短縮するために投球間隔の規制を行っており、投球から次の投球までの時間が短い投手が多い。このように短い間隔で投手が投球を行った場合、別のカメラアングルの映像を挿入する時間的な余裕がなくなる。日本のプロ野球の試合においても試合時間の短縮が推進されており、メジャーリーグと同様に、投球開始前にカットが存在しない映像が増える可能性がある。投球開始前にカットが存在しない場合、カットに基づいて投球開始時刻を検出することは困難になる。

図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、特定部１１２、及び判定部１１３を含む。記憶部１１１は、投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報１２１を記憶する。特定部１１２は、映像を用いて所定の処理を行い、判定部１１３は、領域情報１２１を用いて所定の処理を行う。

図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、特定部１１２は、映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出する（ステップ２０１）。次に、特定部１１２は、差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定する（ステップ２０２）。

次に、判定部１１３は、差分画像内において領域情報が示す投手領域に含まれるエッジ領域の大きさと、差分画像内において所定領域に含まれるエッジ領域の大きさとに基づいて、差分画像が投球場面を表していると判定する（ステップ２０３）。

このような画像処理装置１０１によれば、映像中の投球場面を表す画像を特定することができる。

図３は、図１の画像処理装置１０１の具体例を示している。図３の画像処理装置１０１は、記憶部１１１、特定部１１２、判定部１１３、及び取得部３０１を含む。特定部１１２は、差分画像生成部３１１、エッジ検出部３１２、及び領域生成部３１３を含む。

記憶部１１１は、領域情報１２１及び映像３２２を記憶する。領域情報１２１は、投手領域を示すとともに、投球場面を表す画像において打者が写っていると推測される打者領域も示す。

映像３２２は、複数の時刻それぞれにおける複数の画像を含み、各時刻における画像はフレームと呼ばれることもある。各画像は、カラー画像であってもよく、モノクロ画像であってもよい。画像がカラー画像である場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。

取得部３０１は、投球場面において打者が右打者又は左打者のいずれであるかを示す打者情報３２１を取得して、記憶部１１１に格納する。野球中継において、試合開始時に各チームのメンバーは公開されており、試合のスコアブックも記録される。取得部３０１は、このスコアブックから、各イニングで打者が立った打席が右打席又は左打席のいずれであるかを示す打席情報を取得し、打席情報から打者情報３２１を生成することができる。打者情報３２１の生成方法については、図１１及び図１２を参照しながら後述することにする。

差分画像生成部３１１は、映像３２２から動く物体を検出するために、映像３２２に含まれる２時刻それぞれにおける２枚の画像の差分を表す差分画像を生成する。投球場面の２枚の画像から生成される差分画像には、球場のフィールド上における投手、打者、捕手、審判等の動きを表す差分画素値が含まれる。また、カメラが動いた場合等には、フィールド上の一塁線及び三塁線、フィールドとバックネット又はフェンスとの境界線等の動きを表す差分画素値が含まれることもある。

エッジ検出部３１２は、差分画像内における画素値の差分を計算することで、エッジ画素を検出する。領域生成部３１３は、差分画像内で複数のエッジ画素が所定方向に並んでいる部分を表すエッジ領域３２３を生成して、記憶部１１１に格納する。

投球場面の差分画像では、一塁線、三塁線、フィールドとバックネット又はフェンスとの境界線等の背景の動きは、横方向のエッジ画素として現れる。一方、投手はフィールド上に立っているため、投手の身体の動きは、縦方向のエッジ画素として現れる。

そこで、背景の動きを検出せずに投手の動きを検出するために、領域生成部３１３は、画像の縦方向を所定方向として用いることができる。この場合、フィールドの地面に対して垂直な方向と画像の縦方向とが成す角度は、所定角度よりも小さくなり、エッジ画素が縦方向に並んでいる部分によって特定される領域が、エッジ領域３２３として抽出される。エッジ領域３２３としては、例えば、エッジ画素の縦方向のつながりが複数個互いに近接して存在する領域を用いることができる。

判定部１１３は、領域生成部３１３が生成したエッジ領域３２３と領域情報１２１とを用いて、差分画像が投球場面を表しているか否かを判定する。差分画像が投球場面を表している場合、判定部１１３は、差分画像の生成に用いられた画像が投球場面を表すことを示す判定結果３２４を生成して、記憶部１１１に格納する。判定部１１３は、例えば、以下の条件が満たされる場合に、差分画像が投球場面を表していると判定することができる。
（ａ）差分画像内において領域情報１２１が示す投手領域に含まれるエッジ領域３２３の大きさが第１閾値よりも大きい。
（ｂ）差分画像内において所定領域に含まれるエッジ領域３２３の大きさが第２閾値以下である。

このとき、判定部１１３は、投球場面を表す画像から、領域情報１２１が示す投手領域及び打者領域を除いた残りの領域を、上記（ｂ）の所定領域として用いる。

図４は、投球場面を表す画像における投手領域及び打者領域の例を示している。図４（ａ）に示す画像４０１には、マウンド上で投球動作を開始した投手、左打席に立っている打者、打者の後ろにいる捕手及び審判が写っている。

この場合、領域情報１２１には、投手領域４１１、右打者領域４１２、及び左打者領域４１３を示す情報が含まれる。右打者は、右打ちの打者であり、左打者は、左打ちの打者である。投手領域４１１は、投手が写っていると推測される領域であり、右打者領域４１２は、右打者が写っていると推測される領域であり、左打者領域４１３は、左打者が写っていると推測される領域である。

投球場面では、投手の右斜め上方から映像３２２が撮影されることが多いため、投手の身体は、画像４０１内の左側で少し下寄りの位置に写る。アンダースローの投手等が手を大きく横に伸ばす場合もあるが、この場合は手の動きが横方向のエッジ画素として現れる。したがって、縦方向のエッジ画素に基づいて投手の動きを検出する画像処理では、手を大きく横に伸ばす場合を考慮しなくても問題はない。そこで、投手領域４１１は、画像４０１内の左側で少し下寄りの位置に設定される。

打者は投手の右側の位置に写るため、右打者領域４１２及び左打者領域４１３は、画像４０１内の少し右寄りの位置に設定される。右打者領域４１２及び左打者領域４１３には、捕手及び審判が写っていると推測される領域も含まれている。

判定部１１３は、打者情報３２１が右打者を示している場合、右打者領域４１２を打者領域として用い、打者情報３２１が左打者を示している場合、左打者領域４１３を打者領域として用いて、上記（ｂ）の所定領域を求める。

図４（ｂ）に示す画像４０２では、投手領域４１１に写っている投手が大きく動いており、左打者領域４１３に写っている打者、捕手、及び審判にも小さな動きが見られる。しかし、画像４０２から投手領域４１１及び左打者領域４１３を除いた残りの領域には、動く物体が写っていない。したがって、投手領域４１１内のエッジ領域３２３の大きさが第１閾値よりも大きく、投手領域４１１及び左打者領域４１３を除いた残りの領域内のエッジ領域３２３の大きさが第２閾値以下である場合、差分画像が投球場面を表している可能性が高いと言える。

図３の画像処理装置１０１によれば、投球開始前にカットが存在しない場合であっても、エッジ領域３２３及び領域情報１２１に基づいて、映像３２２から投球場面を表す画像を抽出することができる。また、投球開始時刻及び投球場面の判定が同時に行われるため、高速かつ高精度に投球場面を検出することができる。

図５は、図３の画像処理装置１０１が行う画像処理の第１の具体例を示すフローチャートである。まず、差分画像生成部３１１は、映像３２２から２時刻における２枚の画像を抽出し（ステップ５０１）、それらの画像の差分を表す差分画像を生成する（ステップ５０２）。

映像３２２に含まれる各時刻の画像において、横方向をｘ軸、縦方向をｙ軸とするｘｙ座標系を定義し、ｉ番目（ｉは１以上の整数）の画像の座標（ｘ，ｙ）における画素値をｐ_ｉ（ｘ，ｙ）とする。この場合、連続する２時刻の画像間における差分画素値Ｄ_ｉ（ｘ，ｙ）は、次式により表される。

Ｄ_ｉ（ｘ，ｙ）＝｜ｐ_ｉ＋１（ｘ，ｙ）−ｐ_ｉ（ｘ，ｙ）｜ （１）

差分画像生成部３１１は、式（１）のＤ_ｉ（ｘ，ｙ）を座標（ｘ，ｙ）における画素値とする差分画像を生成する。なお、フレームレートが高い場合等には、差分画像生成部３１１は、１枚以上の画像を跨いだ２時刻の画像間における差分画像を生成してもよい。以下では、記載を簡略化するため、ｉ番目の差分画像の画素値Ｄ_ｉ（ｘ，ｙ）を、単にＤ（ｘ，ｙ）と記載することがある。

次に、エッジ検出部３１２は、差分画像内における横方向の画素値の差分Ｐｅ（ｘ，ｙ）を計算することで、エッジ画素を検出する（ステップ５０３）。Ｐｅ（ｘ，ｙ）は、例えば、次式により計算される。

Ｐｅ（ｘ，ｙ）
＝Ｄ（ｘ，ｙ）−ｍｉｎ［ｘ−ｄ１≦ａ≦ｘ＋ｄ１］（Ｄ（ａ，ｙ）） （２）

式（２）のｄ１は、横方向の画素数を表し、ｍｉｎ［ｘ−ｄ１≦ａ≦ｘ＋ｄ１］（Ｄ（ａ，ｙ））は、変数ａをｘ−ｄ１≦ａ≦ｘ＋ｄ１の範囲で変化させたときのＤ（ａ，ｙ）の最小値を表す。例えば、ｄ１＝１の場合、Ｄ（ｘ−１，ｙ）、Ｄ（ｘ，ｙ）、及びＤ（ｘ＋１，ｙ）の最小値とＤ（ｘ，ｙ）との差分がＰｅ（ｘ，ｙ）として求められる。

差分画像内において、画素値が横方向にあまり変化しない領域ではＰｅ（ｘ，ｙ）が０になり、画素値が横方向に大きく変化する位置ではＰｅ（ｘ，ｙ）が０以外の値になる。この場合、Ｐｅ（ｘ，ｙ）が０以外の値を有する画素がエッジ画素として検出される。

図６は、差分画像の例を示している。図６（ａ）に示す差分画像には、Ｄ（ｘ，ｙ）が０以外の値を有する縦長の領域６０１が含まれている。領域６０１は、投手のような縦長の物体が横方向に高速に動いた場合に現れる。

図６（ｂ）に示す差分画像には、Ｄ（ｘ，ｙ）が０以外の値を有する横長の領域６０２が含まれている。領域６０２は、フィールドとバックネットとの境界線のような横長の物体が縦方向に動いた場合に現れる。

図６（ｃ）に示す差分画像には、Ｄ（ｘ，ｙ）が０以外の値を有する画素が密集した領域６０３が含まれている。領域６０３は、バックネットのような物体が動いた場合に現れる。

式（２）のＰｅ（ｘ，ｙ）を用いることで、領域６０１のように、０でないＤ（ｘ，ｙ）が縦方向につながった領域が検出されやすくなり、領域６０２及び領域６０３が検出され難くなる。したがって、背景の動きを検出せずに投手の動きを検出することが可能になる。

エッジ検出部３１２は、式（２）の代わりに、モルフォロジ演算を用いてＰｅ（ｘ，ｙ）を計算することもできる。画素値Ｄ（ｘ，ｙ）に対するモルフォロジ演算は、例えば、次式により表される。

Ｄｉｌａｔａｔｉｏｎ（Ｄ（ｘ，ｙ），Ｒ）
＝ｍｉｎ［（ａ，ｂ）∈Ｒ］（Ｄ（ａ，ｂ）） （３）

Ｅｒｏｓｉｏｎ（Ｄ（ｘ，ｙ），Ｒ）
＝ｍａｘ［（ａ，ｂ）∈Ｒ］（Ｄ（ａ，ｂ）） （４）

Ｏｐｅｎ（Ｄ（ｘ，ｙ），Ｒ）
＝Ｄｉｌａｔａｔｉｏｎ（Ｅｒｏｓｉｏｎ（Ｄ（ｘ，ｙ），Ｒ），Ｒ） （５）

Ｃｌｏｓｅ（Ｄ（ｘ，ｙ），Ｒ）
＝Ｅｒｏｓｉｏｎ（Ｄｉｌａｔａｔｉｏｎ（Ｄ（ｘ，ｙ），Ｒ），Ｒ） （６）

ＴｏｐＨａｔ（Ｄ（ｘ，ｙ），Ｒ）
＝Ｄ（ｘ，ｙ）−Ｏｐｅｎ（Ｄ（ｘ，ｙ），Ｒ） （７）

式（３）のＤｉｌａｔａｔｉｏｎ（Ｄ（ｘ，ｙ），Ｒ）は、膨張演算を表し、Ｒは、座標（ｘ，ｙ）を基準とする所定領域を表す。ｍｉｎ［（ａ，ｂ）∈Ｒ］（Ｄ（ａ，ｂ））は、座標（ａ，ｂ）を領域Ｒ内で変化させたときのＤ（ａ，ｂ）の最小値を表す。例えば、（ｘ，ｙ）の上下左右１画素の範囲で（ａ，ｂ）を変化させる場合、領域Ｒの範囲は、ｘ−１≦ａ≦ｘ＋１及びｙ−１≦ｂ≦ｙ＋１により表される。

式（４）のＥｒｏｓｉｏｎ（Ｄ（ｘ，ｙ），Ｒ）は、縮小演算を表し、ｍａｘ［（ａ，ｂ）∈Ｒ］（Ｄ（ａ，ｂ））は、座標（ａ，ｂ）を領域Ｒ内で変化させたときのＤ（ａ，ｂ）の最大値を表す。

式（５）のＯｐｅｎ（Ｄ（ｘ，ｙ），Ｒ）は、領域Ｒ内で縮小演算を行ってから膨張演算を行うオープニング演算を表し、式（６）のＣｌｏｓｅ（Ｄ（ｘ，ｙ），Ｒ）は、領域Ｒ内で膨張演算を行ってから縮小演算を行うクロージング演算を表す。

式（７）のＴｏｐＨａｔ（Ｄ（ｘ，ｙ），Ｒ）は、Ｄ（ｘ，ｙ）からＯｐｅｎ（Ｄ（ｘ，ｙ），Ｒ）を減算するトップハット演算を表す。トップハット演算では、まず、縮小演算を行ってから膨張演算を行うことで、領域Ｒ内における小さな画素値が基準値として求められ、元の画素値から基準値を減算することで、基準値に対する元の画素値の差分が求められる。このトップハット演算を用いて、次式によりＰｅ（ｘ，ｙ）を計算することができる。

Ｐｅ（ｘ，ｙ）＝ＴｏｐＨａｔ（Ｄ（ｘ，ｙ），Ｒｅ） （８）

Ｐｅ（ｘ，ｙ）は横方向の画素値の差分を表すため、式（８）の領域Ｒｅとしては、横長の領域が用いられる。例えば、領域Ｒｅの範囲は、１以上の整数ｋを用いて表されるｘ−ｋ≦ａ≦ｘ＋ｋ及びｂ＝ｙの範囲であってもよい。

次に、領域生成部３１３は、複数のエッジ画素が縦方向に並んでいる部分を、縦方向のつながりとして抽出する（ステップ５０４）。座標（ｘ，ｙ）におけるエッジ画素が縦方向につながっている度合いを示す指標Ｐｖ（ｘ，ｙ）は、例えば、次式により計算される。

Ｐｖ（ｘ，ｙ）＝ｍｉｎ［ｙ−ｄ２≦ｂ≦ｙ＋ｄ２］（Ｐｅ（ｘ，ｂ）） （９）

式（９）のｄ２は、縦方向の画素数を表し、ｍｉｎ［ｙ−ｄ２≦ｂ≦ｙ＋ｄ２］（Ｐｅ（ｘ，ｂ））は、変数ｂをｙ−ｄ２≦ｂ≦ｙ＋ｄ２の範囲で変化させたときのＰｅ（ｘ，ｂ）の最小値を表す。

ｙ−ｄ２≦ｂ≦ｙ＋ｄ２の範囲のＰｅ（ｘ，ｂ）がすべて０以外の値であり、エッジ画素を表している場合、Ｐｖ（ｘ，ｙ）も０以外の値になる。一方、その範囲のいずれかのＰｖ（ｘ，ｙ）が０であり、エッジ画素ではない画素が含まれている場合、Ｐｖ（ｘ，ｙ）は０になる。したがって、Ｐｖ（ｘ，ｙ）が０以外の値を有する画素が、エッジ画素の縦方向のつながりに属する画素として抽出される。

ただし、式（９）を用いた場合、ｙ−ｄ２≦ｂ≦ｙ＋ｄ２の範囲でエッジ画素が１個でも欠落すると、Ｐｖ（ｘ，ｙ）が０になり、縦方向のつながりが抽出されない。そこで、Ｐｅ（ｘ，ｂ）の最小値の代わりに、小さい方からｎ番目（ｎは２以上の整数）の値をＰｖ（ｘ，ｙ）として用いてもよい。

領域生成部３１３は、式（９）の代わりに、次式によりＰｖ（ｘ，ｙ）を計算することもできる。

Ｐｖ（ｘ，ｙ）＝Ｃｌｏｓｅ（Ｐｅ（ｘ，ｙ），Ｒｖ） （１０）

式（１０）のクロージング演算では、領域Ｒｖ内で膨張演算を行ってから縮小演算が行われるため、領域Ｒｖ内における大きなＰｅ（ｘ，ｙ）の値がＰｖ（ｘ，ｙ）として求められる。これにより、領域Ｒｖ内において、ある程度の個数のエッジ画素が欠落している場合であっても、Ｐｖ（ｘ，ｙ）が０になることはなく、縦方向のつながりを抽出することができる。

縦方向のつながりを抽出するため、式（１０）の領域Ｒｖとしては、縦長の領域が用いられる。例えば、領域Ｒｖの範囲は、１以上の整数ｋを用いて表されるａ＝ｘ及びｙ−ｋ≦ｂ≦ｙ＋ｋの範囲であってもよい。ｋの値は、画像の大きさに応じて変更することができ、例えば、ｋ＝３であってもよい。

次に、領域生成部３１３は、Ｐｖ（ｘ，ｙ）を用いてエッジ領域３２３を生成する（ステップ５０５）。座標（ｘ，ｙ）において、複数個の縦方向のつながりが互いに近接して存在する度合いを示す指標ＰＬ（ｘ，ｙ）は、例えば、次式により計算される。

ＰＬ（ｘ，ｙ）
＝Ｍｅｄｉａｎ［（ａ，ｂ）∈ＲＬ］（Ｐｖ（ａ，ｂ）） （１１）

式（１１）の領域ＲＬの範囲は、ｘ−ｄ３≦ａ≦ｘ＋ｄ３及びｙ−ｄ４≦ｂ≦ｙ＋ｄ４の範囲であり、ｄ３及びｄ４は、それぞれ、横方向及び縦方向の画素数を表す。Ｍｅｄｉａｎ［（ａ，ｂ）∈ＲＬ］（Ｐｖ（ａ，ｂ））は、座標（ａ，ｂ）を領域ＲＬ内で変化させたときのＰｖ（ａ，ｂ）の中央値を表す。ある程度広い範囲で縦方向のつながりを抽出するため、ｄ３及びｄ４としてはｄ２よりも大きな値を用いることが好ましい。例えば、ｄ３＝ｄ４＝１５であってもよい。ｄ３及びｄ４の値は、画像の大きさに応じて変更することができる。

なお、中央値を求める際に、領域ＲＬ内における厳密な中央値の代わりに、例えば、領域ＲＬの１／３等の部分領域内における中央値を用いてもよい。また、Ｐｖ（ａ，ｂ）の中央値の代わりに、Ｐｖ（ａ，ｂ）の平均値を用いてもよい。

領域ＲＬ内にＰｖ（ａ，ｂ）＝０の画素が多いほど、ＰＬ（ｘ，ｙ）は０に近くなり、Ｐｖ（ａ，ｂ）≠０の画素が多いほど、ＰＬ（ｘ，ｙ）は大きくなる。この場合、領域生成部３１３は、ＰＬ（ｘ，ｙ）が所定の閾値ＴＬ以上である画素を、エッジ領域３２３の画素として抽出する。例えば、領域生成部３１３は、閾値ＴＬを用いて次式によりＰＬ（ｘ，ｙ）を二値化することで、二値画像を生成する。

ＰＢ（ｘ，ｙ）＝１ （ＰＬ（ｘ，ｙ）≧ＴＬ） （１２）

ＰＢ（ｘ，ｙ）＝０ （ＰＬ（ｘ，ｙ）＜ＴＬ） （１３）

式（１２）及び式（１３）のＰＢ（ｘ，ｙ）は、生成された二値画像の画素値を表し、ＰＢ（ｘ，ｙ）＝１の画素が分布する領域が、複数個の縦方向のつながりが互いに近接して存在するエッジ領域３２３を表す。

領域生成部３１３は、式（１１）の代わりに、次式によりＰＬ（ｘ，ｙ）を計算することもできる。

ＰＬ（ｘ，ｙ）＝Ｃｌｏｓｅ（Ｐｖ（ｘ，ｙ），ＲＬ） （１４）

次に、領域生成部３１３は、二値画像に対するラベリング処理を行って、エッジ領域３２３を抽出する（ステップ５０６）。このラベリング処理は、二値画像内でＰＢ（ｘ，ｙ）＝１の画素が連結している領域を求める処理であり、例えば、以下の手順で行われる。
（１）領域生成部３１３は、二値画像の画素数と同じ個数のラベル番号をそれぞれの画素の座標と対応付けて記録する領域を、記憶部１１１内に確保し、各ラベル番号に０を設定する。ラベル番号が０である画素は、未だラベリングされていない画素に対応する。そして、領域生成部３１３は、ラベル番号を表す変数ＬＮに０を設定する。
（２）領域生成部３１３は、二値画像を左上の画素から順にスキャンし、ＰＢ（ｘ，ｙ）＝１の画素が見つかった場合、その画素に対応するラベル番号をチェックする。
（３）見つかった画素のラベル番号が０である場合、領域生成部３１３は、ＬＮを１だけインクリメントする。
（４）領域生成部３１３は、見つかった画素から上下左右に画素を探索し、ＰＢ（ｘ，ｙ）＝１の画素が連結している連結領域を求める。そして、領域生成部３１３は、求めた連結領域内のすべての画素のラベル番号を、ＬＮが表す値に書き換える。
（５）領域生成部３１３は、二値画像内のすべての画素のラベル番号が書き換えられるまで、上記（２）〜（４）の処理を繰り返す。

このようなラベリング処理により、差分画像内の１つ以上のエッジ領域３２３に対して、それぞれ異なるラベル番号が付与され、各エッジ領域３２３に含まれる画素が決定される。なお、ラベリング処理の高速化のために、上記（１）〜（５）とは異なる手順を用いてもよい。

図７は、エッジ領域生成処理の例を示している。図７（ａ）は、図４（ａ）の画像４０１から生成された差分画像内における画素値の差分Ｐｅ（ｘ，ｙ）の分布を示し、図７（ｂ）は、Ｐｅ（ｘ，ｙ）から計算された縦方向のつながりを示す指標Ｐｖ（ｘ，ｙ）の分布を示す。

図７（ｃ）は、Ｐｖ（ｘ，ｙ）から計算されたエッジ領域３２３を示す指標ＰＬ（ｘ，ｙ）の分布を示し、図７（ｄ）は、ＰＬ（ｘ，ｙ）を二値化した二値画像を示す。図７（ｄ）の二値画像では、投手領域４１１内に、投手の身体を表すエッジ領域３２３が生成されており、左打者領域４１３内に、打者、捕手、及び審判の身体を表すエッジ領域３２３が生成されている。

次に、判定部１１３は、差分画像内の投手領域に含まれるエッジ領域３２３の大きさと、所定領域に含まれるエッジ領域３２３の大きさとを評価することで、差分画像が投球場面を表しているか否かを判定する（ステップ５０７）。

各エッジ領域３２３の大きさとしては、エッジ領域３２３の横方向又は縦方向の長さを用いることもでき、エッジ領域３２３の面積を用いることもできる。エッジ領域３２３の横方向の長さは、そのエッジ領域３２３のラベル番号を有する画素のｘ座標の最大値及び最小値の差分により表される。また、エッジ領域３２３の縦方向の長さは、そのエッジ領域３２３のラベル番号を有する画素のｙ座標の最大値及び最小値の差分により表される。エッジ領域３２３の面積は、そのエッジ領域３２３のラベル番号を有する画素の総数により表される。

所定値よりも小さいエッジ領域３２３はノイズを表す可能性が高いため、判定部１１３は、このようなエッジ領域３２３を処理対象から除外してもよい。

図８は、図５のステップ５０７における判定処理の例を示すフローチャートである。まず、判定部１１３は、領域情報１２１が示す右打者領域又は左打者領域のうちいずれか一方を、打者領域ＢＡとして選択する（ステップ８０１）。そして、判定部１１３は、領域情報１２１が示す投手領域ＰＡ内に、閾値よりも大きなエッジ領域３２３が存在するか否かをチェックする（ステップ８０２）。

例えば、エッジ領域３２３の大きさとして面積を用いた場合、判定部１１３は、エッジ領域３２３の画素の総数Ｐｃｏｕｎｔを、次式により計算する。

そして、判定部１１３は、Ｐｃｏｕｎｔが閾値ＴＰよりも大きい場合、投手領域ＰＡ内に閾値よりも大きなエッジ領域３２３が存在すると判定し、ＰｃｏｕｎｔがＴＰ以下である場合、投手領域ＰＡ内に閾値よりも大きなエッジ領域３２３が存在しないと判定する。

投手領域ＰＡ内に閾値よりも大きなエッジ領域３２３が存在する場合（ステップ８０２，ＹＥＳ）、判定部１１３は、差分画像から投手領域ＰＡ及び打者領域ＢＡを除いた残りの領域ＸＡ内に存在するエッジ領域３２３の大きさを求める（ステップ８０３）。そして、判定部１１３は、求めたエッジ領域３２３の大きさを閾値と比較する（ステップ８０４）。

例えば、判定部１１３は、領域ＸＡ内に存在するエッジ領域３２３の画素の総数Ｘｃｏｕｎｔを、次式により計算する。

そして、判定部１１３は、Ｘｃｏｕｎｔが閾値ＴＸよりも大きい場合、求めたエッジ領域３２３の大きさが閾値よりも大きいと判定し、ＸｃｏｕｎｔがＴＸ以下である場合、求めたエッジ領域３２３の大きさが閾値以下であると判定する。所定値よりも小さいエッジ領域３２３が処理対象から除外されており、ノイズが含まれる可能性が低い場合は、ＴＸとして小さな整数を用いることができる。この場合、ＴＸ＝０であってもよい。

求めたエッジ領域３２３の大きさが閾値以下である場合（ステップ８０４，ＹＥＳ）、判定部１１３は、差分画像が投球場面を表していると判定する。そして、判定部１１３は、差分画像の生成に用いられた画像を、投球場面として判定結果３２４に記録する（ステップ８０５）。

投手領域ＰＡ内に閾値よりも大きなエッジ領域３２３が存在しない場合（ステップ８０２，ＮＯ）、判定部１１３は、差分画像が投球場面を表していないと判定し、処理を終了する。また、領域ＸＡ内のエッジ領域３２３の大きさが閾値よりも大きい場合（ステップ８０４，ＮＯ）、判定部１１３は、差分画像が投球場面を表していないと判定し、処理を終了する。

ステップ８０２において、判定部１１３は、エッジ領域３２３の大きさの上限値及び下限値を設定して、エッジ領域３２３の大きさが上限値以下であり、かつ、下限値よりも大きいという条件を用いることもできる。この場合、判定部１１３は、投手領域ＰＡ内に条件を満たすエッジ領域３２３が存在するか否かをチェックする。これにより、投手領域ＰＡとして比較的広い領域が設定されており、投手領域ＰＡ全体に投手の身体が写っているという想定が不自然である場合に、大き過ぎるエッジ領域３２３を投手とみなす誤判定を防止することができる。

画像処理装置１０１は、映像３２２に含まれる各時刻の画像に対して図５の画像処理を繰り返すことで、各画像が投球場面を表しているか否かを判定することができる。

なお、投球場面においては、連続する数枚の画像に渡って同じような差分画像が生成されることが多い。そこで、判定精度を向上させるために、判定部１１３は、連続する数枚の差分画像に対する判定結果に基づいて、判定結果３２４を生成してもよい。この場合、判定部１１３は、数枚の差分画像に対する判定結果が投球場面を示していれば、それらの差分画像の生成に用いられた画像を、投球場面として判定結果３２４に記録する。判定の際に、連続した数枚が投球場面と判定された場合だけでなく、連続した数枚中数枚（例えば５枚中３枚等）が投球場面と判定された場合等としてもよい。

図９は、図８のステップ８０１における第１の選択処理の例を示すフローチャートである。まず、判定部１１３は、記憶部１１１から打者情報３２１を取得して（ステップ９０１）、打者情報３２１が示す打者が右打者又は左打者のいずれであるかを判定する（ステップ９０２）。そして、判定部１１３は、領域情報１２１が示す右打者領域又は左打者領域のうち、判定結果に対応する打者領域を選択する（ステップ９０３）。

図９の選択処理によれば、取得部３０１が取得した打者情報３２１に基づいて、差分画像内で打者が写っている可能性が高い領域を選択することができる。

図１０は、図８のステップ８０１における第２の選択処理の例を示すフローチャートである。まず、判定部１１３は、領域情報１２１が示す右打者領域内に存在するエッジ領域３２３の大きさと、領域情報１２１が示す左打者領域内に存在するエッジ領域３２３の大きさとを求める（ステップ１００１）。そして、判定部１１３は、右打者領域又は左打者領域のうち、大きい方のエッジ領域３２３を含む領域を、打者領域として選択する（ステップ１００２）。

例えば、エッジ領域３２３の大きさとして面積を用いた場合、判定部１１３は、右打者領域ＢＲＡ内に存在するエッジ領域３２３の画素の総数ＢＲｃｏｕｎｔを、次式により計算する。

また、判定部１１３は、左打者領域ＢＬＡ内に存在するエッジ領域３２３の画素の総数ＢＬｃｏｕｎｔを、次式により計算する。

そして、判定部１１３は、ＢＬｃｏｕｎｔよりもＢＲｃｏｕｎｔの方が大きい場合、右打者領域ＢＲＡを選択し、ＢＲｃｏｕｎｔよりもＢＬｃｏｕｎｔの方が大きい場合、左打者領域ＢＬＡを選択する。

図１０の選択処理によれば、打者情報３２１を用いることなく、差分画像内で打者が写っている可能性が高い領域を選択することができる。したがって、図１０の選択処理を採用する場合、図３の取得部３０１を省略することができる。

なお、右打者領域ＢＲＡの大きさと左打者領域ＢＬＡの大きさが異なる場合、判定部１１３は、右打者領域ＢＲＡの画素の総数に対するＢＲｃｏｕｎｔの比率と、左打者領域ＢＬＡの画素の総数に対するＢＬｃｏｕｎｔの比率とを比較してもよい。

図４の例では、右打者領域４１２及び左打者領域４１３が設定されているが、これらの領域を統合した単一の打者領域を設定することも可能である。この場合、ステップ８０１において、判定部１１３は、設定された打者領域をそのまま使用する。

図１１は、図３の画像処理装置１０１が行う画像処理の第２の具体例を示すフローチャートである。このフローチャートには、取得部３０１が打席情報から打者情報３２１を生成する処理も示されている。まず、取得部３０１は、スコアブックから打席情報を取得する（ステップ１１０１）。このとき、ユーザがスコアブックの情報を画像処理装置１０１に入力してもよい。

図１２は、スコアブックから取得される打席情報の例を示している。図１２の打席情報は、イニング、チーム、スコア１、スコア２、アウト、ランナー、打者、及び打席の項目を含む。スコア１は、表チームのスコアを表し、スコア２は、裏チームのスコアを表し、アウトは、アウトを宣告された選手の人数を表す。ランナーは、ランナーの有無を表し、打者は、打者の名前を表し、打席は、打者が立った打席（右打席又は左打席）を表す。

ランナーの有無は、一塁、二塁、及び三塁にそれぞれ対応する３ビットの２進数で表現することができる。第１ビット〜第３ビットは、それぞれ、三塁〜一塁に対応し、ビット値“１”はランナーが存在することを表し、ビット値“０”はランナーが存在しないことを表す。例えば、“０００”は、一塁〜三塁のいずれにもランナーが存在しないことを表し、“１１１”は、満塁を表し、“１００”は、三塁のみにランナーが存在することを表し、“１０１”は、一塁及び三塁にランナーが存在することを表す。

なお、図１２には、イニング“１”の情報のみが示されているが、ステップ１１０１では、全イニングに渡る打席情報が取得される。ただし、スコア１、スコア２、アウト、ランナー、及び打者の項目については、必ずしも必要な情報ではないため、これらの項目の一部又は全部を省略しても構わない。

次に、取得部３０１は、映像３２２から最初の時刻における画像を抽出し（ステップ１１０２）、その画像を解析して、画面上に表示されるスコアボードの情報を取得する（ステップ１１０３）。

野球放送の場合、試合中に記録されたスコアが、スコアボードとして画面上に表示される。しかし、画面上のスコアボードには、各イニングのスコアが即座に反映されないことが多く、スコアボードが表示されない時間が長く続くこともある。このため、スコアボードの情報は、投球開始時刻の検出には適していないが、打者の切り替わりの検出には利用することができる。試合中に打者が切り替わった場合、以下のいずれかの事象が発生すると考えられる。
（Ｅ１）イニング又はチーム（表／裏）が切り替わる。
（Ｅ２）スコア、アウト、又はランナーが増加する。

そこで、取得部３０１は、映像３２２に含まれるスコアボードの情報からこれらの事象を抽出することにより、打者の切り替わりを検出することができる。画面上でスコアボードが表示される領域は予め決められているため、その領域の画像に対して光学文字認識（Optical Character Recognition：ＯＣＲ）技術を適用することで、スコアボードの情報を読み取ることも可能である。

また、スコアボード内のスコア等が、“○”のような所定の記号の個数で表示されることもある。この場合、類似画像検索技術を適用することで、スコアボードの情報を抽出することができる。例えば、取得部３０１は、ステップ１１０２で抽出した画像から、スコアボード内における記号の表示位置の画像を抽出し、抽出した画像とその記号を表すテンプレート画像との類似度を計算する。そして、取得部３０１は、類似度が所定値以上である場合、その記号が表示されていると判定する。

このとき、取得部３０１は、画像の色レイアウト特徴等を特徴量として用いて、類似度を計算することができる。色レイアウト特徴は、画像を複数の小領域に分割した場合の各小領域における平均色を表す。また、取得部３０１は、２つの画像の特徴量を表す２つの特徴量ベクトルの間の距離を計算し、距離が所定値以下である場合、類似度が所定値以上であると判定することもできる。

次に、取得部３０１は、取得したスコアボードの情報から事象を抽出し（ステップ１１０４）、抽出した事象に基づいて、打者が切り替わったか否かを判定する（ステップ１１０５）。例えば、取得部３０１は、上記（Ｅ１）又は（Ｅ２）の事象が抽出された場合、打者が切り替わったと判定する。

打者が切り替わった場合（ステップ１１０５，ＹＥＳ）、取得部３０１は、ステップ１１０１で取得した打席情報を参照して、次の打者が右打者又は左打者のいずれであるかを特定する（ステップ１１０６）。そして、取得部３０１は、特定した打者を示す打者情報３２１を生成する。

次に、画像処理装置１０１は、図５のステップ５０２〜ステップ５０７と同様の処理を行うことで、差分画像を生成し、差分画像が投球場面を表しているか否かを判定する（ステップ１１０７）。そして、取得部３０１は、映像３２２に含まれる最後の画像を抽出したか否かをチェックする（ステップ１１０８）。

最後の画像を抽出していない場合（ステップ１１０８，ＮＯ）、取得部３０１は、映像３２２から次の時刻の画像を抽出して（ステップ１１０９）、ステップ１１０３以降の処理を繰り返す。打者が切り替わっていない場合（ステップ１１０５，ＮＯ）、取得部３０１は、ステップ１１０９以降の処理を繰り返す。そして、最後の画像を抽出した場合（ステップ１１０８，ＹＥＳ）、取得部３０１は、処理を終了する。

なお、ステップ１１０３において取得したスコアボードの情報は、ステップ１１０１においてスコアブックから取得した打席情報と必ずしも整合するとは限らない。例えば、一方の情報におけるアウトの個数が他方の情報におけるアウトの個数よりも少ない場合、アウトの抽出漏れが発生している可能性がある。

そこで、取得部３０１は、スコアボードの情報から抽出したスコア、アウト、ランナー等の事象を、打席情報に記録されている事象と比較して、両者が一致しない場合、いずれか一方の情報を他方の情報に合わせて訂正してもよい。これにより、誤った事象の抽出又は事象の抽出漏れに起因する、打者情報３２１の精度低下が防止される。

ステップ１１０６において、特定した打者がスイッチヒッターである場合、取得部３０１は、投手が右投げ又は左投げのいずれであるかを示す情報に基づいて、打者が右打者又は左打者のいずれであるかを特定することもできる。投手が右投げの場合、打者は左打席に立ち、投手が左投げの場合、打者は右打席に立つと想定される。あるいは、取得部３０１は、右打者兼左打者であることを示す打者情報３２１を生成し、判定部１１３は、その打者情報３２１に基づいて、右打者領域及び左打者領域を統合した打者領域を用いてもよい。

図９のステップ９０１において判定部１１３が処理に用いる打者情報３２１は、図５の画像処理が開始される前に、取得部３０１によって生成される。この打者情報３２１の生成方法も、ステップ１１０１〜ステップ１１０６の処理と同様である。

図１及び図３の画像処理装置１０１の構成は一例に過ぎず、画像処理装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、打者情報３２１が予め生成されて記憶部１１１に格納されている場合は、図３の取得部３０１を省略することができる。右打者領域及び左打者領域の代わりに単一の打者領域が設定されている場合、又は図１０の選択処理を採用する場合も、取得部３０１を省略することができる。

図２、図５、及び図８〜図１１のフローチャートは一例に過ぎず、画像処理装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、右打者領域及び左打者領域の代わりに単一の打者領域が設定されている場合は、図８のステップ８０１の処理を省略することができる。

図４の画像、投手領域、右打者領域、左打者領域、及び図７の計算結果は一例に過ぎず、画像、投手領域、右打者領域、左打者領域、及び計算結果は、処理対象の映像、画像処理装置１０１の構成又は条件に応じて変化する。例えば、映像３２２は、野球の試合を撮影した映像に限らず、投球動作を含む他の映像であってもよい。投手領域、右打者領域、及び左打者領域の形状は、矩形以外の形状であってもよい。

図１２の打席情報は一例に過ぎず、画像処理装置１０１の構成又は条件に応じて別の打席情報を用いてもよい。式（１）〜式（２４）の計算式は一例に過ぎず、画像処理装置１０１の構成又は条件に応じて別の計算式を用いてもよい。

図１及び図３の画像処理装置１０１は、例えば、図１３に示すような情報処理装置（コンピュータ）を用いて実装することができる。図１３の情報処理装置は、Central Processing Unit（ＣＰＵ）１３０１、メモリ１３０２、入力装置１３０３、出力装置１３０４、補助記憶装置１３０５、媒体駆動装置１３０６、及びネットワーク接続装置１３０７を含む。これらの構成要素はバス１３０８により互いに接続されている。

メモリ１３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像処理に用いられるプログラム及びデータを格納する。メモリ１３０２は、図１及び図３の記憶部１１１として用いることができる。

ＣＰＵ１３０１（プロセッサ）は、例えば、メモリ１３０２を利用してプログラムを実行することにより、図１及び図３の特定部１１２、判定部１１３、取得部３０１、差分画像生成部３１１、エッジ検出部３１２、及び領域生成部３１３として動作する。

入力装置１３０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１３０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、図３の判定結果３２４であってもよい。

補助記憶装置１３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１３０５にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０５は、図１及び図３の記憶部１１１として用いることができる。

媒体駆動装置１３０６は、可搬型記録媒体１３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１３０９にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。

このように、画像処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１３０２、補助記憶装置１３０５、又は可搬型記録媒体１３０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１３０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１３０７を介して受信し、それらをメモリ１３０２にロードして使用することができる。

情報処理装置は、ネットワーク接続装置１３０７を介して、ユーザ端末から映像３２２及び処理要求を受信し、判定結果３２４をユーザ端末へ送信することもできる。

なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置１３０３及び出力装置１３０４を省略してもよい。また、可搬型記録媒体１３０９又は通信ネットワークを使用しない場合は、媒体駆動装置１３０６又はネットワーク接続装置１３０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を記憶する記憶部と、
映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定する特定部と、
前記差分画像内において前記領域情報が示す前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する判定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記領域情報は、前記投球場面を表す前記画像において打者が写っていると推測される打者領域をさらに示し、
前記投球場面において地面に対して垂直な方向と前記所定方向とが成す角度は、所定角度よりも小さく、
前記所定領域は、前記投球場面を表す前記画像から前記投手領域と前記打者領域とを除いた残りの領域であり、
前記判定部は、前記投手領域に含まれる前記エッジ領域の大きさが第１閾値よりも大きく、前記所定領域に含まれる前記エッジ領域の大きさが第２閾値以下である場合に、前記差分画像が前記投球場面を表していると判定することを特徴とする付記１記載の画像処理装置。
（付記３）
前記投球場面において前記打者が右打者又は左打者のいずれであるかを示す打者情報を取得する取得部をさらに備え、
前記領域情報が示す前記打者領域は、前記右打者が写っていると推測される右打者領域と、前記左打者が写っていると推測される左打者領域とを含み、
前記判定部は、前記打者情報が前記右打者を示している場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記打者情報が前記左打者を示している場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記２記載の画像処理装置。
（付記４）
前記領域情報が示す前記打者領域は、右打者が写っていると推測される右打者領域と、左打者が写っていると推測される左打者領域とを含み、
前記判定部は、前記差分画像内において前記右打者領域に含まれる前記エッジ領域の大きさが前記左打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記左打者領域に含まれる前記エッジ領域の大きさが前記右打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記２記載の画像処理装置。
（付記５）
映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、
前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定し、
投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を参照し、前記差分画像内において前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する、
処理をコンピュータに実行させる画像処理プログラム。
（付記６）
前記領域情報は、前記投球場面を表す前記画像において打者が写っていると推測される打者領域をさらに示し、
前記投球場面において地面に対して垂直な方向と前記所定方向とが成す角度は、所定角度よりも小さく、
前記所定領域は、前記投球場面を表す前記画像から前記投手領域と前記打者領域とを除いた残りの領域であり、
前記コンピュータは、前記投手領域に含まれる前記エッジ領域の大きさが第１閾値よりも大きく、前記所定領域に含まれる前記エッジ領域の大きさが第２閾値以下である場合に、前記差分画像が前記投球場面を表していると判定することを特徴とする付記５記載の画像処理プログラム。
（付記７）
前記領域情報が示す前記打者領域は、前記右打者が写っていると推測される右打者領域と、前記左打者が写っていると推測される左打者領域とを含み、
前記コンピュータは、前記投球場面において前記打者が右打者又は左打者のいずれであるかを示す打者情報を取得し、前記打者情報が前記右打者を示している場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記打者情報が前記左打者を示している場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記６記載の画像処理プログラム。
（付記８）
前記領域情報が示す前記打者領域は、右打者が写っていると推測される右打者領域と、左打者が写っていると推測される左打者領域とを含み、
前記コンピュータは、前記差分画像内において前記右打者領域に含まれる前記エッジ領域の大きさが前記左打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記左打者領域に含まれる前記エッジ領域の大きさが前記右打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記６記載の画像処理プログラム。
（付記９）
コンピュータが、
映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、
前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定し、
投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を参照し、前記差分画像内において前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する、
ことを特徴とする画像処理方法。
（付記１０）
前記領域情報は、前記投球場面を表す前記画像において打者が写っていると推測される打者領域をさらに示し、
前記投球場面において地面に対して垂直な方向と前記所定方向とが成す角度は、所定角度よりも小さく、
前記所定領域は、前記投球場面を表す前記画像から前記投手領域と前記打者領域とを除いた残りの領域であり、
前記コンピュータは、前記投手領域に含まれる前記エッジ領域の大きさが第１閾値よりも大きく、前記所定領域に含まれる前記エッジ領域の大きさが第２閾値以下である場合に、前記差分画像が前記投球場面を表していると判定することを特徴とする付記９記載の画像処理方法。
（付記１１）
前記領域情報が示す前記打者領域は、前記右打者が写っていると推測される右打者領域と、前記左打者が写っていると推測される左打者領域とを含み、
前記コンピュータは、前記投球場面において前記打者が右打者又は左打者のいずれであるかを示す打者情報を取得し、前記打者情報が前記右打者を示している場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記打者情報が前記左打者を示している場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記領域情報が示す前記打者領域は、右打者が写っていると推測される右打者領域と、左打者が写っていると推測される左打者領域とを含み、
前記コンピュータは、前記差分画像内において前記右打者領域に含まれる前記エッジ領域の大きさが前記左打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記左打者領域に含まれる前記エッジ領域の大きさが前記右打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする付記１０記載の画像処理方法。

１０１ 画像処理装置
１１１ 記憶部
１１２ 特定部
１１３ 判定部
１２１ 領域情報
３０１ 取得部
３１１ 差分画像生成部
３１２ エッジ検出部
３１３ 領域生成部
３２１ 打者情報
３２２ 映像
３２３ エッジ領域
３２４ 判定結果
４０１、４０２ 画像
４１１ 投手領域
４１２ 右打者領域
４１３ 左打者領域
６０１〜６０３ 領域
１３０１ ＣＰＵ
１３０２ メモリ
１３０３ 入力装置
１３０４ 出力装置
１３０５ 補助記憶装置
１３０６ 媒体駆動装置
１３０７ ネットワーク接続装置
１３０８ バス
１３０９ 可搬型記録媒体

次に、判定部１１３は、差分画像内において領域情報１２１が示す投手領域に含まれるエッジ領域の大きさと、差分画像内において所定領域に含まれるエッジ領域の大きさとに基づいて、差分画像が投球場面を表していると判定する（ステップ２０３）。

ｙ−ｄ２≦ｂ≦ｙ＋ｄ２の範囲のＰｅ（ｘ，ｂ）がすべて０以外の値であり、エッジ画素を表している場合、Ｐｖ（ｘ，ｙ）も０以外の値になる。一方、その範囲のいずれかのＰｅ（ｘ，ｙ）が０であり、エッジ画素ではない画素が含まれている場合、Ｐｖ（ｘ，ｙ）は０になる。したがって、Ｐｖ（ｘ，ｙ）が０以外の値を有する画素が、エッジ画素の縦方向のつながりに属する画素として抽出される。

Claims (6)

1. 投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を記憶する記憶部と、
   映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定する特定部と、
   前記差分画像内において前記領域情報が示す前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する判定部と、
   を備えることを特徴とする画像処理装置。
2. 前記領域情報は、前記投球場面を表す前記画像において打者が写っていると推測される打者領域をさらに示し、
   前記投球場面において地面に対して垂直な方向と前記所定方向とが成す角度は、所定角度よりも小さく、
   前記所定領域は、前記投球場面を表す前記画像から前記投手領域と前記打者領域とを除いた残りの領域であり、
   前記判定部は、前記投手領域に含まれる前記エッジ領域の大きさが第１閾値よりも大きく、前記所定領域に含まれる前記エッジ領域の大きさが第２閾値以下である場合に、前記差分画像が前記投球場面を表していると判定することを特徴とする請求項１記載の画像処理装置。
3. 前記投球場面において前記打者が右打者又は左打者のいずれであるかを示す打者情報を取得する取得部をさらに備え、
   前記領域情報が示す前記打者領域は、前記右打者が写っていると推測される右打者領域と、前記左打者が写っていると推測される左打者領域とを含み、
   前記判定部は、前記打者情報が前記右打者を示している場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記打者情報が前記左打者を示している場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする請求項２記載の画像処理装置。
4. 前記領域情報が示す前記打者領域は、右打者が写っていると推測される右打者領域と、左打者が写っていると推測される左打者領域とを含み、
   前記判定部は、前記差分画像内において前記右打者領域に含まれる前記エッジ領域の大きさが前記左打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記右打者領域とを除いた残りの領域を前記所定領域として用い、前記左打者領域に含まれる前記エッジ領域の大きさが前記右打者領域に含まれる前記エッジ領域の大きさよりも大きい場合、前記差分画像から前記投手領域と前記左打者領域とを除いた残りの領域を前記所定領域として用いることを特徴とする請求項２記載の画像処理装置。
5. 映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、
   前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定し、
   投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を参照し、前記差分画像内において前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する、
   処理をコンピュータに実行させる画像処理プログラム。
6. コンピュータが、
   映像に含まれる第１時刻における第１画像と、第２時刻における第２画像との差分を表す差分画像から、エッジ画素を検出し、
   前記差分画像内で複数のエッジ画素が所定方向に並んでいるエッジ領域を特定し、
   投球場面を表す画像内において投手が写っていると推測される投手領域を示す領域情報を参照し、前記差分画像内において前記投手領域に含まれる前記エッジ領域の大きさと、前記差分画像内において所定領域に含まれる前記エッジ領域の大きさとに基づいて、前記差分画像が前記投球場面を表していると判定する、
   ことを特徴とする画像処理方法。