JP2020077954A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2020077954A JP2020077954A JP2018209518A JP2018209518A JP2020077954A JP 2020077954 A JP2020077954 A JP 2020077954A JP 2018209518 A JP2018209518 A JP 2018209518A JP 2018209518 A JP2018209518 A JP 2018209518A JP 2020077954 A JP2020077954 A JP 2020077954A
- Authority
- JP
- Japan
- Prior art keywords
- player
- information
- server
- image processing
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
特許文献2には、撮像された画像から取得したAF評価値に基づいてフォーカスレンズを駆動し、自動焦点検出制御を行う自動焦点検出装置が記載されている。
同様に、競技場や自宅の端末で競技をモニターしている一般ユーザーにとっても特定の選手を見失ったり競技の状況がわからなくなったりする場合が多かった。同様にカーレースや飛行機レースや競馬などにおいても特定の車両や飛行機や馬などの対象を見失ってしまうことがあった。更には特定の人物を街角で追跡する場合においても雑踏の中にその特定の人物が紛れてしまい見失うことがあった。また、そのような、注目している特定の対象を目視で追いかけることに専念しているとその対象に対する撮影やピント合わせや露出調整などをスムーズにできないという問題があった。
本発明は、上記、課題を解決し、パスワードに応じて、撮影者や観察者にとって価値のある情報をタイムリーに表示できる画像処理装置を提供することを目的とする。
画像を表示する表示手段、
前記表示手段に表示された前記画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報と所定のパスワードをサーバーに送信する送信手段、
前記サーバーが前記指定情報と前記パスワードに基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の前記位置情報に基づく付加情報を前記表示手段に表示する制御手段、を有することを特徴とする。
最初に撮影や映像モニターを支援するための、画像処理装置を用いたシステムの全体像について図1を用いて説明する。
従って、そのような各ユーザーには見えない、わかりにくい情報をサーバーが把握して配信することによって観客に対するサービスを大幅に向上することができる。
105は有線/無線などによるLANやインターネットであり、106は、入力手段111から出力された情報をサーバー110で入力するための接続線である。107は、基地局112への信号を送受信するための接続線、108は、基地局の無線通信を実行するためのアンテナ部である。
すなわち、上記の100番台のブロックは、プロカメラマンや一般観客などによる映像撮影等をサポートするためのブロックである。
201は、イーサネット(登録商標)コントローラであり、204は選手の役割(所謂ポジション)に応じたプレイ位置を検出する検出部である。ここで選手の役割(ポジション)は予め登録等によって設定される。例えば、ラグビーの場合の役割(ポジション)としては、1、3はプロップ、2はフッカー、4、5はロック、6、7はフランカー、8はナンバー8と呼ばれ、9はスクラムハーフ、10はスタンドオフと呼ばれる。また、11、14はウィング、12、13はセンター、15はフルバックと呼ばれる。
これらの選手のいる場所は、セットプレイの時などは、フォワードは、攻撃している前方にいて、バックスは、攻撃している後方にいることが多い。
なお、通常は、背番号から、選手の役割は認識できることが多い。しかしながら、場合によっては、10番の選手が怪我をして、15番の選手がスタンドオフ(10番の位置に入り)、リザーブ選手が、15番に入ることなどがある。ここで、リザーブ選手の背番号は、16から23である。しかし、背番号だけからポジションが確定するわけではない。従って204の検出部では選手の予め設定された役割に応じたプレイ位置を検出し、この検出したプレイ位置の情報は、サーバー110内のCPU211に取り込まれるが、上記の予め設定された役割は競技中に選手交代などによって変更になる場合もある。
207は選手の体格認識部であり、注目選手の予め登録された体格写真情報に基づき前記のような画像認識技術を用いて選手を見つける。
210は各端末401〜403から送られてくる各端末の位置情報と方角情報と画角情報から、各端末の位置と各端末のカメラの向いている方角と画角を検出するカメラ位置情報、方角検出部である。
1101はサーバー110内のデータバスラインである。
図3、図4に示されるデジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。また、図3、図4において、CPU(Central Processing Unit)318、プログラムメモリ319、データメモリ320は重複して示すが、これらは同一のブロックでありそれぞれ1つだけ内蔵されている。
図3において、301はイーサネット(登録商標)コントローラである。302は記憶媒体であり、デジタルカメラで撮影した動画、静止画が所定のフォーマットで格納される。
さらに、操作部入力手段306において、注目選手をサーバーからの位置情報に基づき自動追尾するか否かを選択/設定できる。どの選手を注目選手(特定の対象)に指定するか、注目選手の自動追尾をサーバーからの位置情報に基づき実行するか否かなどの情報は、選択手段としての操作部入力手段306によって生成される。即ち操作部入力手段306は特定の対象に関する指定情報を生成する指定情報生成手段として機能している。
313は選手の背番号検出部であり、注目選手の背番号(もちろん前側の番号でもよい)から前述のような画像認識技術によって選手を見つけるものである。314は端末のレンズの向いている方角を検出する方角検出部である。315は端末の位置情報を例えばGPSなどを用いて検出する位置検出部である。
データメモリ320は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納したりするためのものである。
371は、デジタルカメラ自身で注目選手の追跡を行うための追跡部である。ここでいう追跡とは例えば注目選手を囲む枠表示を画面内で移動させるとともに、前記枠によって追尾される注目選手にフォーカスを合わせたり、露出を合わせたりする。
カメラ500からサーバー110には、注目選手指定情報(背番号、選手名などのID情報)を通知する。その際ユーザーは端末の画面上で注目選手の位置をタッチしてもよいし、指を画面にタッチしたまま注目選手の周りを指で囲んでもよい。あるいはメニューで画面上に複数の選手のリストを表示し、その中の注目選手名をタッチしたりしてもよいし、あるいは画面上に文字入力画面を表示し選手名や選手の背番号を入力してもよい。その際、注目選手の画面上の顔位置をタッチすると顔を画像認識したり背番号を画像認識して選手名や背番号などを送ったりしてもよい。あるいは、画像認識せずに顔画像そのものをサーバーに送って、サーバー側で画像認識してもよい。またこの時あらかじめ決まったパスワードがあればそれもサーバーに送る。サーバー側では、映像を撮影することをサポートするブロックにより、注目選手指定情報(背番号、選手名等のID情報)に基づいて、選手のいる絶対値的な位置に関する情報をカメラに送る。パスワードもカメラから送られてくればそれに応じてカメラに送る情報の内容を変更する。
また、本実施例は撮影アシストの例を用いて説明しているが、端末が家庭用のTVであってもよい。即ち、TVを見ている観客が注目選手を指定したら、サーバーがその注目選手の位置情報などをTVに送って注目選手を枠表示等により目立つように表示してもよい。なお、枠だけでなく、カーソル(例えば矢印など)で注目選手を示してもよいし、注目選手位置の領域の色や輝度を他の部分と異ならせてもよい。注目選手が端末の画面外にいる場合には、端末の画面に対してどの方向にずれているかを矢印や文字で表示してもよい。また表示画面外にいる場合に端末が現在見ている角度からどのくらい離れているか(ずれているか)、どのくらい端末を回転しないと注目選手が表示画面内に入らないかなどを矢印の長さや太さや、数字や目盛りなどで表示してもよい。
更に、画面内に注目選手がいる場合には付加情報を画面に表示するように制御し、画面外に注目選手が移動した場合には、矢印等で画面外にいることを表示しないようにユーザーが選択できるようにしてもよい。
あるいは競技の状況を自動的に判断して、注目選手がベンチに下がった場合等には、画面外に注目選手が移動しても、画面外にいることを矢印等で表示しないようにしてもよい。そのように自動的に付加情報の表示を消すモードと消さないモードをユーザーが選択できるようにすると更に使い勝手が向上する。
図7(A)においてS101は初期化を表している。S102で写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS103に進み、写真撮影が選択されていないとS101に進む。S103ではカメラの設定情報を入手する。S104では注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS105に進み、注目選手の撮影が選択されていないとS110に進みその他の処理をする。S105は注目選手情報(注目選手のID情報等)とパスワードがあればそれをカメラからサーバーに送る。これによってサーバー側は注目選手の位置情報を検出してカメラに送信する。S106ではサーバーから注目選手の位置情報等をサーバーから受けとる。
S109では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとS101に進む。注目選手の撮影が継続している場合には、S105に進み、再度、注目選手の情報をサーバーに送り、S106で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。即ち、追跡が失敗した場合はS108でNoとなり、その場合追跡を継続するならS105に戻ってサーバーに位置情報のリクエストを行う。
図7(B)は、カメラ側におけるS107−2の注目選手マーク表示のフロー例を示している。S120ではサーバーから受け取った位置情報に基づき、表示部における注目選手の相対位置を計算して求める。S121では画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示すマークなどを重畳する。
また、プロカメラマンや観客のカメラ等の端末は、サーバーから選手の絶対位置情報を受信するとこの絶対位置情報と今撮影あるいはモニターしている映像とのマッピングが可能になる。なお、例えばサーバーからの注目選手のフィールド内での絶対位置情報を(X、Y)とする。この絶対位置情報を個々のカメラの位置情報に従い、カメラから見たときの相対的な位置情報(X´、Y´)に変換する必要がある。上記の絶対位置情報から相対位置情報への変換は、S120のようにカメラ側で実施してもよいし、サーバー側で変換した後に個々の端末(カメラなど)に相対位置情報を送ってもよい。
一方、サーバーで上記変換を実行する場合は、サーバーは、絶対位置情報(X、Y)から個々のカメラのGPS等を用いた位置情報に従い、個々のカメラの相対的な位置情報(X´、Y´)に変換する。サーバーは、個々のカメラに対して、この相対的な位置情報を送り、この相対的な位置情報を受信したカメラは、この相対的な位置情報を個々のカメラ側の表示画面内での位置情報とする。
なお、図8はカメラ等の端末側の注目選手表示追跡制御フローの他の例を表している。図8において、S101、S102、S103、S104、S105、S106、S107、S107−2、S110は、図7と同一の制御であり説明は省略する。
図9はデジタルカメラの追跡部371の機能構成例を示すブロック図である。追跡部371は、照合部3710と特徴抽出部3711と距離マップ生成部3712からなる。特徴抽出部3711はサーバーから送られた位置情報に基づき、追跡すべき画像領域(被写体領域)を特定する。そしてこの被写体領域の画像から特徴量を抽出する。一方、照合部3710は継続して供給される個々のフレームの撮像画像内で、前記の抽出した特徴量を参照して、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。なお距離マップ生成部3712により撮像素子からの1対の視差画像(A像とB像)から被写体までの距離情報を取得し、照合部3710における被写体領域の特定精度を上げることもできる。ただし距離マップ生成部3712は必ずしもなくても構わない。
照合部3710が、特徴抽出部3711から供給される画像内の被写体領域の特徴量に基づいて被写体領域と類似度の高い領域を被写体領域として探索する際には例えばテンプレートマッチングやヒストグラムマッチングなどを用いる。
カメラ等の端末から送られてきた注目選手のID情報等に基づき、サーバーは注目選手の画像認識を行う。サーバーはサーバー用の複数台のカメラ(固定されたカメラや移動カメラなど)からの映像をもとに選手の位置情報を検出して、プロカメラマンや観客のカメラ端末などに選手の位置情報を送る。特に、プロカメラマンや観客が撮影を行う際に、サーバーからの注目選手の位置情報があれば注目選手を間違えることなく確実に撮影できる。さらに、カメラでも注目選手の追跡を実施している際に、死角となって選手を見失ったときなどにおいても同様に、サーバーからの情報は重要になる。なお、サーバー側ではサーバー用の複数台のカメラからの映像をもとに選手の位置情報を検出し続ける。
図10において、最初にS201で初期化を行う。次にS202でカメラにおいて写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS203に進み、カメラの設定情報を入手する。このときカメラの設定情報の中にパスワードがあればそれも入手する。写真撮影が選択されていないとS201に進む。S204では、注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS205に進み、サーバーは、カメラから注目選手のID情報(例えば選手名、背番号など)を受信する。S204で注目選手の撮影が選択されていないとS210に進みその他の処理をする。
図11は背番号情報を用いた注目選手検出制御フローを示す。図11において、S401で、サーバーは注目選手のID情報に基づきデータメモリ213から背番号を取得し、サーバー用の複数台のカメラの映像情報の中からこの背番号を画像認識で探し、その背番号の選手の位置情報を取得する。S402において、更にサーバー用の複数台のカメラの画像から取得された位置情報を総合することにより、注目選手の絶対位置情報を取得する。このようにサーバー用の複数台のカメラの情報を総合することによって、ある背番号の選手の絶対位置情報の精度が向上する。S403では、S402で検出した注目選手の絶対位置をプロカメラマンや観客の保有するカメラ等の端末に対して送信する。S404では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとS401に戻り、注目選手の追跡が継続していないと図11のフローを終了する。
図12において、S2011で注目選手がフィールド内にいるか否かが判断され、フィールド内にいればS2012に進み、フィールド内にいなければS2013に進む。S2012は、フィールド内での注目選手の追跡を表している。フィールド内での注目選手の追跡制御の例を図13〜図16を用いて説明する。また、図12のS2013のフィールド外での注目選手の追跡制御の例を図17(A)〜図17(D)を用いて説明する。
この例においては、選手自身がユニフォーム等のウエアに位置センサーを内蔵させるか、選手が位置センサーを腕や腰や脚などにベルト等を用いて装着しているものとする。そしてこの位置センサーからの情報を通信手段により送信することで選手の位置センサーからの信号をサーバーが認識して、位置情報を生成し、サーバーからプロカメラマンや観客が保有するカメラ等の端末へ知らせる。
パスワードは、予め契約などに基づき取得され、プロカメラマンや観客が保有するカメラ等の端末で入力されて、注目選手の指定情報とともに、カメラ端末からサーバーに送られるものである。サーバーは、カメラ端末からのパスワードの入力に従い、カメラ端末への送信内容を変更する。
サーバーは、サーバー用の複数台のカメラ(固定カメラや移動カメラ)からの映像をもとに選手の背番号を検出する手段を有し、サーバーからプロカメラマンや観客が保有するカメラ等の端末に、背番号と選手の位置情報を対応させた情報を知らせるようにする。
サーバーのデータメモリ213には、試合にメンバー登録されている全選手の、過去に撮影した顔情報が複数枚格納されている。さらに、サーバーは、サーバー用の複数台のカメラからの映像をもとに選手の顔情報を検出する手段を有する。そして、サーバーは、サーバー用の複数台のカメラから検出した顔情報と、試合にメンバー登録されている選手の過去に撮影した複数枚の顔画像と例えばAIを用い比較して、選手を検出する。
サーバーのデータメモリ213には、試合にメンバー登録されている選手の、過去に撮影した体格画像情報が複数枚格納されている。また、サーバーは、サーバー用の複数台のカメラからの映像をもとに選手の体格情報を検出する手段を有する。そして、サーバーは、サーバー用の複数台のカメラから検出した体格情報と、試合にメンバー登録されている選手の、過去に撮影した複数枚の体格画像情報と例えばAIを用いて比較して、選手を検出する。
なお、以上の実施例においてロッカールームの例を用いて説明したが、それ以外にも例えばベンチやその他の控室やトレーニングルームや医務室やロビーなどでもよいことは言うまでもない。また、それらの場所に注目選手がいる場合に例えば図17(A)のS2506では注目選手のぼかした映像をカメラ等の端末に送っているが、映像は送らず、それ以外の各種情報(例えば注目選手のプロフィールや解説者のコメント等)を送ってよい。
位置情報通知サービスとしては、パスワードを入力したカメラ端末には、注目選手が、フィールドにいない時に、フィールド外のどこにいるかを通知する。例えば、カメラ等の端末に対して、サーバーから「***選手は、今、ロッカールームにいます。」とか、「***選手は、今、ロッカールームからフィールドに移動中です。」などの情報を送信し、パスワード入力したカメラ等の端末に表示する。
これにより、パスワードを持ったプロカメラマンや一部の観客は、注目選手がフィールドにいない場合でも、どこにいるかがわかり、また、その選手の映像を見ることも可能になる。従って、プロカメラマン等は、シャッターチャンスを逃さない良い写真を撮影できる可能性が高くなる。
例えばオリンピックのように、フィールド内で、同時に複数の競技が進行している場合などにおいても、今、フィールドに見当たらない注目選手がどこにいるのかを簡単に知ることができ、タイムリーに良い撮影をするための差別化されたサービスを提供できる。
また本実施例では、プロカメラマンや観客が見ている映像の中に、注目選手がカメラ等の端末の画面内や画面外のどこにいるかを例えば矢印や文字などで知らせることができるので、注目選手を見失うことがなくなり貴重なシャッターチャンスを逃しにくくなる。
なおサーバーから複数のカメラ端末に位置情報をブロードキャストで送る場合は、絶対的な位置情報で送るが、サーバーが検出した情報を特定のカメラマン、あるいは、特定の観客が保有するカメラ等の端末だけに通知することも可能である。これは、個別のカメラ端末に対してもありえるし、競技場内の特定のエリアのカメラマンや観客が保有するカメラ等の端末に対して送るようにしても良い。その際には、サーバーはそれらのカメラ端末に対して相対位置情報を送ってもよい。
サーバーがブロードキャストによって絶対的な位置情報を送る場合には、各プロカメラマンや各観客が保有するカメラ等の端末において、絶対的な位置情報から相対的な位置情報への変換を行う。
図19は、サーバーで絶対位置を相対位置に変換するフローを示す。図19において、サーバー1801は、サーバー用の複数台のカメラの映像等からそれぞれの注目選手の位置情報を取得し、それぞれの注目選手の絶対位置を検出する。それぞれの特定のカメラ端末は各カメラ端末の位置情報をGPS等で検出し、カメラ端末1803からサーバー1801へ各カメラ端末1803の位置情報を送る。サーバー1801は各カメラ端末1803から指定された各注目選手の絶対位置情報と各カメラ端末の位置情報とに基づき、各カメラ端末位置で見たときの相対位置情報に変換する計算をして、この相対位置情報を各カメラ端末に送る。各カメラ端末1803は、サーバー1801から受信したこのカメラ端末で見たときの相対位置情報をもとに、各カメラ端末の表示部に注目選手の位置を表示する。
図20、図21に、カメラ端末側で絶対位置情報から相対位置情報変換して注目選手の表示や追跡を行うためのフローの一例を示す。
図20において、S2901は、初期化を表している。S2902では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS2903に進み、写真撮影が選択されていないとS2901に進む。S2903ではカメラの設定情報を入手する。S2904では観客席から撮影した情報をサーバーに送る。この情報に基づき変換用のソフトウエアをサーバーが最適化する。S2905では、観客席から見た映像とフィールドの絶対位置の変換をするための上記ソフトウエアをサーバーからダウンロードする。S2906では、S2905でダウンロードしたソフトウエアをカメラ端末にインストールする。S2907において、サーバーから送られるデフォルトの特定選手の絶対位置情報を受信し、前記ソフトウエアで、相対位置情報に変換する。S2908において、検出した相対位置情報を基に、前記特定選手の位置に枠や矢印などのマークの表示を行う。なお、このとき画像表示部にはイメージセンサーからのライブビュー画像を表示しており、上記マークはライブビュー画像に重畳表示される。
図22において、S3000で、今、観客が着席している観客席の座席情報を入力する。ここでの入力方法は、観客のカメラで座席の番号や座席に付与されたQRコード(登録商標)等を読み取ってもよく、また、座席情報そのものをタッチパネル入力やキー入力しても良い。S3001では、S3004で入力した入力した観客席の座席情報をサーバーへ送信する。この座席位置情報に基づき絶対位置を相対位置に変換するためのソフトウエアの最適化がサーバー側で行われる。S3002で、観客席の座席情報に基づき最適化された変換ソフトウエアをサーバーからダウンロードする。
なお、注目選手は1人の例で、説明したが、注目選手は複数選手でも良い。また、注目選手は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。また、実施例では選手を追跡する例を用いて説明したが、犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。
また、本発明における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
401,402,403 ・・・・ 端末
110 ・・・・ サーバー
371 ・・・・ 追跡部
380 ・・・・ 画像表示部
Claims (24)
- 画像を表示する表示手段、
前記表示手段に表示された前記画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報と所定のパスワードをサーバーに送信する送信手段、
前記サーバーが前記指定情報と前記パスワードに基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の前記位置情報に基づく付加情報を前記表示手段に表示する制御手段、を有することを特徴とする画像処理装置。 - 前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内における前記特定の対象の位置を前記付加情報として表示することを特徴とする請求項1項に記載の画像処理装置。
- 前記サーバーは、カメラからの映像の中の前記特定の対象を認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項1または2に記載の画像処理装置。
- 前記サーバーは、前記特定の対象を画像認識した結果に基づき位置情報を生成して前記画像処理装置に送信することを特徴とする請求項2に記載の画像処理装置。
- 前記サーバーは、前記特定の対象が有する位置センサーからの信号を認識した結果に基づき前記特定の対象の位置情報を生成することを特徴とする請求項2から4のいずれか1項に記載の画像処理装置。
- 前記付加情報は枠、カーソル、色や輝度の異なる領域の少なくとも一つを含むことを特徴とする請求項5に記載の画像処理装置。
- 前記付加情報は前記特定の対象が画面外にいる場合には画面から見てどの方向にいるかを示すものであることを特徴とする請求項6に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面からずれているかを示すものであることを特徴とする請求項7に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面からずれているかを矢印の長さまたは太さによって示すものであることを特徴とする請求項8に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面からずれているかを数字または目盛りによって示すものであることを特徴とする請求項8に記載の画像処理装置。
- 前記サーバーは、前記特定の対象が装着している番号、前記特定の対象の一部または全体の形状を画像認識することを特徴とする請求項4に記載の画像処理装置。
- 前記サーバーは、複数のカメラからの映像の中の前記特定の対象を画像認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
- 前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有することを特徴とする請求項1から請求項12のいずれか1項に記載の画像処理装置。
- 前記追跡手段は、前記特定の対象の位置情報をサーバーから取得後に、前記特定の対象の追跡を実行し、追跡に失敗したときには、前記サーバーへ位置情報の送信をリクエストすることを特徴とする請求項13に記載の画像処理装置。
- 前記サーバーは、前記特定の対象が存在するフィールド全体の映像をあらかじめ取得し、前記位置情報の生成に用いることを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
- 前記サーバーは前記フィールドにおける前記特定の対象の位置情報に基づき、前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項15に記載の画像処理装置。
- 前記サーバーは前記フィールドにおける前記特定の対象の第1の位置情報を前記画像処理装置に送信し、前記画像処理装置は前記第1の位置情報に基づき前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項15に記載の画像処理装置。
- 前記選択手段は複数の特定の対象を選択することを特徴とする請求項1から請求項17のいずれか1項に記載の画像処理装置。
- 前記サーバーは前記パスワードと前記指定情報に基づき前記画像処理装置に前記特定の対象の位置情報以外の情報も送ることを特徴とする請求項1から請求項18のいずれか1項に記載の画像処理装置。
- 前記パスワードは複数のレベルを有し、前記サーバーは前記パスワードのレベルと前記指定情報に基づき前記画像処理装置に送る前記特定の対象の情報を変更することを特徴とする請求項1から請求項19のいずれか1項に記載の画像処理装置。
- 更に、絶対的な位置情報から相対的な位置情報へ変換するソフトウエアをダウンロードするダウンロード手段を有することを特徴とする請求項1から請求項20のいずれか1項に記載の画像処理装置。
- 画像を表示する表示ステップ、
前記表示ステップにより表示された画像の中から特定の対象を選択する選択ステップ、
前記選択ステップによって選択された前記特定の対象に関する指定情報を生成する指定情報生成ステップ、
前記指定情報生成ステップによって生成された前記指定情報と所定のパスワードをサーバーに送信する送信ステップ、
前記サーバーが前記パスワードと前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得ステップ、
前記取得ステップで取得された前記特定の対象の位置情報に基づき付加情報を表示させる制御ステップ、を有することを特徴とする画像処理方法。 - 請求項1から21のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
- 請求項23に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209518A JP7301521B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
CN201980088199.9A CN113302906B (zh) | 2018-11-07 | 2019-10-17 | 图像处理设备、图像处理方法和存储介质 |
PCT/JP2019/040876 WO2020095648A1 (ja) | 2018-11-07 | 2019-10-17 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
US17/307,836 US20210258505A1 (en) | 2018-11-07 | 2021-05-04 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209518A JP7301521B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077954A true JP2020077954A (ja) | 2020-05-21 |
JP7301521B2 JP7301521B2 (ja) | 2023-07-03 |
Family
ID=70611269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209518A Active JP7301521B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210258505A1 (ja) |
JP (1) | JP7301521B2 (ja) |
CN (1) | CN113302906B (ja) |
WO (1) | WO2020095648A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112351330B (zh) * | 2020-10-26 | 2023-06-23 | 深圳Tcl新技术有限公司 | 显示设备的留言方法、显示设备及计算机可读存储介质 |
CN117714851A (zh) * | 2022-05-25 | 2024-03-15 | 荣耀终端有限公司 | 录像方法、装置及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199032A (ja) * | 2001-09-28 | 2003-07-11 | Fuji Photo Film Co Ltd | 画像識別装置、注文処理装置及び画像識別方法 |
JP2005190285A (ja) * | 2003-12-26 | 2005-07-14 | Canon Sales Co Inc | 認証サーバ、情報サーバ、クライアント、認証方法、認証システム、プログラム、記録媒体 |
JP2009282805A (ja) * | 2008-05-23 | 2009-12-03 | Hannama Corp | 画像変化検出装置、画像変化検出方法、及びプログラム |
JP2010034600A (ja) * | 2009-11-16 | 2010-02-12 | Nec Electronics Corp | Euv露光方法 |
WO2013021643A1 (ja) * | 2011-08-11 | 2013-02-14 | パナソニック株式会社 | 放送通信連携システム、データ生成装置及び受信装置 |
JP2015046756A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社ニコン | システム、サーバ、電子機器およびプログラム |
JP2015225529A (ja) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016123069A (ja) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 映像配信方法、映像受信方法、サーバ及び端末装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003289465A (ja) * | 2002-03-28 | 2003-10-10 | Fuji Photo Film Co Ltd | 撮影システム及び撮影方法 |
US7301569B2 (en) * | 2001-09-28 | 2007-11-27 | Fujifilm Corporation | Image identifying apparatus and method, order processing apparatus, and photographing system and method |
GB2413720B (en) * | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
JP2010034699A (ja) * | 2008-07-25 | 2010-02-12 | Toshiba Corp | 放送送信装置および放送受信装置および放送送受信システム |
JP4591586B2 (ja) * | 2008-09-22 | 2010-12-01 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP6897691B2 (ja) * | 2016-12-22 | 2021-07-07 | 日本電気株式会社 | 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム |
-
2018
- 2018-11-07 JP JP2018209518A patent/JP7301521B2/ja active Active
-
2019
- 2019-10-17 CN CN201980088199.9A patent/CN113302906B/zh active Active
- 2019-10-17 WO PCT/JP2019/040876 patent/WO2020095648A1/ja active Application Filing
-
2021
- 2021-05-04 US US17/307,836 patent/US20210258505A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199032A (ja) * | 2001-09-28 | 2003-07-11 | Fuji Photo Film Co Ltd | 画像識別装置、注文処理装置及び画像識別方法 |
JP2005190285A (ja) * | 2003-12-26 | 2005-07-14 | Canon Sales Co Inc | 認証サーバ、情報サーバ、クライアント、認証方法、認証システム、プログラム、記録媒体 |
JP2009282805A (ja) * | 2008-05-23 | 2009-12-03 | Hannama Corp | 画像変化検出装置、画像変化検出方法、及びプログラム |
JP2010034600A (ja) * | 2009-11-16 | 2010-02-12 | Nec Electronics Corp | Euv露光方法 |
WO2013021643A1 (ja) * | 2011-08-11 | 2013-02-14 | パナソニック株式会社 | 放送通信連携システム、データ生成装置及び受信装置 |
JP2015046756A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社ニコン | システム、サーバ、電子機器およびプログラム |
JP2015225529A (ja) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016123069A (ja) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 映像配信方法、映像受信方法、サーバ及び端末装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210258505A1 (en) | 2021-08-19 |
CN113302906B (zh) | 2023-05-19 |
WO2020095648A1 (ja) | 2020-05-14 |
CN113302906A (zh) | 2021-08-24 |
JP7301521B2 (ja) | 2023-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200221014A1 (en) | Image pickup device and method of tracking subject thereof | |
CN103369234B (zh) | 服务器、客户终端和系统 | |
JP6460105B2 (ja) | 撮影方法、撮影システムおよび端末装置 | |
KR101680714B1 (ko) | 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체 | |
WO2019225681A1 (ja) | 校正装置および校正方法 | |
CN108259921B (zh) | 一种基于场景切换的多角度直播系统及切换方法 | |
WO2008029803A1 (fr) | Système de partage de vidéo, système de support d'imagerie et caméra | |
JP2014168126A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20210258505A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2005286394A (ja) | 画像撮影システムおよび画像撮影方法 | |
CN110581950B (zh) | 相机、选择相机设置的系统和方法 | |
JP6950793B2 (ja) | 電子機器およびプログラム | |
JP2014033265A (ja) | 撮像装置、撮像方法およびプログラム | |
JP7282519B2 (ja) | 画像処理装置または画像処理サーバー | |
US20210258496A1 (en) | Image processing device, image processing server, image processing method, and storage medium | |
JP7235098B2 (ja) | 情報配信装置、情報配信方法、情報配信プログラム | |
WO2021200184A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7233887B2 (ja) | 画像処理装置 | |
JP7289630B2 (ja) | 画像処理装置 | |
US10841453B2 (en) | Image file creation apparatus, image file creation method, recording medium storing image file creation program, and content creation system | |
JP7233886B2 (ja) | 画像処理装置 | |
JP6296226B2 (ja) | 電子機器、撮像装置、撮像制御システム、撮像制御方法及びプログラム | |
JP5885480B2 (ja) | 情報処理装置、情報処理装置の制御方法、プログラム | |
JP2015037219A (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7301521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |