JP2011128768A - ボウリング場の映像表示システム及び映像表示方法 - Google Patents

ボウリング場の映像表示システム及び映像表示方法 Download PDF

Info

Publication number
JP2011128768A
JP2011128768A JP2009285116A JP2009285116A JP2011128768A JP 2011128768 A JP2011128768 A JP 2011128768A JP 2009285116 A JP2009285116 A JP 2009285116A JP 2009285116 A JP2009285116 A JP 2009285116A JP 2011128768 A JP2011128768 A JP 2011128768A
Authority
JP
Japan
Prior art keywords
video
image
lane
behavior
output means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009285116A
Other languages
English (en)
Other versions
JP4990347B2 (ja
Inventor
Kazunobu Higashi
和信 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUU KAN COM Inc
KUU-KAN COM Inc
Original Assignee
KUU KAN COM Inc
KUU-KAN COM Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUU KAN COM Inc, KUU-KAN COM Inc filed Critical KUU KAN COM Inc
Priority to JP2009285116A priority Critical patent/JP4990347B2/ja
Publication of JP2011128768A publication Critical patent/JP2011128768A/ja
Application granted granted Critical
Publication of JP4990347B2 publication Critical patent/JP4990347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動等を与えることができるボウリング場の映像表示システム及びそれを用いた映像表示方法を提供する。
【解決手段】 画像データ100を記憶する記憶手段52と、前記画像データ100に基づく映像をボウリングのレーン上面70aに映す第1映像出力手段44と、前記レーン上面70aの一定領域内を撮影するカメラセンサ42と、前記カメラセンサ42が撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボール62の挙動を抽出し、この挙動に対応して前記第1映像出力手段44が映す映像を変化させるようにする制御手段50とを備えた。
【選択図】図1

Description

本発明は、ボウリング場の映像表示システム及びそれを用いた映像表示方法、特に、ボウリングに使用されるボールのレーン上における挙動に応じて表示される映像が変化するボウリング場の映像表示システム及びそれを用いた映像表示方法に関するものである。
図8は、従来のボウリング場の映像表示システム2(例えば、特許文献1参照)を示す図である。この従来のボウリング場の映像表示システム2は、その表示手段として、ピン4が並べて載置されるピンデッキ6の上方に位置するピンセッタ8の壁面8a(マスキング)部分にマスキングディスプレイ10が設けられていた。さらに、このマスキングディスプレイ10の上方から天井にかけて、天井ディスプレイ12が配列されていた。
また、この従来の映像表示システム2には、その検出手段として、ピンセッタ8の下方に配置されたピン4の撮像をするピンカメラ14と、レーン16とファールライン18より手前に位置するアプローチ20において競技者のボールを投げる投球フォームを撮像する投球フォームカメラ22とが設置されていた。
検出手段としてはさらに、レーン16の途中に第1ボール通過センサ24、ピンデッキ6の手前に第2ボール通過センサ26、ファールライン18にファールセンサ28及びアプローチ20に競技者が立ったことを検出する競技者センサ30が設置されていた。
そして、この従来のボウリング場の映像表示システム2は、上記ピンカメラ14等の検出手段により、検出された競技者やピンの状態が予め定められた状態になったときに、表示手段である上記マスキングディスプレイ10及び上記天井ディスプレイ12に、予め画像記憶手段に記憶されている静止画又は動画を読み出して表示する制御を行なうようになっていた。
このため、この従来のボウリング場の映像表示システム2は、例えばアプローチ20にいる競技者や、その後方の通路等にいる観客に対して、広大な表示範囲を持つ上記マスキングディスプレイ10及び上記天井ディスプレイ12を利用することで迫力のある表示を行なうことができると共に、ボウリングゲームに関する情報量が豊富で視認性の高いメッセージを与えることができるようになっていた。
特許第3411798号公報
しかしながら、上記従来のボウリング場の映像表示システム2においては、表示手段において、予め画像記憶手段に記憶されている静止画又は動画を読み出して表示しているだけにすぎず、レーン上面の映像や、レーン上面に接触して動くボールの位置や大きさ等に応じて映像を、変化させるようなことはできなかった。
そのため、競技者は表示手段に表示される映像等と自己の動作との一体感を得ることができず、また、観客もその表示手段に表示される映像等によっては大きな驚きや感動を受けることはなかった。また、表示手段としてレーン上面を利用するようにはなっていなかった。
そこで本発明は、上記問題点に鑑みて、ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動等を与えることができるボウリング場の映像表示システム及びそれを用いた映像表示方法を提供することを課題とするものである。
上記課題を解決するために、本発明によるボウリング場の映像表示システムは、
画像データを記憶する記憶手段と、
前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
前記レーン上面の一定領域内を撮影するカメラセンサと、
前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えた
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記制御手段は、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御する
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記制御手段は、前記第1映像出力手段が映す映像内に仮想流体が存在するものと仮定して、この仮定流体中を前記変化が伝播することをシミュレーションすることにより、前記第1映像出力手段が映す映像を制御する
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記制御手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、前記カメラセンサで撮影後のボールの挙動をシミュレーションすると共に、そのシミュレーション情報におけるボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御する
ことを特徴とするものである。
また、上記課題を解決するために、本発明によるボウリング場の映像表示システムは、 レーン上面の一定領域内を撮影するカメラセンサと、
ピンデッキに載置されたピンを撮影するピンカメラと、
画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えた
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記記憶手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、シミュレーションされた前記カメラセンサで撮影後のボールの挙動を記憶し、
前記制御手段は、シミュレーションされた前記カメラセンサで撮影後のボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御する
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記第1映像出力手段は、前記レーン上面より上方の所定の高さに配置された
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記カメラセンサは、前記レーン上面より上方の所定の高さに配置された
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記第1映像出力手段及び前記カメラセンサのそれぞれは、前記レーン上面の長さ方向に間隔をおいて複数並んで配置されている
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記制御手段は、複数の前記第1映像出力手段により映し出される映像が、全体として
1つの映像となるように映し出されるように制御する
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記第1映像出力手段は、前記画像データに基づく映像を複数のレーンのレーン上面に映し出し、
前記カメラセンサは、複数のレーンのレーン上面の一定領域を撮影する
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記第1映像出力手段は、前記画像データに基づく映像を前記レーン上面のみに映し出す
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示システムは、
前記レーン上面とは別の場所に表示画面を有し、この表示画面上に前記画像データに基づく映像を映す第2映像出力手段を備え、
前記第2映像出力手段が映す映像は、前記第1映像出力手段が映す映像と連動している ことを特徴とするものである。
また、上記課題を解決するために、本発明によるボウリング場の映像表示方法は、
画像データを記憶する記憶手段と、
前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
前記レーン上面の一定領域内を撮影するカメラセンサと、
前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することができるようにした
ことを特徴とするものである。
また、本発明によるボウリング場の映像表示方法は、
前記制御手段が、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御することができるようにした
ことを特徴とするものである。
また、上記課題を解決するために、本発明によるボウリング場の映像表示方法は、
レーン上面の一定領域内を撮影するカメラセンサと、
ピンデッキに載置されたピンを撮影するピンカメラと、
画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御することができるようにした
ことを特徴とするものである。
このような本発明のボウリング場の映像表示システムによれば、
画像データを記憶する記憶手段と、
前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
前記レーン上面の一定領域内を撮影するカメラセンサと、
前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えたことにより、
ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動等を与え、来客の来場リピート率を向上させることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記制御手段は、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御することにより、
第1映像出力手段に表示される映像等により、競技者や観客などに大きな驚きや感動を与えることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記制御手段は、前記第1映像出力手段が映す映像内に仮想流体が存在するものと仮定して、この仮定流体中を前記変化が伝播することをシミュレーションすることにより、前記第1映像出力手段が映す映像を制御することにより、
第1映像出力手段に表示される映像等が変化することにより、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記制御手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、前記カメラセンサで撮影後のボールの挙動をシミュレーションすると共に、そのシミュレーション情報におけるボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することにより、
カメラセンサを安価なものにすることができる。
また、このような本発明のボウリング場の映像表示システムによれば、
レーン上面の一定領域内を撮影するカメラセンサと、
ピンデッキに載置されたピンを撮影するピンカメラと、
画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えたことにより、
ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動を与えることができる。また、競技者は表示される映像に基づいてボールの投球をすることができると共に、ボウリングの練習をすることもできる。
また、本発明のボウリング場の映像表示システムによれば、
前記記憶手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、シミュレーションされた前記カメラセンサで撮影後のボールの挙動を記憶し、
前記制御手段は、シミュレーションされた前記カメラセンサで撮影後のボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することにより、
カメラセンサを安価なものにすることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記第1映像出力手段は、前記レーン上面より上方の所定の高さに配置されたことにより、
第1映像出力手段の取付け作業及び取外し作業を容易にすることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記カメラセンサは、前記レーン上面より上方の所定の高さに配置されたことにより、
カメラセンサの取付け作業及び取外し作業を容易にすることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記第1映像出力手段及び前記カメラセンサのそれぞれは、前記レーン上面の長さ方向に間隔をおいて複数並んで配置されていることにより、
第1映像出力手段及びカメラセンサのそれぞれを安価なものにすることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記制御手段は、複数の前記第1映像出力手段により映し出される映像が、全体として
1つの映像となるように映し出されるように制御することにより、
第1映像出力手段を安価なものにすることができると共に、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記第1映像出力手段は、前記画像データに基づく映像を複数のレーンのレーン上面に映し出し、
前記カメラセンサは、複数のレーンのレーン上面の一定領域を撮影することにより、
第1映像出力手段とカメラセンサのそれぞれを設置する数を少なくすることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記第1映像出力手段は、前記画像データに基づく映像を前記レーン上面のみに映し出すことにより、
第1映像出力手段に表示される映像等により、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、本発明のボウリング場の映像表示システムによれば、
前記レーン上面とは別の場所に表示画面を有し、この表示画面上に前記画像データに基づく映像を映す第2映像出力手段を備え、
前記第2映像出力手段が映す映像は、前記第1映像出力手段が映す映像と連動していることにより、
第1映像出力手段と第2映像出力手段に表示される映像等により、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、このような本発明のボウリング場の映像表示方法によれば、
画像データを記憶する記憶手段と、
前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
前記レーン上面の一定領域内を撮影するカメラセンサと、
前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することができるようにしたことにより、
ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動を与え、来客の来場リピート率を向上させることができる。
また、本発明のボウリング場の映像表示方法によれば、
前記制御手段が、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御することができるようにしたことにより、
第1映像出力手段に表示される映像等により、競技者や観客などに大きな驚きや感動を与えることができる。
また、このような本発明のボウリング場の映像表示方法によれば、
レーン上面の一定領域内を撮影するカメラセンサと、
ピンデッキに載置されたピンを撮影するピンカメラと、
画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御することができるようにしたことにより、
ボウリング場において使用されるボールのレーン上面における挙動に応じてレーン上面に表示される映像を変化させることにより、競技者や観客などに大きな驚きや感動を与えることができる。また、競技者は表示される映像に基づいてボールの投球をすることができると共に、ボウリングの練習をすることもできる。
本発明の第1及び第2の実施の形態に係るボウリング場の映像表示システム40、140のハードウェアの構成を示す図である。 本発明の第1及び第2の実施の形態に係るボウリング場の映像表示システム40、140のボウリング場内のレーン近傍の斜面図である。 本発明の第1及び第2の実施の形態に係るボウリング場の映像表示システム40、140のカメラセンサ42の位置及び撮像範囲、プロジェクター44aの位置及び映像投影範囲を示す上面図である。 本発明の第1及び第2の実施の形態に係るボウリング場の映像表示システム40、140のソフトウェアの動作を説明する図である。 図2中のレーン上面70aに表示される映像128とその上のボール62をあわせて示す図である。 図2中のディスプレイ装置46の表示画面46aに表示される映像130を示す図である。 図2中のレーン70のレーン上面70aに表示される映像142を示す図である。 従来のボウリング場の映像表示システム2を示す図である。
以下、本発明に係るボウリング場の映像表示システム及びボウリング場の映像表示方法の実施の形態について、図面に基づいて具体的に説明する。図1ないし図6は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40及びボウリング場の映像表示方法について説明するために参照する図である。
図1は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40のハードウェアの構成図である。このボウリング場の映像表示システム40は、カメラセンサ42と、プロジェクター44(第1映像出力手段)と、ディスプレイ装置46(第2映像出力手段)と、音響装置48と、コンピュータ50とを備えて構成されている。すなわち、カメラセンサ42と、プロジェクター44と、ディスプレイ装置46と、音響装置48のそれぞれは、コンピュータ50に配線接続されている。
コンピュータ50は、記憶装置52(記憶手段)、演算処理装置54(制御手段)、及びキーボードやマウス、タッチパネル等の入力装置56(入力手段)を備えて構成されている。このコンピュータ50は、記憶装置52に後述する図4の素材ファイル58と映像演出用プログラム60とを記憶するようになっている。
また、図1に示すコンピュータ50の演算処理装置54は、記憶装置52に読み込まれる後述の映像演出用プログラム60に従って動作し、プロジェクター44と、ディスプレイ装置46に表示する映像を制御するための制御手段として動作するようになっている。
図2は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40のレーン70近傍の斜面図である。ボウリングのボール62(図5参照)は、アプローチ64において競技者によって投げられて、ピン66が並べて載置されているピンデッキ68に向かってレーン70のレーン上面70aの上を回転しながら移動するようになっている。
このレーン70は、競技者から見てピンデッキ68の手前に位置し、その表面形状が長細い矩形に形成されている。また、レーン70は、そのレーン上面70aをボール62が回転しながら移動しても破損したり傷付いたりすることがないように一定の強度及び硬さを有している。
レーン70の幅方向の両端部にはガータ72が凹状に形成されており、そして、隣合う2つのレーン70が挟みこむ2本のガータ72間には凸状のボールリターン76が形成されている。この隣合う2つのレーン70の中央に位置するボールリターン76の上方には、カメラセンサ42とプロジェクター44と音響装置48(図2中には不図示)が一体となって構成され、それぞれ4台ずつレーン上面70aの長さ方向に間隔をおいて並んで配置されている。
プロジェクター44は、コンピュータ50から映像信号を受信して、その映像をレーン上面70aに向かって投影するようになっている。このため、競技者や観客からは、レーン上面70aに投影された映像が、そのままレーン上面70aに表示されたように見えるようになっている。
カメラセンサ42とプロジェクター44が、隣合う2つのレーン70の中央に位置するボールリターン76の上方に設置されていることにより、まだそれらが設置されてないレーン70に対しても後からカメラセンサ42とプロジェクター44を上方に設置することができる。また、それらの設置の際には他の機器と干渉することがないので、取付け、取外しを容易にできるようになっている。
図2に示すように、ディスプレイ装置46は、ピンデッキ68の上方に位置するピンセッタ74の壁面74a(マスキング)部分に設けられ、その表面に表示画面46aを有している。また、ディスプレイ装置46は、コンピュータ50から映像信号を受信して、表示画面46aに表示するようになっている。また、このディスプレイ装置46には、不図示のスピーカーが内蔵されている。
そして、図2に示すように、競技者がファールライン80よりレーン70側に入ったことを検出するファールセンサ82が設置されている。また、図示されてないが、ピンセッタ74の下方に配置されたピン66を撮像するピンカメラと、ファールライン80より手前に位置するアプローチ64において競技者のボール62を投げる投球フォームを撮像する投球フォームカメラと、アプローチ64に競技者が立ったことを検出する競技者センサとが併せて設置されている。
図3に示すように、カメラセンサ42は、それぞれ図中の点線で囲まれる一定領域内を撮影するようになっている。すなわち、レーン70の長さ方向については、4台のカメラセンサ42が、レーン70の長さ方向の全てをほぼ均等に4分割して、互いに隣合うカメラセンサ42と若干重なり合う程度の領域までを撮影するようになっている。そして、4台合わせてレーン70の長さ方向の全領域を撮影することができるようになっている。なお、図中斜線部は撮影領域が重なりあう部分である。
また、レーン70の長さ方向とは垂直な幅方向については、カメラセンサ42は、隣合う2つのレーン70の互いの幅方向に離れたそれぞれの外側のガータ72をも覆うような程度の、2つのレーン70を含む領域を撮影することができるようになっている。
このような配置にしたため、4台のカメラセンサ42を組み合わせてレーン70の長さ方向全てを撮影することにより、レーン70の長さ方向全てを撮影することができる1台のカメラセンサのように高性能でなくてもよいので、カメラセンサ42の購入費を抑えることができる。また、4台のカメラセンサ42のいずれかが故障した場合においては故障した1つのカメラセンサ42のみを交換するだけで済むので、カメラセンサ42の修理費又は新規購入費を抑えることができる。
また、互いに隣合う2つのレーン70を4つのカメラセンサ42で撮影することにより、1つのレーン70ごとに4台ずつカメラセンサ42を設置する必要がないので、レーン70の幅方向に設置するカメラセンサ42の数を少なくすることができる。
次に、プロジェクター44は、図3に示すように、カメラセンサ42が撮影する範囲とほぼ同じ範囲に、それぞれ図中の点線で囲まれる一定領域内に映像を投影するようになっている。すなわち、レーン70の長さ方向については、4台のプロジェクター44が、レーン70の長さ方向の全てをほぼ均等に4分割して、互いに隣合うプロジェクター44と若干重なり合う程度の領域まで映像を投影するようになっている。そして、4台合わせてレーン70の長さ方向の全領域に映像を投影することができるようになっている。なお、図中斜線部は映像を投影する領域が重なりあう部分である。
また、レーン70の長さ方向とは垂直な幅方向については、それぞれのプロジェクター44が、隣合う2つのレーン70の互いの幅方向に離れたそれぞれの外側のガータ72をも覆うような程度の、2つのレーン70を含む領域に映像を投影することができるようになっている。
ここで、プロジェクター44のそれぞれは、映像を投影する領域が重なりあう部分の輝度を周端部に近付くにつれて少しずつ落として、2つのプロジェクター44が映像を投影した際の重なりあう部分の輝度が、他の重なり合わない部分の輝度と同じになるようになっている。また、プロジェクター44のそれぞれが、映像を投影する領域が重なりあう部分には、同じ映像を投影するようになっている。そのため、4つのプロジェクター44がそれぞれ投影する映像を繋ぎ合わせて、1つの大きな映像とすることができるようになっている。
このため、レーン70のレーン上面70aの長さ方向全てを1台のプロジェクター44で映像を投影しなくてもよく、4台のプロジェクター44を組み合わせてレーン上面70aの長さ方向全てに映像を投影することができるため、レーン上面70aの長さ方向の全てに映像を投影することができる1台のプロジェクター44のように高性能でなくてもよいので、プロジェクター44の購入費を抑えることができる。また、4台のプロジェクター44のいずれかが故障した場合においては故障した1つのプロジェクター44のみを交換するだけで済むので、プロジェクター44の修理費又は新規購入費を抑えることができる。
また、互いに隣合う2つのレーン70を4台のプロジェクター44で映像を投影することにより、1つのレーン70ごとに4台ずつプロジェクター44を設置する必要がないので、レーン70の幅方向に設置するプロジェクター44の数を少なくすることができる。
図4は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40を作動させるためのソフトウェア88の動作を説明する図である。このボウリング場の映像表示システム40を動作させるためのソフトウェア88は、素材ファイル58と映像演出用プログラム60とを備えて構成されている。この素材ファイル58と映像演出用プログラム60は、図1に示すコンピュータ50の記憶手段52に記憶されている。
素材ファイル58は、動画データ90、静止画データ92、3Dモデルデータ94(三次元モデルデータ)、音声データ96、及びテキストデータ98をそれぞれ、映像を映すのに必要な個数だけ、任意に備えて構成されている。素材ファイル58は、ソフトウェア88内に複数備えられており、それぞれ異なる映像を映すための素材データになっている。
ここで、素材ファイル58の動画データ90、静止画データ92、及び3Dモデルデータ94のそれぞれを、便宜上まとめて、画像データ100と呼ぶこととする。
次に、映像演出用プログラム60は、センサモジュール102、挙動シミュレーションモジュール106、映像演出モジュール104、演出制御モジュール122、演出構成モジュール124及び演出設定ファイル126を備えている。ここで、モジュールとは何らかの機能を発揮するように組まれた小さいプログラムのことをいう。
映像演出用プログラム60のセンサモジュール102は、図3に示すカメラセンサ42が撮影した映像(実世界の映像)をリアルタイムに取得し、前フレーム差分法により、映像内に映っている何らかの動く物体について、その大きさ、形状、移動方向、速さ及び位置の情報を抽出できるようになっている。
すなわち、センサモジュール102は、カメラセンサ42から1秒間当たりに約30フレーム取得する映像のそれぞれを、随時、グレースケールに変換し、前後のフレーム間の差異を検出することにより動いた箇所だけを抽出して、映像内に映っている何らかの動く物体の大きさ、形状及び位置を抽出するようになっている。また、センサモジュール102は、このように抽出した動く物体の大きさと形状と位置に基づいて、その中心位置の座標を求め、この中心位置の座標の変化量からその移動方向と速さを抽出できるようになっている。
センサモジュール102が、このような抽出作業の対象とする撮影映像内の動く物体としては、例えば、カメラセンサ42が撮影する一定領域内に入り込んだボウリングに使用されるボール62が該当する。
センサモジュール102は、図4に示すように、カメラセンサ42が撮影した映像内のボール62から抽出した、その大きさ、形状、移動方向、速さ、及び位置の情報を、挙動シミュレーションモジュール106及び映像演出モジュール104に連続的に出力するようになっている。
次に、映像演出用プログラム60の挙動シミュレーションモジュール106は、カメラセンサ42から連続的に出力されたボール62の大きさ、形状、移動方向、速さ、及び位置の情報に基づいて、センサモジュール102で抽出後のボール62の大きさ、形状、移動方向、速さ、及び位置のシミュレーションをすることができるようになっている。
挙動シミュレーションモジュール106は、図4に示すように、ボール62のセンサモジュール102で抽出後の大きさ、形状、移動方向、速さ、及び位置についてシミュレーションをしたシミュレーション情報を、映像演出モジュール104に連続的に出力するようになっている。
このような挙動シミュレーションモジュール106を備えることで、レーン70上をボール62が高速で動作した際に、カメラセンサ42がボール62の挙動の全てを認識できなくても、挙動シミュレーションモジュール106によりボール62の挙動を予測することができるようになっている。
このため、使用するカメラセンサ42をボール62の高速動作に対応して、ボール62の挙動の全てを認識することができるような高性能なものにしなくても良いので、使用するカメラセンサ42を高価なものではなく、安価なものにすることができる。
次に、映像演出用プログラム60内の演出設定ファイル126には、複数の素材ファイル58のうちのいずれかを選択して使用するか等についての設定データ、及び映像演出用プログラム60内のセンサモジュール102、挙動シミュレーションモジュール106の動作等に必要な設定データ、並びに複数の映像演出モジュール104のうちのいずれを選択して動作させるようにするかの設定データ等が、まとめて登録されている。
また演出設定ファイル126には、選択して動作させる映像演出モジュール104のうちのいずれかにおける、流体シミュレーションモジュール108、映像再生モジュール110、映像効果モジュール112、CG合成モジュール114(コンピュータグラフィック合成モジュール)、音声再生モジュール116、音声効果モジュール118、及び音声合成モジュール120のそれぞれをどのように動作させるか等についての設定データ等が、まとめて登録されている。
この演出設定ファイル126内の各種の設定データは、映像演出の開始前または映像演出の停止後のメンテナンスモード時において、メンテナンス作業員による図1に示すコンピュータ50の入力装置56からの操作入力が行なわれた場合に、このような操作入力に基づいて、図4に示す演出構成モジュール124が変更するようになっている。
演出制御モジュール122は、映像演出を開始させるための起動操作の後であって実際に映像演出を開始する前に、演出設定ファイル126の設定データに基づいて、複数の素材ファイル58のうちのいずれを使用するかについて、及び複数の映像演出モジュール104のうちのいずれを動作させるか等について、実際に選択したり制御したりするようになっている。
次に、映像演出用プログラム60内の映像演出モジュール104は、流体シミュレーションモジュール108、映像再生モジュール110、映像効果モジュール112、CG合成モジュール114、音声再生モジュール116、音声効果モジュール118、及び音声合成モジュール120を備えて構成されている。映像演出モジュール104は、映像演出用プログラム60に複数備えられており、それぞれ異なる映像演出を行なうようになっている。
映像演出モジュール104内の流体シミュレーションモジュール108は、図3に示すプロジェクター44の表示画面であるレーン上面70aの内側に広がって空気等の流体が存在するような仮想空間を設定し、この仮想空間内に生じる流体の流れをシミュレーションするようになっている。
この仮想空間内に生じる流体は、映像演出モジュール104ごとに異なっていてもよく、例としては空気や水などである。本実施の形態に係る映像演出モジュール104内の流体シミュレーションモジュール108は、仮想空間内に空気が充填していると仮定して、この仮定の下における風(空気の流れ)をシミュレーションするようになっている。
すなわち、流体シミュレーションモジュール108は、プロジェクター44の表示画面であるレーン上面70aの一定領域内で動くボール62が生じさせる風が、プロジェクター44の表示画面であるレーン上面70aを突き抜けて、このレーン上面70a内の仮想空間にまで伝播するものと仮定している。
その上で、図4に示すセンサモジュール102により抽出された、カメラセンサ42が撮影した実映像内のボール62についての大きさ、形状、移動方向、速さ、及び位置の情報、及び挙動シミュレーションモジュール106によりシミュレーションされた、ボール62のその後の大きさ、形状、移動方向、速さ、及び位置についてのシミュレーション情報を、連続的に取得して、これらの情報に基づいて、仮想空間内において風がどのように伝播するかをシミュレーションするようになっている。
このとき流体シミュレーションモジュール108は、仮想空間内を伝播する風の強さをある程度誇張してシミュレーションするようになっている。また、流体シミュレーションモジュール108は、このようなシミュレーション情報を、映像再生モジュール110、映像効果モジュール112、CG合成モジュール114、音声再生モジュール116、音声効果モジュール118、及び音声合成モジュール120のそれぞれに、連続的に出力するようになっている。
映像演出モジュール104の映像再生モジュール110は、素材ファイル58内の動画データ90及び静止画データ92の中から、複数の任意のものを同時に又は個別に読み込んで再生するようになっている。
ここで、映像再生モジュール110は、素材ファイル58のうちの演出制御モジュール122により選択されたものの中に、動画データ90及び/又は静止画データ92が複数ある場合に、これらを同時かつ別個に再生するか、又は順番に再生していくか等について、演出制御モジュール122の制御の下で決定するようになっている。
また、映像再生モジュール110は、演出制御モジュール122の制御の下で、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、映像再生の開始又は停止のタイミングの変更、再生速度の変化、再生する動画データ90及び/又は静止画データ92の切換えなどを行うようになっている。
この映像再生モジュール110が演出制御モジュール122の制御の下で、再生する動画データ90及び静止画データ92のそれぞれが、図2に示すプロジェクター44の表示画面であるレーン上面70a内、又はディスプレイ装置46の表示画面46a内の、いずれの範囲にどのように表示されるようになるのかについては、後述するCG合成モジュール114のマッピングの処理により決定されるようになっている。
図4に示すように、映像再生モジュール110で再生された動画データ90及び/又は静止画データ92の映像は、映像効果モジュール112に送られるようになっている。
映像演出モジュール104の映像効果モジュール112は、演出制御モジュール122の制御の下で、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、映像再生モジュール110から受取った映像に対して、例えば、この映像を波紋状に歪ませるなどの変形を与えるエフェクト、又は映像を回転若しくは拡大縮小するエフェクト、又は、映像の一部の範囲だけを拡大した後にこの拡大範囲を移動させていくようにするエフェクト、或いは、映像の色彩や明度を変化させるエフェクト等をリアルタイムに加えるようになっている。
映像効果モジュール112は、映像再生モジュール110によって再生された動画データ90及び/又は静止画データ92の映像に対して、上記のような映像効果を加えた後に、これをCG合成モジュール114に送り出すようになっている。
映像演出モジュール104のCG合成モジュール114は、演出制御モジュール122の制御の下で、素材ファイル58のうち演出制御モジュール122により選択されたものの中の3Dモデルデータ94を読み込んで、この3Dモデルデータ94に基づく仮想物体のオブジェクトを生成したり、又は、独自に仮想物体のオブジェクトを生成したりするようになっている。
また、CG合成モジュール114は、素材ファイル58のうち演出制御モジュール122により選択されたものの中のテキストデータ98を読み込んで、デザイン化された特殊文字を2次元のCGとして生成するようになっている。
また、CG合成モジュール114は、演出制御モジュール122の制御の下で、生成したCG、及び映像再生モジュール110や映像効果モジュール112から受取った映像等を、仮想空間内の所定の位置に配置するようになっている。
このようなCG合成モジュール114の配置作業の中には、このCG合成モジュール114が生成した仮想物体のオブジェクトの表面、又は2次元又は3次元の仮想空間内の任意の領域に、映像再生モジュール110や映像効果モジュール112から受取った映像をテクスチャ(texture)として、マッピング(mapping)するような作業が含まれる。
また、CG合成モジュール114は、演出制御モジュール122の制御の下で、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、任意に、仮想空間内における新たなCGの生成、CG同士の合成、CGと映像との合成、CGの変形、及び/又はテクスチャの入れ替えなどをリアルタイムに行うようになっている。
また、CG合成モジュール114は、完成した映像をプロジェクター44に出力するようになっている。また、CG合成モジュール114は、プロジェクター44に出力する完成した映像と連動するような完成した映像をディスプレイ装置46に出力するようになっている。
この際にCG合成モジュール114は、プロジェクター44が複数ある場合などには、それに対応するように複数の映像の切り出しや分割を行い、お互いに重なり合う部分が同じとなるように映像を生成し、出力された際に映像が繋ぎ合わされて1つの映像にすることができるようになっている。また、CG合成モジュール114は、プロジェクター44の複数台で1つの映像となるような映像を出力する際には、繋ぎ目が目立たないように調整するように動作するようにもなっている。
図4に示すように、映像演出モジュール104の音声再生モジュール116は、演出制御モジュール122の制御の下で、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、素材ファイル58のうちの演出制御モジュール122により選択されたものの中の音声データ96を読み込んで、これを再生するようになっている。
また、音声再生モジュール116は、映像再生モジュール110、映像効果モジュール112及びCG合成モジュール114が作成する映像に対応する音声データ96の割り当て(アサイン)、再生のタイミング及び速度等を制御するようになっている。
映像演出モジュール104の音声効果モジュール118は、演出制御モジュール122の制御の下で、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、音声再生モジュール116が再生した音声データ96に対してリアルタイムに、リバーブやディレイ等のエフェクト(効果)を加えたり、ピッチ(周波数)を変更したりするようになっている。また、音声効果モジュール118は、ノイズを除去するフィルタ処理も行なうようになっている。
映像演出モジュール104の音声合成モジュール120は、演出制御モジュール122の制御の下で、各種のサウンドシンセシスのアルゴリズムを用い、センサモジュール102から送られてくる情報や、挙動シミュレーションモジュール106から送られてくるシミュレーション情報や、流体シミュレーションモジュール108から送られてくるシミュレーション情報に基づいて、電子音データを生成するようになっている。音声合成モジュール120は、音のオシレーター(発振器)を複数有していることにより、様々な波形を組み合わせた電子音の生成・合成(シンセシス)が可能になっている。
また、音声合成モジュール120は、このように生成した電子音データを、音声再生モジュール116又は音声効果モジュール118から受取った音声データに合成するようになっている。また、音声合成モジュール120は、合成した音声データに対するエフェクトの付加も行なうようになっている。
また、音声合成モジュール120は、このように生成した電子音データや音声効果モジュール118から受け取った音声を、音響装置48やディスプレイ装置46の内蔵スピーカーに出力するようになっている。
図5の(a)から(c)は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40のレーン上面70aに表示される映像128と、そのレーン上面70a上のボール62を合わせて示す図である。図中、下側から上側に向かってレーン上面70aの上をボール62が通過するものとする。
レーン上面70aに表示される映像128は、4台のプロジェクター44により出力される前の段階で、CG合成モジュール114によって重なりあう部分を有する4つの映像に分割されるようになっている。この4つの映像はそれぞれ、4台のプロジェクター44に出力される段階で、お互いに重なりあう部分が目立たないように調整されて、繋ぎ合わされて1つの映像128になっている。
また、4台のプロジェクター44が映像を投影することができる領域は、レーン上面70aだけではないので、レーン上面70a以外のボールリターン76、ファールライン80等に映像が投影される部分は予め黒色に設定されて、4台のプロジェクター44が映像を出力する際に黒色設定部分の映像が表示されないようになっている。
このため、プロジェクター44により映像を投影されるのはレーン上面70aのみになるので、競技者や観客に、上記のような表示方法をとらない場合よりも大きな驚きや感動を与えることができるようになっている。
図5(a)に示すように、レーン上面70aに表示される映像128は、演出制御モジュール122により素材ファイル58、映像演出モジュール104が選択されており、雲が流れていく様子の空132が映し出されている。この映像128は、その基礎となる素材ファイル58の動画データ90を、映像演出モジュール104における映像再生モジュール110が読み込んで継続的にループ再生すると共に、この映像に対して映像効果モジュール112が画像処理を行ない、CG合成モジュール114が、この映像をテクスチャとして映像128の枠内の領域全体にマッピングすることにより作成されている。
レーン上面70aに表示される映像128は、図5(b)、(c)に示すように、レーン上面70aの下側から上側に向かってボール62が移動すると、図4に示すカメラセンサ42が撮影する一定領域内でのボール62の挙動に基づいて、ボール62の後方に飛行機雲134が映し出されるようになっている。
このようなボール62の後方(図中下方)に飛行機雲134が映し出される映像をCG合成モジュール114が生成する際に必要となる基礎データは、素材ファイル58の3Dモデルデータ94内にその一部として用意されている。
図4の流体シミュレーションモジュール108は、センサモジュール102により抽出された、カメラセンサ42が撮影した実映像内のボール62についての大きさ、形状、移動方向、速さ、及び位置の情報、及び挙動シミュレーションモジュール106によりシミュレーションされた、ボール62のその後の大きさ、形状、移動方向、速さ、及び位置についてのシミュレーション情報を、連続的に取得して、これらの情報に基づいて、仮想空間内においてボール62に対応する仮想物体の挙動により風がどのように伝播するかをシミュレーションするようになっている。
CG合成モジュール114は、流体シミュレーションモジュール108から送られてくる情報に基づいて、仮想空間内においてボール62に対応する仮想物体の後方に、飛行機雲134を生成するようになっている。
このような処理動作はリアルタイムで行なわれるため、競技者や観客にとっては、図5(a)から(c)に示すように、ボール62が後方に飛行機雲134を生成しながら移動しているように見えるようになっている。
また、このようなボール62が飛行機雲134を生成しながら移動している様子にあわせて、映像演出モジュール104の音声再生モジュール116は飛行機のエンジン音の基礎となる音声データ96を読み込んで再生するようになっている。
音声効果モジュール118は、流体シミュレーションモジュール108から送られてくるシミュレーション情報の中におけるボール62の速度に基づいて、音声再生モジュール116が再生した飛行機のエンジン音について、その周波数を変えることにより、速く動くときと、ゆっくり動くときの差異を出すようになっている。
また、音声合成モジュール120は、音声効果モジュール118から受け取った音声を、音響装置48に出力するようになっている。
このような処理動作もリアルタイムで行なわれるため、競技者や観客にとっては、ボール62が後方に飛行機雲134を生成しながら移動しているように見えると共に、それと同時に飛行機のエンジン音も聞こえるようになっている。
図6は、本発明の第1の実施の形態に係るボウリング場の映像表示システム40のディスプレイ装置46の表示画面46aに表示される映像130を示す図である。
CG合成モジュール114は、プロジェクター44に出力する映像128と連動するような映像130をディスプレイ装置46に出力するようになっている。すなわち、ディスプレイ装置46に表示される映像130は、図6に示すように、ボール62が図3中の右のレーン70においてセンサカメラ42で撮影されるようになったときに、右のレーン70に対応して、その映像の右半分に図5に示す映像128と似たような、雲が流れていく様子の空136が映し出される。
また、ボール62が図3中の右のレーン70において図中一番右のセンサカメラ42で撮影されなくなったときに、映像130の右半分のその中央に、下から上に飛行機138が後方に飛行機雲を作りながら移動する映像が映し出されるようになっている。
この映像130内の飛行機138とその後方の飛行機雲は、その基礎となる素材ファイル58の静止画データ92を、映像演出モジュール104における映像再生モジュール110が読み込んで継続的にループ再生すると共に、この映像に対して映像効果モジュール112が画像処理を行ない、CG合成モジュール114が、この映像をテクスチャとして映像130の枠内にマッピングすることにより作成されている。
また、飛行機138が飛行機雲を生成しながら移動している様子にあわせて、飛行機のエンジン音の基礎となる音声データ96を、映像演出モジュール104の音声再生モジュール116が読み込んで再生し、音声効果モジュール118において加工し、音声合成モジュール120により合成され、ディスプレイ装置46に内蔵されている不図示のスピーカーで出力されるようになっている。
このような本実施の形態に係るボウリング場の映像表示システム40及びその映像表示方法によれば、カメラセンサ42でボール62の挙動を撮影するために、そのボール62の挙動に対応してプロジェクター44がレーン70のレーン上面70aに映す映像をリアルタイムに、かつ連続的に変化させることができるので、競技者や観客などに大きな驚きや感動を与えることができる。
また、本実施の形態に係るボウリング場の映像表示システム40及びその映像表示方法によれば、コンピュータ50の演算処理装置54が、レーン70のレーン上面70aに表示される映像内に仮想流体が存在するものと仮定して、この仮定流体中を変化が伝播することをシミュレーションすることにより、第1映像出力手段に表示される映像等が変化することができるので、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、本実施の形態に係るボウリング場の映像表示システム40及びその映像表示方法によれば、CG合成モジュール114が、プロジェクター44に出力する映像128とディスプレイ装置46に出力する映像130とを連動させるようになっているので、競技者や観客に、より大きな驚きや感動を与えることができる。
次に、図1ないし図7は、本発明の第2の実施の形態に係るボウリング場の映像表示システム140及びその映像表示方法について説明するために参照する図である。
本実施の形態に係るボウリング場の映像表示システム140のハードウェア構成は、図1に示すように、前記第1の実施の形態に係るボウリング場の映像表示システム40のハードウェア構成と、全く同様に構成されている。また、本実施の形態に係るボウリング場の映像表示システム140の各装置の配置も、図2、3に示すように、前記第1の実施の形態に係るボウリング場の映像表示システム40の各装置の配置と、全く同様に構成されている。
また、本実施の形態に係るボウリング場の映像表示システム140のソフトウェア構成も、図4に示すように、前記第1の実施の形態に係るボウリング場の映像表示システム40のソフトウェア構成と、全く同様に構成されている。
本実施の形態に係るボウリング場の映像表示システム140は、コンピュータ50の記憶装置52に、センサモジュール102により抽出された、カメラセンサ42が撮影した実映像内のボール62についての大きさ、形状、移動方向、速さ、及び位置の情報、及び挙動シミュレーションモジュール106によりシミュレーションされた、ボール62のその後の大きさ、形状、移動方向、速さ、及び位置についてのシミュレーション情報を、記憶するようになっている。
このコンピュータ50の記憶装置52は、センサモジュール102の情報及び挙動シミュレーションモジュール106のシミュレーション情報とあわせて、ピンセッタ74の下方に配置されたピン66を撮像するピンカメラにより取得した、ピンデッキ68上に立っているピン66の本数、配置等をも記憶するようになっている。
そして、図7の(a)、(b)に示すように、センサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報に基づいて、レーン上面70aに、ピン66に向かう複数の矢印144が表示された映像142が表示されるようになっている。
すなわち、演出制御モジュール122により素材ファイル58と、映像演出モジュール104が選択されるようになっている。そして、演出制御モジュール122により選択された映像演出モジュール104の映像再生モジュール110により、矢印144の基礎となる素材ファイル58の静止画92が再生されるようになっている。
そして、映像演出モジュール104の映像効果モジュール112が、演出制御モジュール122の制御の下で、センサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報に基づいて、それぞれの矢印144のレーン70の長さ方向に対する傾きを変更するようになっている。
そして、映像演出モジュール104のCG合成モジュール114が、演出制御モジュール122の制御の下で、映像効果モジュール112から受取ったそれぞれの矢印144の
映像等を、演出制御モジュール122の制御の下で、センサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報に基づいて、映像144の所定の位置に配置するようになっている。
そして、図7(a)に示すように、ピンが10本載置されている場合には、レーン上面70aの映像142は、正面のピンの中央右側に向かって右にカーブを描くような複数の矢印144が表示されるようになっている。
また、図7(b)に示すように、ピンが図中左側に4本載置されている場合には、レーン上面70aの映像142は、図中レーン上面70aの左側に向かって右にカーブを描くような複数の矢印144が表示されるようになっている。
このように、記憶装置52に記憶されているこれまでのセンサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンデッキ68に立っているピン66の本数、配置によって、映像142が変化するようになっている。
このため、競技者は、レーン上面70aに表示された映像142の複数の矢印144を目印にしてボールを投球することができるようになっている。そして、競技者はピン66のみを目標にして投げるよりも、ピン66より近いレーン上面70aに表示された複数の矢印144を目標にして投げるほうが、コントロールがつきやすい。このため、徐々に狙ったところにボールがいくようになるので、ボウリングの練習に最適である。
また、レーン上面70aに表示された映像142の複数の矢印144は、ピンデッキ68に立っているピン66の本数、配置によって変化するので、それを見た競技者は、ピン66の本数、配置によってどのようにボールを投球すればいいのかがわかるようになっている。この点においても、ボウリングの練習に役立つようになっている。
このような本実施の形態に係るボウリング場の映像表示システム140及びその映像表示方法によれば、カメラセンサ42とピンカメラでボール62の挙動とピン66の状態を撮影して、それを記録しておくために、記憶装置52に記憶されたそれらの情報に基づいて、プロジェクター44がレーン70のレーン上面70aに映す映像142を変化させることができるので、競技者や観客などに、より大きな驚きや感動を与えることができる。
また、競技者はレーン上面70aに表示される映像142の複数の矢印144に基づいてボールの投球をすることができる。そのため、競技者はレーン上面70aに表示される映像142に基づいてボウリングの練習もすることができる。
なお、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、カメラセンサ42とプロジェクター44と音響装置48は、一体となって構成され、隣合う2つのレーン70の中央に位置するボールリターン76の上方に、それぞれ4台ずつレーン上面70aの長さ方向に間隔をおいて並んで配置されていたが、カメラセンサ42とプロジェクター44と音響装置48は、一体となって構成されていなくてもよく、それぞれの性能等によって、それぞれの台数や位置が変わってもよい。
また、レーン上面70aの上のボール62の挙動を検出できるのならば、カメラセンサ42は上方に配置されていなくてもよく、また、カメラセンサ42ではなく他の検出手段を用いてもよい。同様にして、レーン70のレーン上面70aに映像を表示できるのであれば、プロジェクター44は上方に配置されていなくてもよく、また、プロジェクター44ではなく他の表示手段を用いてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、プロジェクター44が映像投影の対象とするレーン70は2つであり、その2つのレーン70の全面に常時プロジェクター44が映像を投影するようになっていたが、プロジェクター44は周囲の状況に応じて映像を投影しないようになっていてもよく、プロジェクター44は周囲の状況に応じて映像を投影する範囲の中の一部分のみに映像を投影するようになっていてもよい。例えば、2つのレーン70の内の片方のレーン70が使用されていないときは、使用されていないレーン70のレーン上面70aには映像を投影しないようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、カメラセンサ42及びプロジェクター44が撮影、映像投影の対象とするレーン70は2つであったが、1つであってもよく、また3つ以上であってもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、プロジェクター44が出力する映像128、及びディスプレイ装置46に出力される映像130には、空132,136、飛行機雲134、飛行機138が映し出されていたが、これらに限定されるものではなく、ソフトウェア88の構成によって表示することができるものであれば、どのようなものであってもよい。
例えば、レーン上面70aに水面が表示されて、ボール62が通った後にレーン上面70aの幅方向の外側に波紋が広がっていく状態が表示されたり、レーン上面70aに海面が表示されて、ボール62の後を追うイルカが表示されたり、或いは、レーン上面70aに構造物が表示されて、ボール62が通った軌跡及びその周辺の構造物だけが壊されていくような状態が表示されるようにしてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、プロジェクター44が出力する映像128とディスプレイ装置46に出力される映像130とは連動するようになっていたが、常時連動していなくてもよく、また、全く連動していなくてもよい。また、プロジェクター44が出力する映像128は、ディスプレイ装置46に出力される映像130以外の他の表示装置等に出力される映像と連動するようになっていてもよい。
また、前記第1の実施の形態に係るボウリング場の映像表示システム40においては、そのコンピュータ50の記憶装置52には素材ファイル58、映像演出用プログラム60を記憶するようになっており、前記第2の実施の形態に係るボウリング場の映像表示システム140においては、そのコンピュータ50の記憶装置52には素材ファイル58、映像演出用プログラム60、センサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報を記憶するようになっていたが、これらの情報を光ディスク、メモリカード等の外部記憶媒体に記憶するようになっていてもよい。
また、前記第2の実施の形態に係るボウリング場の映像表示システム140においては、そのコンピュータ50の記憶装置52にはセンサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報を記憶するようになっていたが、それらの情報を競技者ごとに分けて記憶するようになっていてもよい。また、前記第2の実施の形態に係るボウリング場の映像表示システム140については、前記競技者ごとの情報に基づいて、プロジェクター44がレーン70のレーン上面70a上に映す映像を変化させるようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、センサカメラ42と不図示のピンカメラから送られる映像に基づいて、表示される映像が変化するようになっていたが、他のファールセンサ82や不図示の投球フォームカメラや競技者センサ、競技者のスコア等の情報に基づいて、表示される映像が変化するようになっていてもよい。
また、コンピュータ50の記憶装置52に外部記憶媒体や不図示の通信手段等を介して、新たな素材ファイル58や映像演出用プログラム60を追加することができるようになっていてもよし、不用な素材ファイル58や映像演出用プログラム60は削除することができるようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、映像演出用プログラム60のセンサモジュール102は、図3に示すカメラセンサ42で撮影した実際の映像から、グレースケール変換、前フレーム差分法の画像処理を行なうようになっていたが、背景差分法等の画像処理を行なうようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、映像演出用プログラム60のセンサモジュール102は、図3に示すカメラセンサ42で撮影した実際の映像から、この映像内の物体等について、その大きさ、形状、移動方向、速さ、及び位置の情報を抽出するようになっていたが、大きさ、形状、移動方向、及び速さの情報の中からいずれかだけを抽出するようになっていてもよい。また、色等の他の情報を抽出するようになっていてもよい。
さらに、挙動シミュレーションモジュール106は、映像内の物体等について、その大きさ、形状、移動方向、速さ、及び位置の情報のシミュレーションをするようになっていたが、大きさ、形状、移動方向、及び速さの情報の中からいずれかだけのシミュレーションをするようになっていてもよい。また、色等の他の情報のシミュレーションをするようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、センサモジュール102が、前フレーム差分法の画像処理を行なうか又は背景差分法等の画像処理を行なうかについて、或いは、図3に示すカメラセンサ42で撮影する映像内の物体等について、その大きさ、形状、移動方向、速さ、色、位置等の情報のいずれを抽出するかについて、映像演出用プログラム60内の演出設定ファイル126に設定が記憶されておくようにし、演出制御モジュール122が、このような演出設定ファイル126の設定に基づいて、センサモジュール102を制御するようになっていてもよい。また、このような演出設定ファイル126の設定に基づいて、センサモジュール102と同様に、挙動シミュレーションモジュール106を制御するようになっていてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、センサモジュール102から送られてくる情報と挙動シミュレーションモジュール106から送られてくるシミュレーション情報に基づいて、映像が変化するようになっているが、カメラセンサ42がボール62の挙動を十分に捉えることができるのであれば、挙動シミュレーションモジュール106はなくてもよい。
また、前記第1及び第2の実施の形態に係るボウリング場の映像表示システム40,140においては、センサモジュール102の情報、挙動シミュレーションモジュール106のシミュレーション情報及びピンカメラの情報に基づいて、レーン上面70a上に映像142が表示されるようになっているが、予めピンデッキ68上に立っているピン66の本数、位置ごとに対応した映像を用意していて、それを表示するようになっていてもよい。
2 ボウリング場の映像表示システム
4 ピン
6 ピンデッキ
8 ピンセッタ
10 マスキングディスプレイ
12 天井ディスプレイ
14 ピンカメラ
16 レーン
18 ファールライン
20 アプローチ
22 投球フォームカメラ
24 第1ボール通過センサ
26 第2ボール通過センサ
28 ファールセンサ
30 競技者センサ
40 ボウリング場の映像表示システム
42 カメラセンサ
44 プロジェクター
46 ディスプレイ装置
46a 表示画面
48 音響装置
50 コンピュータ
52 記憶装置
54 演算処置装置
56 入力装置
58 素材ファイル
60 映像演出用プログラム
62 ボール
64 アプローチ
66 ピン
68 ピンデッキ
70 レーン
70a レーン上面
72 ガータ
74 ピンセッタ
74a 壁面
76 ボールリターン
80 ファールライン
82 ファールセンサ
88 ソフトウェア
90 動画データ
92 静止画データ
94 3Dモデルデータ
96 音声データ
98 テキストデータ
100 画像データ
102 センサモジュール
104 映像演出モジュール
106 挙動シミュレーションモジュール
108 流体シミュレーションモジュール
110 映像再生モジュール
112 映像効果モジュール
114 CG合成モジュール
116 音声再生モジュール
118 音声効果モジュール
120 音声合成モジュール
122 演出制御モジュール
124 演出構成モジュール
126 演出設定ファイル
128,130,142 映像
132,136 空
134 飛行機雲
138 飛行機
140 ボウリング場の映像表示システム
144 矢印

Claims (16)

  1. 画像データを記憶する記憶手段と、
    前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
    前記レーン上面の一定領域内を撮影するカメラセンサと、
    前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えた
    ことを特徴とするボウリング場の映像表示システム。
  2. 前記制御手段は、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御することを特徴とする請求項1に記載のボウリング場の映像表示システム。
  3. 前記制御手段は、前記第1映像出力手段が映す映像内に仮想流体が存在するものと仮定して、この仮定流体中を前記変化が伝播することをシミュレーションすることにより、前記第1映像出力手段が映す映像を制御することを特徴とする請求項1又は2に記載のボウリング場の映像表示システム。
  4. 前記制御手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、前記カメラセンサで撮影後のボールの挙動をシミュレーションすると共に、そのシミュレーション情報におけるボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することを特徴とする請求項1ないし3のいずれかに記載の映像表示システム。
  5. レーン上面の一定領域内を撮影するカメラセンサと、
    ピンデッキに載置されたピンを撮影するピンカメラと、
    画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
    前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
    前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御手段とを備えた
    ことを特徴とするボウリング場の映像表示システム。
  6. 前記記憶手段は、前記カメラセンサが撮影した映像から抽出された前記ボウリングのボールの挙動に基づき、シミュレーションされた前記カメラセンサで撮影後のボールの挙動を記憶し、
    前記制御手段は、シミュレーションされた前記カメラセンサで撮影後のボールの挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することを特徴とする請求項5に記載の映像表示システム。
  7. 前記第1映像出力手段は、前記レーン上面より上方の所定の高さに配置されたことを特徴とする請求項1ないし6のいずれかに記載の映像表示システム。
  8. 前記カメラセンサは、前記レーン上面より上方の所定の高さに配置されたことを特徴とする請求項1ないし7のいずれかに記載のボウリング場の映像表示システム。
  9. 前記第1映像出力手段及び前記カメラセンサのそれぞれは、前記レーン上面の長さ方向に間隔をおいて複数並んで配置されていることを特徴とする請求項1ないし8のいずれかに記載のボウリング場の映像表示システム。
  10. 前記制御手段は、複数の前記第1映像出力手段により映し出される映像が、全体として
    1つの映像となるように映し出されるように制御することを特徴とする請求項9に記載の映像表示システム。
  11. 前記第1映像出力手段は、前記画像データに基づく映像を複数のレーンのレーン上面に映し出し、
    前記カメラセンサは、複数のレーンのレーン上面の一定領域を撮影することを特徴とする請求項1ないし10のいずれかに記載の映像表示システム。
  12. 前記第1映像出力手段は、前記画像データに基づく映像を前記レーン上面のみに映し出すことを特徴とする請求項1から11のいずれかに記載の映像表示システム。
  13. 前記レーン上面とは別の場所に表示画面を有し、この表示画面上に前記画像データに基づく映像を映す第2映像出力手段を備え、
    前記第2映像出力手段が映す映像は、前記第1映像出力手段が映す映像と連動していることを特徴とする請求項1から12のいずれかに記載の映像表示システム。
  14. 画像データを記憶する記憶手段と、
    前記画像データに基づく映像をボウリングのレーン上面に映す第1映像出力手段と、
    前記レーン上面の一定領域内を撮影するカメラセンサと、
    前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
    前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動を抽出し、この挙動に対応して前記第1映像出力手段が映す映像を変化させるように制御することができるようにした
    ことを特徴とするボウリング場の映像表示方法。
  15. 前記制御手段が、前記第1映像出力手段が映す映像をリアルタイムに、かつ連続的に変化させるように制御することができるようにしたことを特徴とする請求項12に記載のボウリング場の映像表示方法。
  16. レーン上面の一定領域内を撮影するカメラセンサと、
    ピンデッキに載置されたピンを撮影するピンカメラと、
    画像データを記憶すると共に、前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像を記憶する記憶手段と、
    前記画像データに基づく映像を前記レーン上面に映す第1映像出力手段と、
    前記第1映像出力手段が映す映像を制御する制御手段とを用いて、
    前記制御手段が、前記記憶手段に記憶された前記カメラセンサが撮影した映像及び前記ピンカメラが撮影した映像に基づいて前記一定領域内に入り込んだボウリングのボールの挙動及びピンの状態を抽出し、このボールの挙動及びピンに対応して前記第1映像出力手段が映す映像を変化させるようにする制御することができるようにした
    ことを特徴とするボウリング場の映像表示方法。
JP2009285116A 2009-12-16 2009-12-16 ボウリング場の映像表示システム及び映像表示方法 Active JP4990347B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009285116A JP4990347B2 (ja) 2009-12-16 2009-12-16 ボウリング場の映像表示システム及び映像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009285116A JP4990347B2 (ja) 2009-12-16 2009-12-16 ボウリング場の映像表示システム及び映像表示方法

Publications (2)

Publication Number Publication Date
JP2011128768A true JP2011128768A (ja) 2011-06-30
JP4990347B2 JP4990347B2 (ja) 2012-08-01

Family

ID=44291326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009285116A Active JP4990347B2 (ja) 2009-12-16 2009-12-16 ボウリング場の映像表示システム及び映像表示方法

Country Status (1)

Country Link
JP (1) JP4990347B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803312B1 (ko) * 2016-06-09 2017-12-04 재단법인대구경북과학기술원 레이더 기반의 볼링공 궤적 모니터링 장치 및 그 방법
KR102048782B1 (ko) * 2018-10-25 2019-11-26 주식회사 더브이엑스 볼링공에 내장된 3d 모션 센서를 이용한 스크린 볼링 시스템 및 방법
KR102103757B1 (ko) * 2019-11-08 2020-05-07 주식회사 포에스솔루션 볼링 투구 영상 촬영시스템
WO2020263944A1 (en) * 2019-06-25 2020-12-30 Crunchy Logistics Llc Bowling enhancement system with mobile device pairing and related methods
JP2021108813A (ja) * 2020-01-08 2021-08-02 株式会社スポーツレジャーシステムズ ボウリング管理システム及びサーバ装置
KR102313720B1 (ko) * 2021-07-06 2021-10-19 주식회사 포에스솔루션 볼링공의 궤적 제공 시스템
KR102506560B1 (ko) * 2021-11-04 2023-03-07 티에스아이씨 주식회사 볼링 영상 관리 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453205B1 (ko) * 2020-10-27 2022-10-14 주식회사 니드메이드 볼러 관리 시스템과 볼링장에 설치된 볼링 경기 시스템을 연계한 볼링 경기 온라인 운영 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0326271Y2 (ja) * 1985-03-08 1991-06-06
JP2002222434A (ja) * 2001-01-29 2002-08-09 Namco Ltd ゲームシステム、プログラム及び情報記憶媒体
JP2006043083A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp 表示装置
JP2008307091A (ja) * 2007-06-12 2008-12-25 Akira Tomono 実物体干渉表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0326271Y2 (ja) * 1985-03-08 1991-06-06
JP2002222434A (ja) * 2001-01-29 2002-08-09 Namco Ltd ゲームシステム、プログラム及び情報記憶媒体
JP2006043083A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp 表示装置
JP2008307091A (ja) * 2007-06-12 2008-12-25 Akira Tomono 実物体干渉表示装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803312B1 (ko) * 2016-06-09 2017-12-04 재단법인대구경북과학기술원 레이더 기반의 볼링공 궤적 모니터링 장치 및 그 방법
KR102048782B1 (ko) * 2018-10-25 2019-11-26 주식회사 더브이엑스 볼링공에 내장된 3d 모션 센서를 이용한 스크린 볼링 시스템 및 방법
WO2020263944A1 (en) * 2019-06-25 2020-12-30 Crunchy Logistics Llc Bowling enhancement system with mobile device pairing and related methods
US11660524B2 (en) 2019-06-25 2023-05-30 Crunchy Logistics Llc Bowling enhancement system with mobile device pairing and related methods
EP3969137A4 (en) * 2019-06-25 2023-06-14 Crunchy Logistics LLC BOWLING IMPROVEMENT SYSTEM WITH MOBILE PAIRING AND RELATED PROCEDURES
KR102103757B1 (ko) * 2019-11-08 2020-05-07 주식회사 포에스솔루션 볼링 투구 영상 촬영시스템
JP2021108813A (ja) * 2020-01-08 2021-08-02 株式会社スポーツレジャーシステムズ ボウリング管理システム及びサーバ装置
JP7060257B2 (ja) 2020-01-08 2022-04-26 株式会社スポーツレジャーシステムズ ボウリング管理システム
KR102313720B1 (ko) * 2021-07-06 2021-10-19 주식회사 포에스솔루션 볼링공의 궤적 제공 시스템
KR102506560B1 (ko) * 2021-11-04 2023-03-07 티에스아이씨 주식회사 볼링 영상 관리 시스템

Also Published As

Publication number Publication date
JP4990347B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
JP4990347B2 (ja) ボウリング場の映像表示システム及び映像表示方法
US20210012557A1 (en) Systems and associated methods for creating a viewing experience
US11880932B2 (en) Systems and associated methods for creating a viewing experience
US9143721B2 (en) Content preparation systems and methods for interactive video systems
KR101748593B1 (ko) 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
CN102458594A (zh) 模拟虚拟照相机的性能
TWI623342B (zh) 螢幕高爾夫系統,用於螢幕高爾夫的影像實現方法及存儲其的電腦可讀存儲介質
US11770252B2 (en) System and method for generating a pepper's ghost artifice in a virtual three-dimensional environment
JP2023133397A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP6431259B2 (ja) カラオケ装置、ダンス採点方法、およびプログラム
JP5214267B2 (ja) 映像演出システム及び映像演出方法
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
JP2017005371A (ja) 共演映像演出装置および共演映像演出システム
JP4886349B2 (ja) 模擬視界生成装置
GB2605118A (en) Apparatus and method
JP2009059015A (ja) 合成画像出力装置および合成画像出力処理プログラム
TWI515691B (zh) 現場動態情境重建之合成錄像拍製方法
JPH11316853A (ja) 仮想現実感生成装置及び方法
JPH11149285A (ja) 映像音響システム
JP7309148B2 (ja) ホール用表示システム及びこれを用いて行うイベントの実施方法
CN219802409U (zh) 一种xr虚拟制片实时合成系统
JP6403649B2 (ja) 空間像演出装置およびその制御方法
JP6403648B2 (ja) 空間像演出装置、空間像演出装置の制御方法および映像システム
JP6400551B2 (ja) 空間像演出装置、空間像演出装置の制御方法および映像システム
JP2004171591A (ja) 画像合成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4990347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250