JP2004274514A - Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium - Google Patents

Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium Download PDF

Info

Publication number
JP2004274514A
JP2004274514A JP2003064228A JP2003064228A JP2004274514A JP 2004274514 A JP2004274514 A JP 2004274514A JP 2003064228 A JP2003064228 A JP 2003064228A JP 2003064228 A JP2003064228 A JP 2003064228A JP 2004274514 A JP2004274514 A JP 2004274514A
Authority
JP
Japan
Prior art keywords
data
recording
time
reproducing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003064228A
Other languages
Japanese (ja)
Inventor
Norihiko Murata
憲彦 村田
Shin Aoki
青木  伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003064228A priority Critical patent/JP2004274514A/en
Publication of JP2004274514A publication Critical patent/JP2004274514A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data recording / reproducing system capable of properly correcting a deviation in time data between a transmitter side apparatus and a receiver side apparatus and to provide a data recording method, a program, and a recording medium. <P>SOLUTION: The data recording / reproducing system comprising the transmitter side apparatus for recording and transmitting moving picture data temporally changed and the receiver side apparatus for receiving and recording the data transmitted from the transmitter side apparatus and searching and reproducing the data on the basis of temporal data is characterized in to adopt the configuration such that the transmitter side apparatus is provided with: a data recording means for recording context data optionally selected to search later the moving picture data and moving picture data being recorded and a time corresponding to the context data as recording data; and a data transfer means for transferring a current time together with the moving picture data, the context data, and the time corresponding to the context data, and the receiver side apparatus is provided with: a time difference acquisition means for acquiring a time difference between the transmitter side apparatus and the receiver side apparatus at data transfer; and a time correction means for correcting the time in the recorded data on the basis of the acquired time difference. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、音声データや動画データなどの記録・保管、検索、再生をネットワークを介して行うことができるデータ記録再生システムに関し、特に、送信側装置と受信側装置との間の時刻データのずれを的確に修正することのできるデータ記録再生システム、データ記録方法、プログラム及び記録媒体に関するものである。
【0002】
【従来の技術】
一般に、音声データや動画データなどの記録・保管、検索、再生をネットワークを介して行うことができるデータ記録再生システムが知られている。
以下に、本発明のデータ記録再生システムに対応する先行技術について説明する。
先行技術としては、1.動画データなど時間的に変化するコンテキストデータを記録する端末装置がその記録時刻も記録することができ、この記録の際は、その端末装置をネットワークに接続しておく必要がなく、且つ、その端末装置とそのデータを保管するサーバ装置との間の時刻を利便性を低下させずに正確に合わせることができるデータ記録再生システム、データ記録方法、プログラム、及び記録媒体の技術がある。また、そのようなデータ記録再生において、メモデータとしてテキストデータや手書き画像データなど様々な種類のデータを記録対象とするデータ記録再生技術を提供している。従って、この技術により、動画撮影中にユーザが後で再生したい重要な部分と考えた箇所にメモを書き込むことで、動画データの重要な部分を簡単に検索表示できる技術がある。2.特開2000−349791公報には、ネットワーク接続された計算機間で、NTPと呼ばれるプロトコルを利用して時計を同期させる技術が開示されており、特にNTPを利用した時刻同期処理を効率化するための改良方式が提案されている。この動画検索システムでも、動画記録装置と手元端末装置の間でこのような同期処理方式を利用して、時刻を同期させることもできるとしている。
近年、例えば会議などのシーンで音声データや動画データなどをネットワークを介して専用のサーバ装置に記録・保管し、後から検索・再生するデータ記録再生システムが提供されている。
この場合、正しい検索結果を得るためには、記録・保管された動画データとメモデータの間で時刻の対応がとれている(時計が合っている)ことが必要である。すなわち、時刻合わせが必要となるが、このような時刻合わせの先行技術として、前記特開2000−349791公報が挙げられる。
【特許文献1】特開2000−349791公報
【特許文献2】特願2002−131896
【0003】
【発明が解決しようとする課題】
しかしながら、前記1.に記載されている技術は、動画撮影中にユーザが後で再生したい重要な部分と考えた箇所にメモを書き込むことを念頭に置いているが、現在市販されている携帯端末の手書きメモ又はテキストメモ入力機能は、一般に使用しづらい、入力に時間がかかるなどの問題があるため、メモ入力作業に気をとられ、重要な話をうっかり聞きそびれてしまう恐れがあった。また、「後で再生したい重要な部分」は、上述のようなユーザの恣意的な作業によってのみ規定される訳ではない。例えば、会議参加中に他の作業が割り込むなどの不慮の事情で一時的に退席した場合、当然会議後にその間のシーンを再生したくなるが、本先行技術で記載された実施の形態ではこのような場面で効果を奏しなかった。また、前述した特許文献1に示されているようなNTPによる時刻合わせは、本発明の技術分野であるデータ記録システムでも用いることができる。すなわち、動画データなどを取り込む(記録する)手元の端末装置(記録装置)と、そのデータを保管するサーバ装置との間でNTPによった同期方式を用いて時刻を同期させる。
しかしながら、このような同期を実現するためには、前記各装置を常にネットワークに接続しておく必要があり、そのため、前記手元の端末装置の接続をケーブルにより実現しようとすると、取り扱いに邪魔であるという問題が生じ、無線LANにより実現しようとすると高価であるという問題が生じる。また、事前に時刻の同期をとり、手元の端末装置の利用時には接続しないことも考えられるが、このような方法では利用手順が煩雑になり、利便性が低下する。例えば、オフィスにおける会議に個人用の端末装置を持って参加する際には、事前に自席で端末装置にケーブルを接続して、時刻合わせ処理を実行する必要があり、時刻合わせ処理を忘れたまま会議室に持参してしまった場合には、メモ記録操作をしても、時刻誤差のために後で正確な検索を行えない恐れがあった。
【0004】
本発明の目的は、記録・保管されたデータの正確な検索のために、送信側装置と受信側装置の間の時刻データを利便性を低下させずに正確に対応づけできるデータ記録再生システム、データ記録方法、プログラム及び記録媒体を提供することである。
本発明の他の目的は、コンテキストデータと共に記録する時刻を幅を持たせる形で記録できるようにすることで、一層正確かつ効率のよい記録・保管データの検索を可能としたデータ記録再生システム、データ記録方法、プログラム及び記録媒体を提供することである。
本発明の他の目的は、日常的なシーンにおいてユーザが無意識的に行う動作を、検索に役に立つデータとして入力することを可能としたデータ記録再生システム、データ記録方法、プログラム及び記録媒体を提供することである。
【0005】
【課題を解決するための手段】
前記目的を達成するために、請求項1記載の発明は、時間的に変化する動画データを記録して送信する送信側装置と、前記送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムにおいて、前記送信側装置が、動画データおよび記録中の動画データを後で検索するために任意に選択されたコンテキストデータおよびそのコンテキストデータに対応する時刻を記録データとして記録するデータ記録手段と、前記動画データおよびコンテキストデータおよびコンテキストデータに対応する時刻と共に現在時刻を転送するデータ転送手段と、を具備し、前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段とを具備したことを特徴とする。
したがって、コンテキストデータに対応する時刻および現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
また、請求項2記載の発明は、請求項1記載のデータ記録再生システムにおいて、前記データ記録手段が、前記コンテキストデータに対応する時間幅を記録するように構成したことを特徴とする。
したがって、コンテキストデータと共に記録する時刻を幅を持たせる形で記録できるようにすることで、一層正確かつ効率のよい記録・保管データの検索が可能となる。
また、請求項3記載の発明は、静止画データを記録して送信する送信側装置と、前記送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムにおいて、前記送信側装置が、静止画データおよび静止画データに対応する時刻を記録データとして記録するデータ記録手段と、前記静止画データおよび静止画データに対応する時刻と共に現在時刻を転送するデータ転送手段と、を具備し、前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段とを具備したことを特徴とする。
したがって、静止画データに対応する時刻および現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
【0006】
また、請求項4記載の発明は、請求項3に記載のデータ記録再生システムにおいて、前記送信側装置が、静止画データとしてホワイトボード画面を入力するボード画面入力手段を備えたことを特徴とする。
したがって、日常的なシーンにおいてユーザが無意識的に行う動作を、検索に役に立つデータとして入力することが可能となる。
また、請求項5記載の発明は、請求項4に記載のデータ記録再生システムにおいて、前記送信側装置が、ホワイトボード画面を斜め方向から撮影することに起因する静止画データのあおり歪みを補正するあおり補正手段を備えたことを特徴とする。
また、請求項6記載の発明は、通話時刻データを記録して送信する送信側装置と、前記送信側装置より送信された通話時刻データを受信し、その時刻データをもとに画像データを検索して再生する受信側装置とからなるデータ記録再生システムであって、前記送信側装置が、通話時刻データを記録データとして記録するデータ記録手段と、前記通話時刻と共に現在時刻を転送するデータ転送手段と、を具備し、前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段と、を具備したことを特徴とする。
したがって、通話時刻データおよび現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
また、請求項7記載の発明は、請求項6に記載のデータ記録再生システムにおいて、前記送信側装置が、更に通話している位置情報を記録する場所記録手段を備えたことを特徴とする。
【0007】
また、請求項8記載の発明は、時間的に変化する動画データを記録して送信する送信側装置と、前記送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、前記送信側装置において動画データおよび記録中の動画データを後で検索するために任意に選択されたコンテキストデータおよびそのコンテキストデータに対応する時刻を記録データとして記録するデータ記録ステップと、前記動画データおよびコンテキストデータおよびコンテキストデータに対応する時刻と共に現在時刻を転送するデータ転送ステップと、前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップとを具備したことを特徴とする。
したがって、コンテキストデータに対応する時刻および現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
また、請求項9記載の発明は、請求項8に記載のデータ記録再生方法において、前記コンテキストデータに対応する時間幅を記録することを特徴とする。
また、請求項10記載の発明は、静止画データを記録して送信する送信側装置と、前記送信側装置より送信されたデータを受信して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、前記送信側装置において静止画データおよび静止画データに対応する時刻を記録データとして記録するデータ記録ステップと、前記静止画データおよび静止画データに対応する時刻と共に現在時刻を転送するデータ転送ステップと、前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップとを具備したことを特徴とする。
したがって、静止画データに対応する時刻および現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
また、請求項11記載の発明は、請求項10に記載のデータ記録再生方法において、静止画データとしてホワイトボード画面を入力することを特徴とする。
また、請求項12記載の発明は、請求項11記載のデータ記録再生方法において、請求項11に記載のデータ記録再生方法において、ホワイトボード画面を斜め方向から撮影することに起因する、静止画データのあおり歪みを補正することを特徴とする。
【0008】
また、請求項13記載の発明は、通話時刻データを記録して送信する送信側装置と、前記送信側装置より送信された通話時刻データを受信し、その時刻データをもとに画像データを検索して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、前記送信側装置において通話時刻データを記録データとして記録するデータ記録ステップと、前記通話時刻と共に現在時刻を転送するデータ転送ステップと、前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップと、を具備したことを特徴とする。
したがって、通話時刻データおよび現在時刻に基づいて送信側装置と受信側装置との間の時刻差を取得して時刻の補正を行うので記録・保管されたデータの正確な検索を行うことができる。
また、請求項14記載の発明は、請求項13に記載のデータ記録再生方法において、更に通話している場所を記録することを特徴とする。
また、請求項15記載の発明は、データ記録再生プログラムにおいて、請求項8乃至請求項14のいずれか1項に記載のデータ記録再生方法に従ってプログラミングしたことを特徴とする。
また、請求項16記載の発明は、記録媒体において、請求項15に記載のデータ記録再生プログラムを記録したことを特徴とする。
【0009】
【発明の実施の形態】
以下に添付の図を参照してこの発明の実施形態を詳細に説明する。
図1は、本発明によるデータ記録再生システムの第1の実施形態の構成ブロック図である。
図1に示すように、このデータ記録再生システムは、動画表示操作を行う動画表示用PC1(受信側装置)と、ビデオデータ配信を行うビデオサーバ3と、NTPサーバ5とが、ネットワーク7を通じて接続される構成となっている。そして、時刻記録操作を行う携帯端末9(送信側装置)が、動画表示用PC1とシリアルインターフェースで接続可能となっている。
図2は、図1に示した携帯端末9の構成ブロック図である。
図2に示すように、この携帯端末9は、プログラムを実行するためのCPU11と、メモリ13と、データ表示用の液晶ディスプレイ15と、入力用のタッチパネル17と、PC1との接続のためのシリアルインターフェース19と、入力用のキーボード21と、クロック23とが、バス25を介して接続されている。タッチパネル17は、ユーザがペンで接触したことを検知し、ペンがパネルに触れた場合にはペンダウン信号、ペンがパネルに触れたまま移動した場合にはペンムーブ信号、ペンがパネルから離れた場合にはペンアップ信号、及びその位置(XY座標値)信号を出力する。また、ディスプレイ15に表示されたボタンなどに対してユーザが操作できるように、ディスプレイ15の表示面に重ねて設置される。
【0010】
このデータ記録再生システムの全体の動作について説明すると、まず、携帯端末9(送信側装置)を動画表示用PC1(受信側装置)と接続しない状態において、タッチパネル17を備えた携帯端末9上で、付属のペン又は指によるタップ動作により情報を取得し、時刻情報と共に自身のメモリ13に記録する。すなわち、時刻記録操作時には、携帯端末9は独立して動作する。
その後、携帯端末9を動画表示用PC1に接続し、携帯端末9において記録された時刻データを転送する際に、時刻を補正するための情報を付加して動画表示用PC1に転送する。転送された画像データはビデオサーバ3に記録される。動画表示用PC1とビデオサーバ3の時計はあらかじめNTPサーバ5と同期させておく。
その後、動画表示用PC1では、転送された時刻データに従い、ネットワーク7上のビデオサーバ3に記録された動画データを検索し表示する。
【0011】
前記全体動作を実現するために、携帯端末上で動作する記録プログラム、記録プログラムによって記録されたデータを動画表示用PC1へ送信する送信プログラム、動画表示用PC側の受信プログラム、動画表示用PC1上で動作する動画表示プログラム、ビデオサーバ3上で動作する動画配信プログラム等が備えられている。
以下、前記各プログラムによる動作について説明する。
前記携帯端末上で動作する記録プログラムは、携帯端末9上で動作し、ユーザの操作により、記録中の動画データを後で検索するためのコンテキストデータ及び時刻データを記録し、メモリ13上に保存する役割を果す。この時、前記コンテキストデータはユーザが任意に選択できるものとする。
図3は、前記携帯端末9上で動作する記録プログラムによる記録動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.画面表示(ステップ101)
図4に示す内容をディスプレイ15上に表示する。画面最上部には、現在の章(chapter)番号が表示される。また、画面最下部に「End」ボタンがあり、その間には前記コンテキストデータを示すボタンが複数表示される。これらのボタンの意味は、下記の通りである。
「Chapter」ボタン:話題の転換点など、シーンの切れ目を意図的に入れる場合に押される。
「Important」ボタン:現在のシーンが後に重要な意味を持つと思われる場合に押される。
「I missed!」ボタン:居眠りをした、途中退席したなどの原因で、会話を聞き逃した場合や重要なシーンを見逃した場合に押される。
「That’s OK」ボタン:現在目や耳に入っていることは完全に理解したので、後で振り返る必要がないという場合に押される。
「Conclusion」ボタン:会議などのイベントにおいて、結論が出た時点で押される。
「End」ボタン:記録プログラムを終了する場合に押される。
2.ペン指示入力(ステップ103)
ユーザがペンを使い、前記ボタンをタップする操作を行う。
3.Endボタン?(ステップ105)
ペンが触れた位置を取得し、それが「End」ボタンの上であれば、処理を終了する。それ以外のボタンの上であれば、次の「データ記録」ステップに進む。
4.データ記録(ステップ107)
これまで記録された時刻とコンテキストデータの内容を、メモリ13上に記録する。ここで記録データは図5に示すようなフォーマットとなっている。最初の「時刻修正フラグ」は、時刻データが修正されているか否かを示す。記録プログラムで記録する場合は、(修正されていないので)その値は0とする。以下、コンテキストデータを追加した時刻とその内容が、記録された個数だけ続く。
ここで、前記コンテキストデータに対応する時刻は瞬時のものではなく、時間的な幅(タイムスパン)を持つことがある。そこで、前記ボタンのうち「Chapter」ボタンと「End」ボタン以外のボタンが押された時、図6のような画面を表示し、タイムスパンを入力させると好適である。
データ記録後に処理を終了し、その後「ペン指示入力」ステップ103に戻り、前記の通り処理を繰り返す。
【0012】
次に、前記記録プログラムによって記録されたデータを動画表示用PC1へ送信する送信プログラムは、携帯端末9上で実行されるプログラムであり、携帯端末9で記録された時刻及びコンテキストデータを、シリアルケーブルで接続された動画表示用PC1へ送信する。また、通信時に携帯端末9の時計のずれを補正するため、現在時刻も送信する。
図7は、前記携帯端末9上で動作する送信プログラムによる送信動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.現在時刻(ステップ201)
通信開始時に携帯端末9の持つ時計での現在時刻を送信する。
2.記録データ送信(ステップ203)
記録プログラムによって記録された、時刻データとコンテキストデータを読み込み、シリアルインターフェースへ送信する。
【0013】
次に、動画表示用PC1側の受信プログラムは、前記送信プログラムを携帯端末9上で実行中に、接続された動画表示用PC1上で実行され、シリアルケーブルで接続された携帯端末9で記録された時刻及びコンテキストデータを受信し、時刻を補正して記録する。
図8は、前記動画表示用PC1側の受信プログラムによる受信動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.現在時刻受信(ステップ301)
携帯端末9側の時計の示す現在時刻を受信する。また、NTPプロトコルを利用してNTPサーバ5に時刻情報を要求し、現在時刻を受信する。
2.記録データ受信(ステップ303)
携帯端末9によって記録された図5に示すデータを受信する。
3.時刻補正済み?(ステップ305)
図5に示した「時刻修正フラグ」の内容に従い、未補正(0)の場合は、「時刻差計測」ステップ307へ進む。これは、記録プログラムによって記録されたデータを初めて読み込んだ場合の動作である。「時刻修正フラグ」が補正済み(1)の場合は、「データ保存」ステップ311へ進む。これは、少なくとも1度は受信プログラムによって修正されたデータを読み込んだ場合の動作である。
4.時刻差計測(ステップ307)
受信した携帯端末9側の現在時刻と、NTPサーバ5から受信した現在時刻との差を求める。
5.時刻修正(ステップ309)
計測された時刻差に従い、携帯端末9より受信された時刻データを修正する。また、このとき携帯端末9のデータにおける「時刻補正フラグ」(図5参照)を修正済み(1)に書き替える。これにより、以後の処理で2重に補正してしまうことを防ぐ。
6.データ保存(ステップ311)
時刻の修正されたコンテキストデータを、時刻と共に動画表示用PC1のハードディスク上に記録する。
【0014】
次に、ビデオサーバ3上で動作する動画再生プログラムは、動画撮影及び記録ブログラム実行後に、携帯端末9をネットワークに接続した状態で実行されるプログラムであり、記録プログラムによって記録された時刻データを読み込む。その後、必要であれば記録された時刻データを修正後、時刻データに対応する動画データをビデオサーバ3に要求し、記録された時刻に相当する動画を再生する。図9は、前記ビデオサーバ3上で動作する動画再生プログラムによる動画再生動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.記録データ読み込み(ステップ401)
前記の記録プログラムによって記録された、または動画再生プログラムによって修正された、ハードディスク上のデータを読み込み、メモリ内に記録する。
2.画面表示(ステップ403)
章番号、時刻データ及びコンテキストデータに従い、図10に示すウインドウを表示する。ウインドウ内には、章番号と、修正された時刻と、それに対応するコンテキストデータを1行ごとに表示する。このとき、コンテキストデータには、その時刻と同時刻のビデオデータへのリンクが張られている。記録データの個数が多くウインドウに入りきらない場合は、ウインドウ右端にスクロールバーを表示し、ユーザ操作に従い表示範囲を変更する。
3.マウス指示入力(ステップ405)
ユーザがマウスを使いボタンまたは前記リンク部分をクリックする。
4.終了ボタン?(ステップ407)
クリック時のマウスカーソル位置を取得し、それが「終了」ボタン上であれば処理を終了する。前記リンク上であれば、動画データ表示ステップ409へ進む。
5.動画データ表示(ステップ409)
クリックされたマウスカーソル位置に表示したリンクの時刻をメモリから読み出す。ここで、タイムスパンを持つ場合は、その開始時刻がメモリから読み出される。その時刻に対応するビデオデータをビデオサーバへ要求し、受信した動画データを表示する。
本実施の形態では、補正のための時刻情報の取得にNTPプロトコルを利用したが、他のプロトコルを利用しても良い。例えば、多少の誤差を許容するならば、単純なHTTPプロトコルを利用しても同様な機能を実現可能である。
また本実施の形態では、記録された時刻の動画を表示することを目的としたが、音声、アニメーションなど、時間的に変化する他の形式の情報に適用しても同様に有効である。
【0015】
次に、ビデオサーバ3上で動作する動画配信プログラムにおいては、前記ビデオサーバ3に対する再生要求は、HTTPプロトコルで、GET/view.cgi?time=2001/8/30.15:35:24という形式のテキスト情報とする。上の例では、2001年8月30日15時35分24秒のデータを要求している。ビデオサーバ3は、このような要求に対して記録された動画データのなかから、15時35分24秒以降の部分を送信する。ビデオサーバ3上の時計は、NTPサーバ5に対して正確に同期させておく。または、ビデオサーバ3がNTPサーバ機能を兼ねても良い。図11は、本発明によるデータ記録再生システムの第2の実施形態の構成ブロック図である。
図11に示すように、このデータ記録再生システムは、動画表示操作を行う動画表示用PC1と、ビデオデータ配信を行うビデオサーバ3と、NTPサーバ5とが、ネットワーク7を通じて接続される構成となっている。そして、画像記録操作を行うデジタルカメラ27が、動画表示用PC1とシリアルインターフェースで接続可能となっている。
【0016】
図12は、図1に示したデジタルカメラ27の構成ブロック図である。
図12に示すように、このデジタルカメラ27は、システム制御部31と、撮像部33と、画像処理部35と、ファインダー表示制御部37と、記録メディアインターフェイス部39と、ハードキーインターフェイス部41と、時刻管理と計時を行うクロック43と、外部インターフェイス部45とが、バス47を介して接続されており、ファインダー表示制御部37にファインダー表示器49が、記録メディアインターフェイス部39に記録メディア51が接続されている。
そして、システム制御部31が、デジタルカメラ全体の制御を行うために設けられたCPU(Central Processing Unit)、メモリ、タイマー等からなり、撮像部33が、撮像のために設けられた光学系部品(レンズ及びレンズ駆動モータ)、CCD(Charge Coupled Device)、CCD駆動回路、A/D変換器等からなり、画像処理部35が、撮像部33で得られた画像信号に種々の画像処理を施すと共に撮像部のCCD駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行い、画像の圧縮伸長を行うために設けられた画像処理用DSP(Digital Signal Processor)、メモリ等からなる。
【0017】
また、ファインダー表示制御部37が、画像処理部35で処理された画像信号をファインダー内部に設置された表示器へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し該表示器へ表示するために設けられた、D/A変換器、オンスクリーンディスプレイコントローラ等からなり、記録メディアインターフェイス部39が、前記撮像部33の光学系に入射する像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたファインダー表示器、記録メディアとのインターフェイスのために設けられた、メモリカードコントローラ等からなる。
また、ハードキーインターフェイス部41が、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルカメラから着脱可能な記録メディア、後述するレリーズSW、図示されていないキー、ダイアル等のユーザーインターフェイスのためのハードウェアの状態を検出するために設けられたパラレルポート等からなり、外部インターフェイス部45が、PCなどの外部機器と接続するためのUSB(Universal Serial Bus)などのインターフェースからなる。
また、画像記録操作を行うデジタルカメラ27は、動画表示用PCとシリアルインターフェースで接続可能である。
【0018】
このデータ記録再生システムの第2の実施形態の全体の動作としては、デジタルカメラ27は、レリーズボタンの押下動作を取得し、撮影された画像を時刻情報と共に記録する。その後、動画表示用PC1と接続し、記録された時刻データを転送する際に、時刻を補正するための情報を付加する。動画表示用PC1とビデオサーバ3の時計はあらかじめNTPサーバ5と同期させておく。
すなわち、記録時には、デジタルカメラ27は動画表示用PC1及びネットワークから独立して動作する。記録後、デジタルカメラ27をシリアルケーブルで動画表示用PC1へ接続し、画像データ及び時刻データを転送する。転送された画像データはビデオサーバ3に記録される。
その後、動画表示用PC1では、転送された時刻データに従い、ネットワーク上のビデオサーバ3に記録された動画データを検索し表示する。
前記全体動作を実現するために、デジタルカメラ27による記録動作プログラム、デジタルカメラ27によって記録されたデータを動画表示用PC1へ送信する送信プログラム、動画表示用PC1側の受信プログラム、動画表示用PC1上で動作する動画表示プログラム、ビデオサーバ3上で動作する動画配信プログラム等が備えられている。
前記デジタルカメラ27による記録プログラムによる記録動作としては、既に世の中で一般に行われているように、ユーザがデジタルカメラを操作して被写体を撮影し、撮影された画像データを時刻データと共に記録し、記録メディア51上に保存する。
【0019】
図13は、前記デジタルカメラ27による記録プログラムによる記録動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.電源オン(ステップ501)
図示しない電源スイッチを切り替えることにより、デジタルカメラ27の電源をオンにする。
2.シャッターボタン?(ステップ503)
ユーザがシャッターボタンが押されたかを検出する。押された場合、「データ記録」ステップ505に進み、そうでない場合は「電源オフ?」ステップ507に進む。
3.データ記録(ステップ505)
通常の撮影動作を行う。すなわち、フォーカシング、露出調整等の処理を開始し、該処理が終わると、CCDに露光された画像を記録メディア51に記録する。実施の形態1と同様に、記録データには、時刻及び「時刻修正フラグ」が記されている。ここで記録データが、EXIF(Exchangeable Image File format)形式である場合には、そのヘッダ情報中のUser Commentと呼ばれるユーザが任意のコメントを記述することができるフィールドに、該時刻修正フラグの値を記録することができる。データ記録後には「シャッターボタン?」ステップ503に戻り、前記の通り処理を繰り返す。
4.電源オフ?(ステップ507)
ユーザが図示しない電源スイッチを切り替えることにより、電源がオフになったのを検出すると、処理を終了する。そうでない場合は、「シャッターボタン?」ステップに戻り、前記の通り処理を繰り返す。
【0020】
ここで、記録対象シーンが会議である場合は、ホワイトボードの画面をデジタルカメラで撮影すれば、該画面情報を用意にデジタル化してPCに取り込むことができるため、大変好適である。このとき、ホワイトボードを斜めから撮影したことにより生じる画像上の歪み(以下「あおり歪み」と呼ぶ)を補正できれば、視認性が向上するなどの効果が生ずるが、本出願人は下記の通り、デジタルカメラ等の画像機器により記録された画像におけるあおり歪みを補正する発明を、既に出願している。
1.特開2000−307947
平面状の被写体を撮影すると共に、該平面の向きを検出することにより、撮影した画像のあおり歪みを補正する。
2.特開2001−134751
平面状の被写体を少なくとも2箇所から撮影し、該2枚の画像からあおり歪みの補正された画像を出力する。
3.特開2001−177716
平面状の被写体を撮影し、該平面状の被写体の実際の形状情報を利用することにより、撮影した画像のあおり歪みを補正する。
これらの技術をデータ記録時に適用し、あおり歪みの補正された画像を記録メディアに記録することにより、一層利便性を高めることができる。
【0021】
次に、デジタルカメラ27によって記録されたデータを動画表示用PC1へ送信する送信プログラムは、デジタルカメラ27上で実行されるプログラムであり、デジタルカメラ27で記録された時刻及び画像データを、シリアルケーブルで接続された動画表示用PC1へ送信する。また、通信時にデジタルカメラ27の時計のずれを補正するため、現在時刻も送信する。その動作は、実施の形態1と同様であり、実施の形態1の説明において、「携帯端末」を「デジタルカメラ」に、「コンテキストデータ」を「画像データ」と読み替えればよいので詳しい説明は省略する。
次に、動画表示用PC1側の受信プログラムは、前記送信プログラムをデジタルカメラ27上で実行中に、接続された動画表示用PC1上で実行される。シリアルケーブルで接続されたデジタルカメラ27で記録された時刻及び画像データを受信し、時刻を補正して記録する。その動作は、実施の形態1と同様であり、実施の形態1の説明において、「携帯端末」を「デジタルカメラ」に、「コンテキストデータ」を「画像データ」と読み替えればよいので詳しい説明は省略する。
【0022】
次に、動画表示用PC1上で動作する動画表示プログラムは、動画撮影及び前記記録動作実行後に、デジタルカメラ27をネットワークに接続した状態で実行されるプログラムである。デジタルカメラ27によって記録された時刻データ及び画像データを読み込む。その後、必要であれば記録された時刻データを修正後、時刻データに対応する動画データをビデオサーバ3に要求し、記録された時刻に相当する動画を再生する。
フローチャートは実施の形態1と同様に、図9に示される。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.記録データ読み込み(ステップ401)
デジタルカメラ27によって記録された、または動画再生プログラムによって修正された、ハードディスク上のデータを読み込み、メモリ内に記録する。
2.画面表示(ステップ403)
時刻データ及び画像データに従い、図14に示すウインドウを表示する。ウインドウ内には、修正された時刻と、それに対応する画像データを表示する。このとき、画像データには、その時刻と同時刻のビデオデータへのリンクが張られている。記録データの個数が多くウインドウに入りきらない場合は、ウインドウ右端にスクロールバーを表示し、ユーザ操作に従い表示範囲を変更する。
3.マウス指示入力(ステップ405)
ユーザがマウスを使いボタンまたは前記リンク部分をクリックするのを待つ。
4.終了ボタン?(ステップ407)
クリック時のマウスカーソル位置を取得し、それが「終了」ボタン上であれば処理を終了する。前記リンク上であれば、動画データ表示ステップへ進む。
5.動画データ表示(ステップ409)
クリックされたマウスカーソル位置に表示したリンクの時刻をメモリから読み出す。先行技術(特願2002−131896)と同様に、その時刻に対応するビデオデータをビデオサーバ3へ要求し、受信した動画データを表示する。
次に、ビデオサーバ3上で動作する動画配信プログラムは、実施の形態1と同様であるので説明を省略する。
【0023】
図15は、本発明によるデータ記録再生システムの第3の実施形態の構成ブロック図である。
図15に示すように、このデータ記録再生システムは、動画表示操作を行う動画表示用PC1と、ビデオデータ配信を行うビデオサーバ3と、NTPサーバ5とが、ネットワーク7を通じて接続される構成となっている。そして、通話開始・終了時のボタンの押下動作を取得し、通話開始・終了時の時刻を記録する携帯電話53が、動画表示用PC1とシリアルインターフェースで接続可能となっている。
このデータ記録再生システムの全体動作を説明すると、携帯電話53の通話開始・終了時のボタンの押下動作を取得し、通話開始・終了時の時刻を記録する。その後、動画表示用PC1と接続し、記録された時刻データを転送する際に、時刻を補正するための情報を付加する。動画表示用PC1とビデオサーバ3の時計はあらかじめNTPサーバ5と同期させておく。
すなわち、記録時には、携帯電話53は動画表示用PC1及びネットワークから独立して動作する。記録後、携帯電話53をシリアルケーブルで動画表示用PC1へ接続し、通話時刻データを転送する。動画表示用PC1では、転送された時刻データに従い、ネットワーク上のビデオサーバ3に記録された動画データを検索し表示する。
【0024】
前記全体動作を実現するために、携帯電話53による通話時刻記録動作プログラム、通話時刻データを動画表示用PC1へ送信する送信プログラム、動画表示用PC1側の受信プログラム、動画表示用PC1上で動作する動画表示プログラム、ビデオサーバ3上で動作する動画配信プログラム等を備えている。
前記通話時刻記録動作プログラムは、既に世の中で一般に行われているように、ユーザが携帯電話を操作して通話動作を行い、通話開始・終了時刻を記録し、メモリ上に保存する。
図16は、前記携帯電話53による通話時刻記録動作プログラムによる記録動作のフローチャートである。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.電源オン(ステップ601)
電源スイッチを切り替えることにより、携帯電話53の電源をオンにする。
2.通話開始?(ステップ603)
ユーザが電話をかけたとき、又はユーザに電話がかかってきたときに、図示しない通話開始ボタンの押下を検知する。押された場合、「第1の時刻記録」ステップに進み、そうでない場合は「電源オフ?」ステップ613に進む。
3.第1の時刻記録(ステップ605)
通話開始ボタンが押された時の時刻をメモリに記録する。
4.通話終了?(ステップ609)
ユーザが図示しない通話終了ボタンを切り替えることにより、通話が終了したのを検出すると、「第2の時刻記録」ステップ611に進み、そうでない場合は、このステップを繰り返し、通話を継続する。
5.第2の時刻記録(ステップ611)
通話終了ボタンが押された時の時刻をメモリに記録する。ここで、実施の形態1と同様に、記録データには、通話開始時刻、通話終了時刻のほか、「時刻修正フラグ」が記される。
また、近年GPS(Global Positioning System)アンテナを搭載した携帯電話が市販されるようになったが、この時GPSにより検出された位置情報を前記時刻データと共に記録すれば、記録対象シーンの場所情報を無意識的に入力することができ、非常に好適である。
6.電源オフ?(ステップ613)
ユーザが電源スイッチを切り替えることにより、電源がオフになったのを検出すると、処理を終了する。そうでない場合は、「通話開始?」ステップ603に戻り、前記の通り処理を繰り返す。
【0025】
次に、通話時刻データを動画表示用PC1へ送信する送信プログラムは、携帯電話53上で実行されるプログラムであり、携帯電話で記録された時刻を、シリアルケーブルで接続された動画表示用PC1へ送信する(ここで、取得した画像データ(動画あるいは静止画)を一緒に送っても良い)。また、通信時に携帯電話53の時計のずれを補正するため、現在時刻も送信する。その動作は、実施の形態1と同様であり、実施の形態1の説明において、「携帯端末」を「携帯電話」と読み替えればよいので詳しい説明は省略する。
次に、動画表示用PC1側の受信プログラムは、前記送信プログラムを携帯電話53上で実行中に、接続された動画表示用PC1上で実行される。シリアルケーブルで接続された携帯電話53で記録された時刻データを受信し、時刻を補正して記録する。その動作は、実施の形態1と同様であり、実施の形態1の説明において、「携帯端末」を「携帯電話」と読み替えればよいので詳しい説明は省略する。
【0026】
次に、動画表示用PC1上で動作する動画表示プログラムは、動画撮影及び前記記録動作実行後に、携帯電話53をネットワークに接続した状態で実行されるプログラムである。携帯電話53によって記録された時刻データを読み込み、必要であれば記録された時刻データを修正後、時刻データに対応する動画データをビデオサーバ3に要求し、記録された時刻に相当する動画を再生する。
フローチャートは実施の形態1と同様に、図9に示される。以下フローチャートの各ステップごとにプログラムの動作を説明する。
1.記録データ読み込み(ステップ401)
携帯電話53によって記録された、または動画再生プログラムによって修正された、ハードディスク上のデータを読み込み、メモリ内に記録する。
2.画面表示(ステップ403)
時刻データ及び画像データに従い、図17に示すウインドウを表示する。ウインドウ内には、日付、場所(必要であれば)、修正された通話開始時刻、通話終了時刻、及び通話データを表示する。ここで、通話データは、
・通話相手
・自分からかけたのか、それとも相手からかかってきたのか
の2つの情報からなり、これらは既に市販されている携帯電話で記録可能である。
このとき、通話データには、その時刻と同時刻のビデオデータへのリンクが張られている。記録データの個数が多くウインドウに入りきらない場合は、ウインドウ右端にスクロールバーを表示し、ユーザ操作に従い表示範囲を変更する。
3.マウス指示入力(ステップ405)
ユーザがマウスを使いボタンまたは前記リンク部分をクリックするのを待つ。
4.終了ボタン?(ステップ407)
クリック時のマウスカーソル位置を取得し、それが「終了」ボタン上であれば処理を終了する。前記リンク上であれば、動画データ表示ステップへ進む。
5.動画データ表示(ステップ409)
クリックされたマウスカーソル位置に表示したリンクの時刻をメモリから読み出す。先行技術(特願2002−131896)と同様に、その時刻に対応するビデオデータをビデオサーバ3へ要求し、受信した動画データを表示する。
【0027】
次に、ビデオサーバ3上で動作する動画配信プログラムは、実施の形態1と全く同様であるので説明は省略する。
また、本発明に係るデータ記録再生システムは、実施の形態1乃至3で説明した機器に、前記実施の形態で説明したプログラムを格納した記録媒体を読み取らせることにより、その機能を実現させることができる。例えば、図18(a)に示されるように、各プログラムを格納した記録メディア61を、携帯端末63に装着し、適宜該プログラムを実行させることにより、その機能を実現させることができる。また、図18(b)に示されるように、各プログラムを格納した記録メディア65を、それを読み取り可能なデジタルカメラ67に装着し、適宜該プログラムを実行させることにより、その機能を実現させることができる。
なお、該プログラムを格納する記録媒体は前記例に限られないことはいうまでもない。
以上の各実施の形態は、本発明の一例を説明したにすぎない。すなわち、本発明の権利範囲を前記実施の形態の通りに不当に限定・縮小すべきではなく、下記のように、本発明の構成要素を別の要素に変更した例も、本発明と均等の発明として権利範囲に含まれる。
例えば、第1の実施の形態において、携帯端末を例に挙げて動作を説明したが、前記コンテキストデータを記録するアプリケーションを携帯電話にインストールした場合も、前記実施の形態と同様の機能を実現することができる。このように別の形態の端末を利用した場合であっても、本願の権利範囲に含まれる。
また、前記実施の形態において、携帯端末、デジタルカメラ、及び携帯電話を動画表示用PCに接続すると説明したが、これ以外の接続形態であっても構わない。例えば、携帯端末や携帯電話を直接ネットワークに接続して、前記と同様の動作を実現した場合も、本願の権利範囲に含まれる。また、記録されるデータの形態も動画や静止画等に限られず音声やその他の形態でも適用できる。
【0028】
【発明の効果】
本発明によれば、正確な検索のために時刻記録装置と動画記録装置の間の時刻データを、利便性を低下させずに正確に対応づけでき、非常に簡単な操作で正確かつ効率のよい検索が可能となる。
また、コンテキストデータと共に記録する時刻を、幅を持たせる形で記録できるようにすることで、一層正確かつ効率のよい検索が可能となる。
また、日常的なシーンにおいてユーザが無意識的に行う動作を、検索に役に立つデータとして入力することが可能となる。
【図面の簡単な説明】
【図1】本発明によるデータ記録再生システムの第1の実施形態の構成ブロック図である。
【図2】図1に示した携帯端末の構成ブロック図である。
【図3】記録プログラムによる記録動作のフローチャートである。
【図4】記録プログラムによるディスプレイ上の表示例を示す図である。
【図5】記録プログラムにより記録されるデータ構造を示す図である。
【図6】記録プログラムのタイムスパン入力画面を示す図である。
【図7】送信プログラムによる送信動作のフローチャートである。
【図8】受信プログラムによる受信動作のフローチャートである。
【図9】動作再生プログラムによる動作再生動作のフローチャートである。
【図10】動作再生プログラムによるディスプレイ上の表示例を示す図である。
【図11】本発明によるデータ記録再生システムの第2の実施形態の構成ブロック図である。
【図12】図11に示したデジタルカメラの構成ブロック図である。
【図13】図11に示したデジタルカメラの動作フローチャートである。
【図14】動作再生プログラムによるディスプレイ上の表示例を示す図である。
【図15】本発明によるデータ記録再生システムの第3の実施形態の構成ブロック図である。
【図16】図15に示す携帯電話の動作フローチャートである。
【図17】動作再生プログラムによるディスプレイ上の表示例を示す図である。
【図18】本発明による他の実施形態の概念図である。
【符号の説明】
1…動作表示用PC、3…ビデオサーバ、5…NTPサーバ、7…ネットワーク、9…携帯端末、11…CPU、13…メモリ、15…ディスプレイ、17…タッチパネル、19…シリアルインターフェース、21…キーボード、23…クロック、25…バス、27…デジタルカメラ、31…システム制御部、33…撮像部、35…画像処理部、37…ファインダー表示制御部、39…記録メディアインターフェイス部、41…ハードキーインターフェイス部、43…クロック、45…外部インターフェイス部、47…バス、49…ファインダー表示器、51…記録メディア、53…携帯電話
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a data recording / reproducing system capable of performing recording / storage, retrieval, and reproduction of audio data, moving image data, and the like via a network, and particularly to a time data shift between a transmitting device and a receiving device. And a data recording / reproducing system, a data recording method, a program, and a recording medium that can accurately correct the above.
[0002]
[Prior art]
2. Description of the Related Art In general, a data recording / reproducing system capable of recording / saving, retrieving, and reproducing audio data and moving image data via a network is known.
Hereinafter, a prior art corresponding to the data recording / reproducing system of the present invention will be described.
Prior art includes: A terminal device that records time-varying context data such as moving image data can also record the recording time. In this recording, there is no need to connect the terminal device to a network, and There are techniques of a data recording / reproducing system, a data recording method, a program, and a recording medium capable of accurately adjusting the time between the apparatus and a server apparatus for storing the data without reducing convenience. Further, in such data recording / reproducing, a data recording / reproducing technique for recording various types of data such as text data and handwritten image data as memo data is provided. Therefore, there is a technology that allows a user to easily search and display an important part of moving image data by writing a memo at a position that the user considers to be an important part to be reproduced later during moving image shooting. 2. Japanese Patent Application Laid-Open No. 2000-349791 discloses a technique for synchronizing clocks between computers connected to a network using a protocol called NTP. In particular, a technique for improving the efficiency of time synchronization processing using NTP is disclosed. An improved scheme has been proposed. In this moving image search system as well, the time can be synchronized between the moving image recording device and the local terminal device using such a synchronization processing method.
2. Description of the Related Art In recent years, a data recording / reproducing system for recording and storing audio data, moving image data, and the like in a dedicated server device via a network in a scene such as a conference and searching / reproducing the data later has been provided.
In this case, in order to obtain a correct search result, it is necessary that the time between the recorded and stored moving image data and the memo data be in correspondence (the clock is set). That is, time adjustment is required, and as a prior art of such time adjustment, there is Japanese Patent Application Laid-Open No. 2000-349791.
[Patent Document 1] JP-A-2000-349791
[Patent Document 2] Japanese Patent Application No. 2002-131896
[0003]
[Problems to be solved by the invention]
However, 1. While the technique described in is intended to write notes at the point that the user considers to be important parts to be played back later during movie shooting, handwritten notes or texts of mobile terminals currently on the market are Since the memo input function is generally difficult to use and takes a long time to input, there is a risk that the memo input operation may be distracted and an important story may be inadvertently heard. Further, the "important part to be reproduced later" is not limited only by the user's arbitrary work as described above. For example, if a person temporarily leaves due to unforeseen circumstances such as interruption of other work while participating in a conference, naturally he or she would like to play back the scene during the conference, but in the embodiment described in the prior art, Did not work in any situation. The time adjustment by NTP as described in Patent Document 1 described above can also be used in a data recording system in the technical field of the present invention. That is, the time is synchronized between the terminal device (recording device) at hand that captures (records) moving image data and the like and the server device that stores the data by using a synchronization method based on NTP.
However, in order to realize such synchronization, it is necessary to always connect each of the devices to a network. Therefore, if the connection of the terminal device at hand is to be realized by a cable, it is an obstacle to handling. The problem arises that if it is to be realized by a wireless LAN, it is expensive. In addition, it is conceivable that the time is synchronized in advance and the connection is not made when using the terminal device at hand. However, such a method complicates the use procedure and reduces convenience. For example, when participating in a meeting in an office with a personal terminal device, it is necessary to connect the cable to the terminal device in advance and execute the time adjustment process at your own seat, and leave the time adjustment process forgotten. If the user brought it to the conference room, there was a risk that even if the memo recording operation was performed, an accurate search could not be performed later because of a time error.
[0004]
An object of the present invention is to provide a data recording / reproducing system capable of accurately associating time data between a transmitting device and a receiving device without deteriorating convenience, for an accurate search of recorded / stored data, A data recording method, a program, and a recording medium are provided.
Another object of the present invention is to provide a data recording / reproducing system which enables more accurate and efficient retrieval of recorded / stored data by enabling recording of time to be recorded together with context data in a form having a wide range. A data recording method, a program, and a recording medium are provided.
Another object of the present invention is to provide a data recording / reproducing system, a data recording method, a program, and a recording medium which enable a user to input an unconscious operation in a daily scene as data useful for search. That is.
[0005]
[Means for Solving the Problems]
In order to achieve the object, the invention according to claim 1 is a transmitting apparatus that records and transmits time-varying moving image data, and receives and records data transmitted from the transmitting apparatus, In a data recording / reproducing system comprising a receiving apparatus for searching and reproducing based on time data, the transmitting apparatus may select a context arbitrarily selected for later searching for moving image data and moving image data being recorded. A data recording unit that records data and a time corresponding to the context data as recording data; and a data transfer unit that transfers a current time together with the moving image data, the context data, and a time corresponding to the context data. Time difference acquiring means for acquiring a time difference between the transmitting device and the receiving device during the data transfer; It has and a time correction means for correcting the time during the recording data on the basis of by time difference and said.
Therefore, the time difference between the transmitting device and the receiving device is obtained based on the time corresponding to the context data and the current time, and the time is corrected. Can be.
According to a second aspect of the present invention, in the data recording / reproducing system according to the first aspect, the data recording means is configured to record a time width corresponding to the context data.
Therefore, by enabling the time to be recorded together with the context data to be recorded with a certain width, more accurate and efficient retrieval of recorded / stored data becomes possible.
According to a third aspect of the present invention, there is provided a transmitting apparatus for recording and transmitting still image data, receiving and recording data transmitted from the transmitting apparatus, and searching and reproducing based on time data. A data recording / reproducing system comprising: a receiving device that performs recording on a still image data and a time corresponding to the still image data as recording data; Data transfer means for transferring the current time together with the corresponding time, the receiving apparatus, the time difference obtaining means for obtaining a time difference between the transmitting apparatus and the receiving apparatus at the time of the data transfer, Time correction means for correcting a time in the recording data based on the acquired time difference.
Therefore, the time difference between the transmitting device and the receiving device is obtained based on the time corresponding to the still image data and the current time, and the time is corrected, so that the recorded and stored data can be accurately searched. be able to.
[0006]
According to a fourth aspect of the present invention, in the data recording / reproducing system according to the third aspect, the transmitting device includes a board screen input unit for inputting a whiteboard screen as still image data. .
Therefore, it is possible to input an operation performed unconsciously by the user in a daily scene as data useful for search.
According to a fifth aspect of the present invention, in the data recording / reproducing system according to the fourth aspect, the transmitting device corrects a tilt distortion of still image data caused by capturing a whiteboard screen from an oblique direction. A tilt correction means is provided.
According to a sixth aspect of the present invention, there is provided a transmitting apparatus for recording and transmitting call time data, receiving the call time data transmitted from the transmitting apparatus, and searching for image data based on the time data. A data recording / reproducing system comprising: a receiving device for performing reproduction and reproduction; wherein the transmitting device records data of call time as recorded data, and data transfer means for transmitting a current time together with the call time. Comprising, the receiving device, the time difference obtaining means for obtaining the time difference between the transmitting device and the receiving device at the time of the data transfer, and, in the recording data based on the obtained time difference Time correction means for correcting the time.
Therefore, the time difference between the transmitting device and the receiving device is acquired based on the call time data and the current time, and the time is corrected, so that the recorded / stored data can be accurately searched.
According to a seventh aspect of the present invention, in the data recording / reproducing system according to the sixth aspect, the transmitting apparatus further includes a location recording unit for recording location information of a call.
[0007]
The invention according to claim 8 is a transmission-side apparatus for recording and transmitting time-varying moving image data, and receiving and recording data transmitted from the transmission-side apparatus, and based on time data. A data recording / reproducing method in a data recording / reproducing system comprising a receiving side device for searching and reproducing, wherein a context arbitrarily selected for later searching for moving image data and moving image data being recorded in said transmitting side device. A data recording step of recording data and a time corresponding to the context data as recording data; a data transfer step of transmitting a current time together with the moving image data and the context data and a time corresponding to the context data; and Time difference acquisition for acquiring the time difference between the sending device and the receiving device during data transfer A method, characterized by comprising a time correction step of correcting the time during the recording data based on the acquired time difference.
Therefore, the time difference between the transmitting device and the receiving device is obtained based on the time corresponding to the context data and the current time, and the time is corrected. Can be.
According to a ninth aspect of the present invention, in the data recording / reproducing method according to the eighth aspect, a time width corresponding to the context data is recorded.
According to a tenth aspect of the present invention, there is provided a data recording / reproducing system comprising: a transmitting device that records and transmits still image data; and a receiving device that receives and reproduces data transmitted from the transmitting device. A data recording / reproducing method, comprising: a data recording step of recording still image data and a time corresponding to the still image data as recording data in the transmitting device; and a current time together with a time corresponding to the still image data and the still image data. A data transfer step of transferring the data, a time difference obtaining step of obtaining a time difference between the transmitting device and the receiving device at the time of the data transfer in the receiving device, and the recording data based on the obtained time difference. And a time correction step for correcting the time.
Therefore, the time difference between the transmitting device and the receiving device is obtained based on the time corresponding to the still image data and the current time, and the time is corrected, so that the recorded and stored data can be accurately searched. be able to.
According to an eleventh aspect of the present invention, in the data recording / reproducing method according to the tenth aspect, a whiteboard screen is input as still image data.
According to a twelfth aspect of the present invention, in the data recording / reproducing method according to the eleventh aspect, in the data recording / reproducing method according to the eleventh aspect, the still image data is obtained by photographing a whiteboard screen from an oblique direction. It is characterized by correcting tilt distortion.
[0008]
According to a thirteenth aspect of the present invention, there is provided a transmitting apparatus for recording and transmitting call time data, receiving the call time data transmitted from the transmitting apparatus, and searching for image data based on the time data. A data recording / reproducing method in a data recording / reproducing system comprising a receiving device for reproducing and reproducing data, wherein a data recording step of recording call time data as recording data in the transmitting device; and transferring a current time together with the call time. A data transfer step, a time difference obtaining step of obtaining a time difference between the transmitting device and the receiving device at the time of the data transfer in the receiving device, and a time in the recording data based on the obtained time difference. And a time correction step of correcting
Therefore, the time difference between the transmitting device and the receiving device is acquired based on the call time data and the current time, and the time is corrected, so that the recorded / stored data can be accurately searched.
According to a fourteenth aspect of the present invention, in the data recording / reproducing method according to the thirteenth aspect, a place where the user talks is further recorded.
According to a fifteenth aspect of the present invention, the data recording / reproducing program is programmed according to the data recording / reproducing method according to any one of the eighth to fourteenth aspects.
The invention according to claim 16 is characterized in that the data recording / reproducing program according to claim 15 is recorded on a recording medium.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a configuration block diagram of a first embodiment of a data recording / reproducing system according to the present invention.
As shown in FIG. 1, in this data recording / reproducing system, a moving image display PC 1 (reception side device) for performing a moving image display operation, a video server 3 for delivering video data, and an NTP server 5 are connected via a network 7. It is configured to be. The mobile terminal 9 (transmitting side device) that performs the time recording operation can be connected to the moving image display PC 1 via a serial interface.
FIG. 2 is a configuration block diagram of the portable terminal 9 shown in FIG.
As shown in FIG. 2, the portable terminal 9 includes a CPU 11 for executing a program, a memory 13, a liquid crystal display 15 for data display, a touch panel 17 for input, and a serial The interface 19, the input keyboard 21, and the clock 23 are connected via a bus 25. The touch panel 17 detects that the user has touched the pen, a pen down signal when the pen touches the panel, a pen move signal when the pen moves while touching the panel, and a pen move signal when the pen moves away from the panel. Outputs a pen-up signal and its position (XY coordinate value) signal. In addition, it is installed on the display surface of the display 15 so that the user can operate buttons and the like displayed on the display 15.
[0010]
The overall operation of the data recording / reproducing system will be described. First, in a state in which the mobile terminal 9 (transmitting device) is not connected to the moving image display PC 1 (receiving device), on the mobile terminal 9 having the touch panel 17, The information is acquired by a tap operation with an attached pen or finger, and is recorded in its own memory 13 together with the time information. That is, at the time of the time recording operation, the portable terminal 9 operates independently.
After that, the portable terminal 9 is connected to the moving picture display PC 1, and when transferring the time data recorded in the portable terminal 9, information for correcting the time is added and transferred to the moving picture display PC 1. The transferred image data is recorded in the video server 3. The clocks of the moving image display PC 1 and the video server 3 are synchronized with the NTP server 5 in advance.
Thereafter, the moving image display PC 1 searches and displays the moving image data recorded in the video server 3 on the network 7 according to the transferred time data.
[0011]
In order to realize the entire operation, a recording program operating on a mobile terminal, a transmission program for transmitting data recorded by the recording program to the moving image display PC 1, a receiving program on the moving image display PC side, and a moving image display on the PC 1 , A moving image distribution program that operates on the video server 3, and the like.
Hereinafter, the operation of each of the programs will be described.
The recording program operating on the mobile terminal operates on the mobile terminal 9, and records context data and time data for later searching for moving image data being recorded by a user operation, and saves the data on the memory 13. Play a role. At this time, the context data can be arbitrarily selected by the user.
FIG. 3 is a flowchart of a recording operation by a recording program operating on the portable terminal 9. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Screen display (step 101)
The contents shown in FIG. 4 are displayed on the display 15. At the top of the screen, the current chapter number is displayed. There is an "End" button at the bottom of the screen, and a plurality of buttons indicating the context data are displayed between the buttons. The meaning of these buttons is as follows.
"Chapter" button: Pressed to intentionally cut a scene such as a turning point of a topic.
"Important" button: pressed when the current scene is deemed to have significant significance later.
“I missed!” Button: pressed when a conversation is missed or an important scene is missed due to a falling asleep, leaving the room, or the like.
"What's OK" button: Pressed if you fully understand that you are in your eyes or ears and do not need to look back later.
“Confusion” button: pressed when a conclusion is reached in an event such as a conference.
"End" button: pressed to end the recording program.
2. Pen instruction input (step 103)
The user performs an operation of tapping the button using a pen.
3. End button? (Step 105)
The position touched by the pen is acquired, and if it is on the “End” button, the process ends. If it is on any other button, proceed to the next “data recording” step.
4. Data recording (step 107)
The time recorded so far and the content of the context data are recorded on the memory 13. Here, the recording data has a format as shown in FIG. The first “time correction flag” indicates whether the time data has been corrected. When recording by a recording program, the value is set to 0 (because it has not been corrected). Hereinafter, the time at which the context data was added and the content thereof continue for the number of times recorded.
Here, the time corresponding to the context data is not instantaneous but may have a time width (time span). Therefore, when a button other than the “Chapter” button and the “End” button is pressed, it is preferable to display a screen as shown in FIG. 6 and input a time span.
After the data recording, the process is terminated, and thereafter, the process returns to the “pen instruction input” step 103, and the process is repeated as described above.
[0012]
Next, a transmission program for transmitting the data recorded by the recording program to the moving image display PC 1 is a program executed on the mobile terminal 9. The time and the context data recorded on the mobile terminal 9 are transmitted by a serial cable. Is transmitted to the moving image display PC 1 connected in step. In addition, the current time is also transmitted in order to correct the clock deviation of the portable terminal 9 during communication.
FIG. 7 is a flowchart of a transmission operation by a transmission program operating on the portable terminal 9. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Current time (Step 201)
At the start of communication, the current time on the clock of the portable terminal 9 is transmitted.
2. Transmission of recording data (step 203)
The time data and the context data recorded by the recording program are read and transmitted to the serial interface.
[0013]
Next, the receiving program of the moving image display PC 1 is executed on the connected moving image display PC 1 while the transmission program is being executed on the mobile terminal 9, and recorded on the mobile terminal 9 connected by a serial cable. The received time and context data are received, and the time is corrected and recorded.
FIG. 8 is a flowchart of a receiving operation by the receiving program on the moving image display PC 1 side. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Current time reception (step 301)
The current time indicated by the clock of the portable terminal 9 is received. Further, it requests time information from the NTP server 5 using the NTP protocol, and receives the current time.
2. Receive recording data (step 303)
The data shown in FIG. 5 recorded by the mobile terminal 9 is received.
3. Time corrected? (Step 305)
According to the content of the “time correction flag” shown in FIG. 5, if the value is not corrected (0), the process proceeds to “time difference measurement” step 307. This is an operation when data recorded by the recording program is read for the first time. If the “time correction flag” is already corrected (1), the process proceeds to “data storage” step 311. This is an operation when data corrected by the receiving program is read at least once.
4. Time difference measurement (Step 307)
The difference between the received current time of the portable terminal 9 and the current time received from the NTP server 5 is determined.
5. Time correction (step 309)
The time data received from the portable terminal 9 is corrected according to the measured time difference. Also, at this time, the “time correction flag” (see FIG. 5) in the data of the mobile terminal 9 is rewritten to “corrected (1)”. This prevents double correction in subsequent processing.
6. Save data (Step 311)
The time-corrected context data is recorded on the hard disk of the moving image display PC 1 together with the time.
[0014]
Next, the moving image reproduction program that operates on the video server 3 is a program that is executed with the mobile terminal 9 connected to a network after executing the moving image shooting and the recording program, and executes the time data recorded by the recording program. Read. After that, if necessary, the recorded time data is corrected, and then the moving image data corresponding to the time data is requested to the video server 3 to reproduce the moving image corresponding to the recorded time. FIG. 9 is a flowchart of a moving image reproducing operation by the moving image reproducing program operating on the video server 3. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Read recorded data (step 401)
The data on the hard disk recorded by the recording program or modified by the moving image reproduction program is read and recorded in the memory.
2. Screen display (step 403)
The window shown in FIG. 10 is displayed according to the chapter number, time data, and context data. In the window, the chapter number, the corrected time, and the corresponding context data are displayed for each line. At this time, a link to the video data at the same time as the time is provided in the context data. If the number of recording data is too large to fit in the window, a scroll bar is displayed at the right end of the window, and the display range is changed according to a user operation.
3. Mouse instruction input (step 405)
A user clicks a button or the link part using a mouse.
4. Exit button? (Step 407)
The mouse cursor position at the time of the click is acquired, and if it is on the “end” button, the process ends. If it is on the link, the process proceeds to the moving image data display step 409.
5. Video data display (step 409)
The time of the link displayed at the position of the clicked mouse cursor is read from the memory. Here, if there is a time span, the start time is read from the memory. It requests the video server for the video data corresponding to the time and displays the received moving image data.
In the present embodiment, the NTP protocol is used to acquire time information for correction, but another protocol may be used. For example, if a slight error is allowed, a similar function can be realized by using a simple HTTP protocol.
Further, in the present embodiment, the purpose is to display a moving image at the recorded time, but the present invention is similarly effective when applied to information in other formats that change with time, such as audio and animation.
[0015]
Next, in the moving image distribution program operating on the video server 3, the reproduction request to the video server 3 is transmitted by the HTTP protocol using GET / view. cgi? Time = 2001/8 / 30.15: 35: 24 text information. In the above example, the data at 15:35:24 on August 30, 2001 is requested. The video server 3 transmits a portion after 15:35:24 from the moving image data recorded in response to such a request. The clock on the video server 3 is accurately synchronized with the NTP server 5. Alternatively, the video server 3 may have an NTP server function. FIG. 11 is a configuration block diagram of a second embodiment of the data recording / reproducing system according to the present invention.
As shown in FIG. 11, the data recording / reproducing system has a configuration in which a moving image display PC 1 for performing a moving image display operation, a video server 3 for delivering video data, and an NTP server 5 are connected via a network 7. ing. The digital camera 27 that performs an image recording operation can be connected to the moving image display PC 1 via a serial interface.
[0016]
FIG. 12 is a configuration block diagram of the digital camera 27 shown in FIG.
As shown in FIG. 12, the digital camera 27 includes a system control unit 31, an imaging unit 33, an image processing unit 35, a finder display control unit 37, a recording media interface unit 39, and a hard key interface unit 41. A clock 43 for performing time management and timing and an external interface unit 45 are connected via a bus 47, and a finder display 49 is provided in the finder display control unit 37, and a recording medium 51 is provided in the recording media interface unit 39. It is connected.
The system control unit 31 includes a CPU (Central Processing Unit), a memory, a timer, and the like provided for controlling the entire digital camera, and the imaging unit 33 includes an optical system component ( A lens and a lens driving motor), a CCD (Charge Coupled Device), a CCD driving circuit, an A / D converter, and the like. The image processing unit 35 performs various image processing on the image signal obtained by the imaging unit 33 and It is composed of an image processing DSP (Digital Signal Processor), a memory, and the like, which are provided to perform focusing, exposure adjustment, and the like by controlling the CCD drive timing of the imaging unit and the lens drive motor, and perform image compression and decompression.
[0017]
Further, the finder display control section 37 performs signal processing for displaying the image signal processed by the image processing section 35 on a display provided inside the finder, and also displays various graphic images for a user interface. A recording / medium interface unit 39 configured to display an image incident on the optical system of the imaging unit 33, including a D / A converter, an on-screen display controller, and the like, provided for generating and displaying the image on the display unit; It also includes a finder display provided for displaying graphics for a user interface, a memory card controller provided for interfacing with a recording medium, and the like.
Also, a hard disk interface unit 41 is provided with a flash memory or the like provided for storing compressed image signals and various information related to images. The external interface unit 45 includes a parallel port provided for detecting a hardware state for a user interface such as a key and a dial that is not operated, and an external interface unit 45 is connected to a USB (Universal) for connecting to an external device such as a PC. (Serial Bus).
Further, the digital camera 27 that performs an image recording operation can be connected to a PC for displaying moving images by a serial interface.
[0018]
As an entire operation of the second embodiment of the data recording / reproducing system, the digital camera 27 acquires a pressing operation of a release button, and records a captured image together with time information. Then, when connecting to the moving picture display PC 1 and transferring the recorded time data, information for correcting the time is added. The clocks of the moving image display PC 1 and the video server 3 are synchronized with the NTP server 5 in advance.
That is, at the time of recording, the digital camera 27 operates independently of the moving image display PC 1 and the network. After recording, the digital camera 27 is connected to the moving image display PC 1 via a serial cable, and the image data and the time data are transferred. The transferred image data is recorded in the video server 3.
Thereafter, the moving image display PC 1 searches and displays the moving image data recorded in the video server 3 on the network according to the transferred time data.
In order to realize the whole operation, a recording operation program by the digital camera 27, a transmission program for transmitting data recorded by the digital camera 27 to the moving image display PC1, a receiving program on the moving image display PC1, and a moving image display on the PC1 , A moving image distribution program that operates on the video server 3, and the like.
As a recording operation by the recording program by the digital camera 27, as is generally performed in the world, a user operates a digital camera to photograph a subject, records photographed image data together with time data, and records. It is stored on the media 51.
[0019]
FIG. 13 is a flowchart of a recording operation of the digital camera 27 according to a recording program. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Power on (Step 501)
The power of the digital camera 27 is turned on by switching a power switch (not shown).
2. Shutter button? (Step 503)
It detects whether the user has pressed the shutter button. If pressed, the process proceeds to “data recording” step 505; otherwise, the process proceeds to “power off?” Step 507.
3. Data recording (step 505)
Perform normal shooting operation. That is, processing such as focusing and exposure adjustment is started, and when the processing ends, the image exposed on the CCD is recorded on the recording medium 51. As in the first embodiment, a time and a “time correction flag” are described in the recording data. Here, when the recording data is in EXIF (Exchangeable Image File format) format, the value of the time correction flag is set in a field called User Comment in the header information where a user can write an arbitrary comment. Can be recorded. After data recording, the process returns to the "shutter button?" Step 503, and the process is repeated as described above.
4. Power off? (Step 507)
When the user detects that the power has been turned off by switching a power switch (not shown), the process is terminated. Otherwise, return to the "shutter button?" Step and repeat the process as described above.
[0020]
Here, when the scene to be recorded is a conference, it is very preferable to take a screen of the whiteboard with a digital camera because the screen information can be easily digitized and taken into a PC. At this time, if the distortion on the image caused by photographing the whiteboard obliquely (hereinafter referred to as “tilting distortion”) can be corrected, effects such as an improvement in visibility are produced. An invention for correcting tilt distortion in an image recorded by an image device such as a digital camera has already been filed.
1. JP 2000-307947 A
By capturing an image of a planar subject and detecting the orientation of the planar surface, the tilt of the captured image is corrected.
2. JP 2001-134751A
A planar object is photographed from at least two places, and an image in which the tilt is corrected is output from the two images.
3. JP 2001-177716 A
By capturing an image of a planar object and using the actual shape information of the planar object, the tilt distortion of the captured image is corrected.
By applying these techniques at the time of data recording and recording the image on which the tilt distortion has been corrected on the recording medium, the convenience can be further improved.
[0021]
Next, the transmission program for transmitting the data recorded by the digital camera 27 to the moving image display PC 1 is a program executed on the digital camera 27, and transmits the time and image data recorded by the digital camera 27 to a serial cable. Is transmitted to the moving image display PC 1 connected in step. In addition, the current time is also transmitted in order to correct the clock deviation of the digital camera 27 during communication. The operation is the same as that in the first embodiment. In the description of the first embodiment, “mobile terminal” may be replaced with “digital camera”, and “context data” may be replaced with “image data”. Omitted.
Next, the receiving program on the moving image display PC 1 is executed on the connected moving image display PC 1 while the transmission program is being executed on the digital camera 27. The time and image data recorded by the digital camera 27 connected by a serial cable are received, and the time is corrected and recorded. The operation is the same as that in the first embodiment. In the description of the first embodiment, “mobile terminal” may be replaced with “digital camera”, and “context data” may be replaced with “image data”. Omitted.
[0022]
Next, a moving image display program that operates on the moving image display PC 1 is a program that is executed in a state where the digital camera 27 is connected to a network after performing moving image shooting and the recording operation. The time data and the image data recorded by the digital camera 27 are read. After that, if necessary, the recorded time data is corrected, and then the moving image data corresponding to the time data is requested to the video server 3 to reproduce the moving image corresponding to the recorded time.
The flowchart is shown in FIG. 9 similarly to the first embodiment. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Read recorded data (step 401)
The data on the hard disk, which is recorded by the digital camera 27 or modified by the moving image reproducing program, is read and recorded in the memory.
2. Screen display (step 403)
A window shown in FIG. 14 is displayed according to the time data and the image data. In the window, the corrected time and the corresponding image data are displayed. At this time, the image data has a link to the video data at the same time as that time. If the number of recording data is too large to fit in the window, a scroll bar is displayed at the right end of the window, and the display range is changed according to a user operation.
3. Mouse instruction input (step 405)
Wait for the user to click the button or the link using the mouse.
4. Exit button? (Step 407)
The mouse cursor position at the time of the click is acquired, and if it is on the “end” button, the process ends. If it is on the link, the process proceeds to the moving image data display step.
5. Video data display (step 409)
The time of the link displayed at the position of the clicked mouse cursor is read from the memory. As in the prior art (Japanese Patent Application No. 2002-131896), the video server 3 requests video data corresponding to the time to the video server 3 and displays the received moving image data.
Next, the moving image distribution program that operates on the video server 3 is the same as that of the first embodiment, and thus the description is omitted.
[0023]
FIG. 15 is a configuration block diagram of a third embodiment of the data recording / reproducing system according to the present invention.
As shown in FIG. 15, this data recording / reproducing system has a configuration in which a moving image display PC 1 for performing a moving image display operation, a video server 3 for delivering video data, and an NTP server 5 are connected via a network 7. ing. The mobile phone 53 that acquires the pressing operation of the button at the start and end of the call and records the time at the start and end of the call can be connected to the moving image display PC 1 by a serial interface.
Explaining the overall operation of this data recording / reproducing system, the operation of pressing the buttons of the mobile phone 53 at the start and end of the call is acquired, and the time at the start and end of the call is recorded. Then, when connecting to the moving picture display PC 1 and transferring the recorded time data, information for correcting the time is added. The clocks of the moving image display PC 1 and the video server 3 are synchronized with the NTP server 5 in advance.
That is, at the time of recording, the mobile phone 53 operates independently of the moving image display PC 1 and the network. After the recording, the portable telephone 53 is connected to the moving picture display PC 1 by a serial cable, and the call time data is transferred. The moving image display PC 1 searches for and displays moving image data recorded in the video server 3 on the network according to the transferred time data.
[0024]
In order to realize the overall operation, a call time recording operation program by the mobile phone 53, a transmission program for transmitting call time data to the moving image display PC1, a receiving program on the moving image display PC1, and operating on the moving image display PC1. A moving image display program, a moving image distribution program operating on the video server 3, and the like are provided.
The call time recording operation program is such that a user operates a mobile phone to perform a call operation, records call start / end times, and stores it in a memory, as is generally done in the world.
FIG. 16 is a flowchart of a recording operation of the mobile phone 53 according to a call time recording operation program. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Power on (Step 601)
By switching the power switch, the power of the mobile phone 53 is turned on.
2. Call started? (Step 603)
When the user makes a call or when the user receives a call, pressing of a call start button (not shown) is detected. If it is pressed, the process proceeds to a “first time recording” step; otherwise, the process proceeds to a “power off?” Step 613.
3. First time record (step 605)
The time when the call start button is pressed is recorded in the memory.
4. Call ended? (Step 609)
When the user switches the call end button (not shown) to detect the end of the call, the process proceeds to “second time recording” step 611; otherwise, this step is repeated to continue the call.
5. Second time recording (step 611)
The time when the call end button is pressed is recorded in the memory. Here, similarly to the first embodiment, a “time correction flag” is recorded in the recorded data in addition to the call start time and the call end time.
In recent years, mobile phones equipped with a GPS (Global Positioning System) antenna have become commercially available. At this time, if the position information detected by the GPS is recorded together with the time data, the location information of the recording target scene can be obtained. It can be input unconsciously and is very suitable.
6. Power off? (Step 613)
If the user detects that the power has been turned off by switching the power switch, the process ends. If not, the process returns to the "call start?" Step 603, and the process is repeated as described above.
[0025]
Next, the transmission program for transmitting the call time data to the moving image display PC 1 is a program executed on the mobile phone 53, and transmits the time recorded by the mobile phone to the moving image display PC 1 connected by a serial cable. Transmit (here, the acquired image data (moving image or still image) may be transmitted together). In addition, the current time is also transmitted in order to correct the clock deviation of the mobile phone 53 during communication. The operation is the same as that of the first embodiment. In the description of the first embodiment, “mobile terminal” may be replaced with “mobile phone”, and a detailed description thereof will be omitted.
Next, the receiving program of the moving image display PC 1 is executed on the connected moving image display PC 1 while the transmission program is being executed on the mobile phone 53. The time data recorded by the mobile phone 53 connected by a serial cable is received, and the time is corrected and recorded. The operation is the same as that of the first embodiment. In the description of the first embodiment, “mobile terminal” may be replaced with “mobile phone”, and a detailed description thereof will be omitted.
[0026]
Next, the moving image display program that operates on the moving image display PC 1 is a program that is executed with the mobile phone 53 connected to a network after performing the moving image shooting and the recording operation. The time data recorded by the mobile phone 53 is read, and if necessary, the recorded time data is corrected, and then the moving image data corresponding to the time data is requested from the video server 3 to reproduce the moving image corresponding to the recorded time. I do.
The flowchart is shown in FIG. 9 similarly to the first embodiment. Hereinafter, the operation of the program will be described for each step of the flowchart.
1. Read recorded data (step 401)
The data on the hard disk recorded by the mobile phone 53 or modified by the moving image reproduction program is read and recorded in the memory.
2. Screen display (step 403)
A window shown in FIG. 17 is displayed according to the time data and the image data. The window displays the date, location (if needed), modified call start time, call end time, and call data. Here, the call data is
・ Call partner
・ Did you call from yourself or from other party?
, Which can be recorded on a mobile phone that is already on the market.
At this time, the call data has a link to the video data at the same time as that time. If the number of recording data is too large to fit in the window, a scroll bar is displayed at the right end of the window, and the display range is changed according to a user operation.
3. Mouse instruction input (step 405)
Wait for the user to click the button or the link using the mouse.
4. Exit button? (Step 407)
The mouse cursor position at the time of the click is acquired, and if it is on the “end” button, the process ends. If it is on the link, the process proceeds to the moving image data display step.
5. Video data display (step 409)
The time of the link displayed at the position of the clicked mouse cursor is read from the memory. As in the prior art (Japanese Patent Application No. 2002-131896), the video server 3 requests video data corresponding to the time to the video server 3 and displays the received moving image data.
[0027]
Next, the moving image distribution program that operates on the video server 3 is completely the same as that of the first embodiment, and thus the description is omitted.
Further, the data recording / reproducing system according to the present invention can realize the function by causing the devices described in the first to third embodiments to read the recording medium storing the program described in the above embodiment. it can. For example, as shown in FIG. 18A, the function can be realized by attaching the recording medium 61 storing each program to the portable terminal 63 and executing the program as appropriate. Also, as shown in FIG. 18B, a recording medium 65 storing each program is mounted on a digital camera 67 that can read the program, and the functions are realized by appropriately executing the programs. Can be.
It goes without saying that the recording medium for storing the program is not limited to the above example.
Each of the above embodiments is merely an example of the present invention. That is, the scope of the rights of the present invention should not be unduly limited or reduced as in the above-described embodiment, and examples in which the constituent elements of the present invention are changed to other elements as described below are equivalent to the present invention. It is included in the scope of right as an invention.
For example, in the first embodiment, the operation has been described by taking a mobile terminal as an example, but the same function as that of the above-described embodiment is also realized when an application for recording the context data is installed in a mobile phone. be able to. Thus, the use of a terminal of another form is also included in the scope of the present application.
In the above-described embodiment, the mobile terminal, the digital camera, and the mobile phone are described as being connected to the moving image display PC. However, other connection forms may be used. For example, a case where a mobile terminal or a mobile phone is directly connected to a network to realize the same operation as described above is also included in the scope of the present application. Further, the form of the data to be recorded is not limited to a moving image, a still image, or the like, and may be applied to a sound or another form.
[0028]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the time data between a time recording device and a moving image recording device can be correctly matched without deteriorating convenience for an accurate search, and it is accurate and efficient by a very simple operation. Search becomes possible.
Further, by enabling the time to be recorded together with the context data to be recorded in a form having a certain width, a more accurate and efficient search can be performed.
In addition, it is possible to input an operation performed unconsciously by a user in a daily scene as data useful for a search.
[Brief description of the drawings]
FIG. 1 is a configuration block diagram of a first embodiment of a data recording / reproducing system according to the present invention.
FIG. 2 is a configuration block diagram of the mobile terminal shown in FIG. 1;
FIG. 3 is a flowchart of a recording operation by a recording program.
FIG. 4 is a diagram showing a display example on a display by a recording program.
FIG. 5 is a diagram showing a data structure recorded by a recording program.
FIG. 6 is a diagram showing a time span input screen of a recording program.
FIG. 7 is a flowchart of a transmission operation by a transmission program.
FIG. 8 is a flowchart of a receiving operation by a receiving program.
FIG. 9 is a flowchart of an operation reproducing operation according to the operation reproducing program.
FIG. 10 is a diagram showing a display example on a display according to an operation reproduction program.
FIG. 11 is a configuration block diagram of a second embodiment of a data recording / reproducing system according to the present invention.
FIG. 12 is a block diagram showing a configuration of the digital camera shown in FIG.
13 is an operation flowchart of the digital camera shown in FIG.
FIG. 14 is a diagram showing a display example on a display by an operation reproduction program.
FIG. 15 is a configuration block diagram of a third embodiment of a data recording / reproducing system according to the present invention.
16 is an operation flowchart of the mobile phone shown in FIG.
FIG. 17 is a diagram showing a display example on a display by an operation reproduction program.
FIG. 18 is a conceptual diagram of another embodiment according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... PC for operation display, 3 ... Video server, 5 ... NTP server, 7 ... Network, 9 ... Portable terminal, 11 ... CPU, 13 ... Memory, 15 ... Display, 17 ... Touch panel, 19 ... Serial interface, 21 ... Keyboard , 23 clock, 25 bus, 27 digital camera, 31 system control unit, 33 imaging unit, 35 image processing unit, 37 finder display control unit, 39 recording media interface unit, 41 hard key interface Unit, 43 clock, 45 external interface unit, 47 bus, 49 finder display unit, 51 recording medium, 53 mobile phone

Claims (16)

時間的に変化する動画データを記録して送信する送信側装置と、該送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムであって、
前記送信側装置が、前記動画データおよび記録中の動画データを後で検索するために任意に選択されたコンテキストデータおよび該コンテキストデータに対応する時刻を記録データとして記録するデータ記録手段と、
前記動画データおよびコンテキストデータおよびコンテキストデータに対応する時刻と共に現在時刻を転送するデータ転送手段と、を具備し、
前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段とを具備したことを特徴とするデータ記録再生システム。
A transmitting apparatus that records and transmits time-varying moving image data, and a receiving apparatus that receives and records data transmitted from the transmitting apparatus and searches and reproduces the data based on time data. Data recording and reproducing system,
Data recording means for recording the moving image data and the time corresponding to the context data arbitrarily selected for later searching the moving image data and the moving image data being recorded as recording data,
Data transfer means for transferring the current time together with the time corresponding to the moving image data and the context data and the context data,
The receiving device, a time difference obtaining means for obtaining a time difference between the transmitting device and the receiving device during the data transfer,
Data recording / reproducing system, comprising: time correction means for correcting the time in the recording data based on the acquired time difference.
請求項1に記載のデータ記録再生システムにおいて、前記データ記録手段が、前記コンテキストデータに対応する時間幅を記録するように構成されることを特徴とするデータ記録再生システム。2. The data recording / reproducing system according to claim 1, wherein said data recording means is configured to record a time width corresponding to said context data. 静止画データを記録して送信する送信側装置と、該送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムであって、
前記送信側装置が、前記静止画データおよび静止画データに対応する時刻を記録データとして記録するデータ記録手段と、
前記静止画データおよび静止画データに対応する時刻と共に現在時刻を転送するデータ転送手段と、を具備し、
前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段とを具備したことを特徴とするデータ記録再生システム。
Data recording / reproduction including a transmitting device for recording and transmitting still image data, and a receiving device for receiving and recording data transmitted from the transmitting device, and searching and reproducing based on time data. The system
The transmission-side device, data recording means for recording the still image data and the time corresponding to the still image data as recording data,
Data transfer means for transferring the current time together with the time corresponding to the still image data and the still image data,
The receiving device, a time difference obtaining means for obtaining a time difference between the transmitting device and the receiving device during the data transfer,
Data recording / reproducing system, comprising: time correction means for correcting the time in the recording data based on the acquired time difference.
請求項3に記載のデータ記録再生システムにおいて、前記送信側装置が、静止画データとしてホワイトボード画面を入力するボード画面入力手段を備えたことを特徴とするデータ記録再生システム。4. The data recording / reproducing system according to claim 3, wherein said transmitting apparatus includes a board screen input unit for inputting a whiteboard screen as still image data. 請求項4に記載のデータ記録再生システムにおいて、前記送信側装置が、ホワイトボード画面を斜め方向から撮影することに起因する静止画データのあおり歪みを補正するあおり補正手段を備えたことを特徴とするデータ記録再生システム。5. The data recording / reproducing system according to claim 4, wherein the transmission side device includes a tilt correction unit that corrects a tilt distortion of still image data caused by capturing a whiteboard screen from an oblique direction. Data recording and playback system. 通話時刻データを記録して送信する送信側装置と、該送信側装置より送信された通話時刻データを受信し、その時刻データをもとに画像データを検索して再生する受信側装置とからなるデータ記録再生システムであって、前記送信側装置が、前記通話時刻データを記録データとして記録するデータ記録手段と、
前記通話時刻と共に現在時刻を転送するデータ転送手段と、を具備し、
前記受信側装置が、前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得手段と、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正手段と、を具備したことを特徴とするデータ記録再生システム。
It comprises a transmitting device for recording and transmitting call time data, and a receiving device for receiving the call time data transmitted from the transmitting device, searching for and reproducing image data based on the time data. A data recording / reproducing system, wherein the transmitting device records data of the call time data as recording data,
Data transfer means for transferring the current time together with the call time,
The receiving device, a time difference obtaining means for obtaining a time difference between the transmitting device and the receiving device during the data transfer,
A time correction unit for correcting a time in the recording data based on the obtained time difference.
請求項6に記載のデータ記録再生システムにおいて、前記送信側装置が、更に通話している位置情報を記録する場所記録手段を備えたことを特徴とするデータ記録再生システム。7. The data recording / reproducing system according to claim 6, wherein said transmitting side device further includes a location recording means for recording positional information of a call. 時間的に変化する動画データを記録して送信する送信側装置と、該送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、
前記送信側装置において動画データおよび記録中の動画データを後で検索するために任意に選択されたコンテキストデータおよびそのコンテキストデータに対応する時刻を記録データとして記録するデータ記録ステップと、
前記動画データおよびコンテキストデータおよびコンテキストデータに対応する時刻と共に現在時刻を転送するデータ転送ステップと、
前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップとを具備したことを特徴とするデータ記録再生方法。
A transmitting apparatus that records and transmits time-varying moving image data, and a receiving apparatus that receives and records data transmitted from the transmitting apparatus and searches and reproduces the data based on time data. A data recording / reproducing method in a data recording / reproducing system comprising:
A data recording step of recording as the recording data the context data arbitrarily selected and the time corresponding to the context data for later searching for the moving image data and the moving image data being recorded in the transmitting device,
A data transfer step of transferring the current time together with the time corresponding to the video data and the context data and the context data,
A time difference obtaining step of obtaining a time difference between the transmitting device and the receiving device during the data transfer in the receiving device;
A time correction step of correcting a time in the recording data based on the obtained time difference.
請求項8に記載のデータ記録再生方法において、前記コンテキストデータに対応する時間幅を記録することを特徴とするデータ記録再生方法。9. The data recording / reproducing method according to claim 8, wherein a time width corresponding to the context data is recorded. 静止画データを記録して送信する送信側装置と、前記送信側装置より送信されたデータを受信して記録し、時刻データをもとに検索して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、
前記送信側装置において静止画データおよび静止画データに対応する時刻を記録データとして記録するデータ記録ステップと、
前記静止画データおよび静止画データに対応する時刻と共に現在時刻を転送するデータ転送ステップと、
前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップとを具備したことを特徴とするデータ記録再生方法。
A data recording / reproducing system comprising: a transmitting device for recording and transmitting still image data; and a receiving device for receiving and recording data transmitted from the transmitting device, and searching for and reproducing the time data. A data recording / reproducing method in a system,
A data recording step of recording the still image data and the time corresponding to the still image data as recording data in the transmitting device;
A data transfer step of transferring the current time together with the still image data and the time corresponding to the still image data,
A time difference obtaining step of obtaining a time difference between the transmitting device and the receiving device during the data transfer in the receiving device;
A time correction step of correcting a time in the recording data based on the obtained time difference.
請求項10に記載のデータ記録再生方法において、静止画データとしてホワイトボード画面を入力することを特徴とするデータ記録再生方法。11. The data recording / reproducing method according to claim 10, wherein a whiteboard screen is input as still image data. 請求項11に記載のデータ記録再生方法において、ホワイトボード画面を斜め方向から撮影することに起因する、静止画データのあおり歪みを補正することを特徴とするデータ記録再生方法。12. The data recording / reproducing method according to claim 11, wherein a tilt distortion of still image data caused by photographing a whiteboard screen from an oblique direction is corrected. 通話時刻データを記録して送信する送信側装置と、前記送信側装置より送信された通話時刻データを受信し、その時刻データをもとに画像データを検索して再生する受信側装置とからなるデータ記録再生システムにおけるデータ記録再生方法であって、
前記送信側装置において通話時刻データを記録データとして記録するデータ記録ステップと、
前記通話時刻と共に現在時刻を転送するデータ転送ステップと、
前記受信側装置において前記データ転送時に送信側装置と受信側装置との間の時刻差を取得する時刻差取得ステップと、
前記取得された時刻差に基づき前記記録データ中の時刻を補正する時刻補正ステップと、を具備したことを特徴とするデータ記録再生方法。
The transmitting device includes a transmitting device that records and transmits call time data, and a receiving device that receives the call time data transmitted from the transmitting device, searches for and reproduces image data based on the time data. A data recording and reproducing method in a data recording and reproducing system,
A data recording step of recording call time data as recording data in the transmitting device;
A data transfer step of transferring the current time together with the call time,
A time difference obtaining step of obtaining a time difference between the transmitting device and the receiving device during the data transfer in the receiving device;
A time correction step of correcting a time in the recording data based on the obtained time difference.
請求項13に記載のデータ記録再生方法において、更に通話している場所を記録することを特徴とするデータ記録再生方法。14. The data recording / reproducing method according to claim 13, further comprising recording a place where the user is talking. 請求項8乃至請求項14のいずれか1項に記載のデータ記録再生方法に従ってプログラミングしたことを特徴とするデータ記録再生プログラム。A data recording / reproducing program programmed according to the data recording / reproducing method according to any one of claims 8 to 14. 請求項15に記載のデータ記録再生プログラムを記録したことを特徴とする記録媒体。A recording medium on which the data recording / reproducing program according to claim 15 is recorded.
JP2003064228A 2003-03-10 2003-03-10 Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium Pending JP2004274514A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003064228A JP2004274514A (en) 2003-03-10 2003-03-10 Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003064228A JP2004274514A (en) 2003-03-10 2003-03-10 Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium

Publications (1)

Publication Number Publication Date
JP2004274514A true JP2004274514A (en) 2004-09-30

Family

ID=33125564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003064228A Pending JP2004274514A (en) 2003-03-10 2003-03-10 Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium

Country Status (1)

Country Link
JP (1) JP2004274514A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186786A (en) * 2004-12-28 2006-07-13 Casio Comput Co Ltd Audio and image recording device, audio and image reproducing device, audio and image recording method, audio and image reproducing method, and program
JP2007104243A (en) * 2005-10-04 2007-04-19 Nippon Video Center:Kk Content delivery system and receiving server thereof
JP2009089126A (en) * 2007-10-01 2009-04-23 Olympus Imaging Corp Information association system and information association method
JP2014026017A (en) * 2012-07-25 2014-02-06 Canon Inc Log generation device, method and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186786A (en) * 2004-12-28 2006-07-13 Casio Comput Co Ltd Audio and image recording device, audio and image reproducing device, audio and image recording method, audio and image reproducing method, and program
JP4577012B2 (en) * 2004-12-28 2010-11-10 カシオ計算機株式会社 Audio image reproduction apparatus, audio image reproduction method, and program
JP2007104243A (en) * 2005-10-04 2007-04-19 Nippon Video Center:Kk Content delivery system and receiving server thereof
JP2009089126A (en) * 2007-10-01 2009-04-23 Olympus Imaging Corp Information association system and information association method
JP2014026017A (en) * 2012-07-25 2014-02-06 Canon Inc Log generation device, method and program

Similar Documents

Publication Publication Date Title
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
JP5358733B2 (en) System and method for changing touch screen functionality
KR20160056888A (en) Browsing videos by searching multiple user comments and overlaying those into the content
KR100765764B1 (en) Digital audio reproduction apparatus for recording and reproducing for still image and video and method for providing user interface therefor
US20010048774A1 (en) Image input apparatus, program executed by computer, and method for preparing document with image
US20080220809A1 (en) Method and system for a self timer function for a camera and ...
CN110324689B (en) Audio and video synchronous playing method, device, terminal and storage medium
JP2002218368A (en) Image processor
US20120098999A1 (en) Image information display method combined facial recognition and electronic device with camera function thereof
JP2011124966A (en) Apparatus for performing multimedia-based data transmission, and associated method
JP2021015493A (en) Communication terminal, method for controlling communication terminal, and communication system
US20040263661A1 (en) Image-taking apparatus and method for adding annotation information to a captured image
JP2010045683A (en) Camera
US8271030B2 (en) Method of providing preview image and mobile communication terminal
KR101842453B1 (en) Apparatus and method for controlling auto focus function in electronic device
JP2004274514A (en) Data recording / reproducing system, data recording / reproducing method, data recording / reproducing program, and recording medium
US7778429B2 (en) Audio processor, audio processing method, computer program, and computer readable storage medium
JP5400398B2 (en) Image reproducing apparatus, control method therefor, program, and storage medium
JP7415376B2 (en) Information processing device, information processing method, program
JP2012156726A (en) Information processor, information processing method, and program
JP2011128885A (en) Information display apparatus and method
JP4766690B2 (en) Playback device, program, and storage medium
JP2007323126A (en) Input device and input operation method
KR20040094350A (en) Movie processing apparatus
JP5136067B2 (en) Display image synchronization program, digital camera, and display image synchronization system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081216