JP2004208188A - 記録装置、記録方法、記録プログラム、および記録検索装置 - Google Patents
記録装置、記録方法、記録プログラム、および記録検索装置 Download PDFInfo
- Publication number
- JP2004208188A JP2004208188A JP2002377255A JP2002377255A JP2004208188A JP 2004208188 A JP2004208188 A JP 2004208188A JP 2002377255 A JP2002377255 A JP 2002377255A JP 2002377255 A JP2002377255 A JP 2002377255A JP 2004208188 A JP2004208188 A JP 2004208188A
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- recording
- unit
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】音声やビデオによる記録において、記録されている参加者の位置を特定できるように記録し、記録後にユーザを指定し容易に検索できる記録装置、その記録方法、その方法を実行するプログラム、および記録検索装置を提供する。
【解決手段】会議などにおける発言者の音声をデータとして取得する音声入力部５１および発言者である音源の位置情報をデータとして取得する音源方向推定部５４を有して、取得したデータを記録する記録装置は、ユーザ位置取得部５３を備える。ユーザ位置取得部５３は、参加者であるユーザを認証し（ユーザ認証手段）、かつそのユーザの認証動作に基づいてユーザの位置データを取得する（ユーザ位置取得手段）。
【選択図】 図５
【解決手段】会議などにおける発言者の音声をデータとして取得する音声入力部５１および発言者である音源の位置情報をデータとして取得する音源方向推定部５４を有して、取得したデータを記録する記録装置は、ユーザ位置取得部５３を備える。ユーザ位置取得部５３は、参加者であるユーザを認証し（ユーザ認証手段）、かつそのユーザの認証動作に基づいてユーザの位置データを取得する（ユーザ位置取得手段）。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
この発明は、画像の記録、特にビデオによる撮影を補助として用いて音声を記録する記録装置、記録方法、記録プログラム、および記録検索装置に関し、特にその音源や発言者を区別しながら音声を再生することができる記録装置、記録方法、記録プログラム、および記録検索装置に関する。
【０００２】
【従来の技術】
会議室などで、その会議の参加者の発言する発言内容や発表する演出の模様を音声や動画を記録し、会議内容のレビューや議事録作成などを支援する必要性が高まっている。その場合特に、記録された長時間の音声情報、あるいは動画像を含むビデオ情報の中で、見たい区間を簡単に検索できる装置および方法の必要性が高まっている。そして、そのための技術が各種提案されている。
【０００３】
例えば、特開２０００−１２５２７４号公報の発明は、マイクロホンアレイを利用して音声の到達時間差から音源の方向を推定し、発言者各人の発言を区別して記録する技術である。そして、マイクロホンアレイの近傍にビデオカメラを配設し、発言ごとに判定される音源方向にビデオカメラを振り向け、その方向の画像を表示することにより、音声の検索を容易にしている（特許文献１参照）。
【０００４】
また、特開２００２−２４７４８９号公報の発明は、マイクアレイにより音源方向を推定するとともに全体の画像を記録し、その画像上で音源方向に対応する位置と名前を入力し、発言と名前を関連付けする方式を開示している（特許文献２参照）。
【０００５】
さらに、特開２００２−２５１３９３号公報の発明は、音声および動画の記録と同時に会議参加者がそれぞれ参加する自分自身を登録し、登録された参加者だけに記録情報の閲覧が許可されるように制限する技術を開示している。ここでは登録方法として、参加者が各自磁気カードを持ち、カードリーダに通すことにより登録している。また、ビデオカメラ、マイク、およびカードリーダを供えた端末装置を参加者の分だけ複数用意し、参加者別の音声および動画を記録する方法が記載されている（特許文献３参照）。
【０００６】
【特許文献１】
特開２０００−１２５２７４号公報（４〜７頁、図１〜４）
【特許文献２】
特開２００２−２４７４８９号公報（５〜８頁、図１，９，１２，１４１５）
【特許文献３】
特開２００２−２５１３９３号公報（４〜７頁、図１〜４，６〜８）
【０００７】
【発明が解決しようとする課題】
上述の特開２０００−１２５２７４号公報の発明によると、表示された画像を人間が観察することによって発言者を判断することによって、会議内容に索引付けを行うシステムである。しかしながら、システムに用いられる装置自体は音源方向とその画像を取得するだけであり、発せられた各発言が誰のものかは認識していない。それ故、同一発言人が例えば移動したような場合においては、別の人間と判断してしまうこともあり得る。そのため、特定方向からの発言を集めることは可能であったとしても、その発言の発言者が必ずしも同一であるとは限らず、誤って記録してしまうという欠点があった。同号公報の発明の［００６１］には、人間が移動する場合には、「ビデオパターン認識及び／又は発言者の音声識別技術を利用することによって」追跡（タイムラインを併合）できるという記載もあるが、同［０００３］にはビデオパターン認識、音声認識技術の信頼性は不十分であると記載しており、これらの記載から同号公報の発明では十分に高精度の追跡は困難と考えられる。
【０００８】
そのような点を解決しようとした上述の特開２００２−２４７４８９号公報の発明では、画像上での音源方向に対応する位置と名前を入力して、発言と名前を関連付けることができるとした。しかし、同号公報の発明では、音声画像の記録とは別に、ユーザが位置と名前を入力する必要があるので、ユーザが、特に一人のユーザが参加者全員の位置と名前を入力する場合などは、入力操作が非常に煩雑になるという欠点があった。
【０００９】
また、特開２００２−２５１３９３号公報の発明では、個人別の参加登録を行って記録として残すためには、参加者一人につきそのための一台の端末が必要となるために、コストがかかるという欠点があった。
【００１０】
本発明は、上記の問題点に鑑みてなされ、その目的は、音声やビデオによる記録において、ユーザである参加者が参加登録するための固有の端末機器を不要とし、参加者の発言を確実に特定して記録中に追跡し、記録後には容易に発言者を指定してその発言を検索できる記録装置、記録方法、その方法を実行するプログラム、および記録検索装置を提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、請求項１にかかる発明は、音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録する記録装置であって、ユーザを認証するユーザ認証手段と、前記ユーザ認証手段によるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、を備えたことを特徴とする記録装置である。
【００１２】
この請求項１の発明によれば、音源の音声をデータとして取得する音声取得手段および音源の位置情報をデータとして取得する音源位置取得手段を有し、取得した音声データおよび音源位置データを記録する記録装置であって、ユーザを認証するユーザ認証手段と、そのユーザの認証動作に基づいてユーザの位置データを取得するユーザ位置取得手段と、を備えたことによって、ユーザ認証のためだけの各ユーザに固有の端末が不要で、ユーザの認証動作に基づいてその位置データを能率良く正確に取得でき、記録後には確実に発言者を特定できるので、発言者による発言を正確に検索可能な記録を採ることが出来る低コストの記録装置を提供できる。
【００１３】
また、請求項２にかかる発明は、請求項１に記載の記録装置において、前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、前記ユーザ位置取得手段は、前記画像取得手段によって取得した画像データ上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする。
【００１４】
この請求項２の発明によれば、請求項１に記載の記録装置の作用に加えて、音源およびユーザを含む情景を画像データとして取得する画像取得手段を更に備えて、ユーザ位置取得手段は画像取得手段によって取得した画像データ上でユーザの位置を取得するユーザ画像位置取得手段を備えることによって、画像データ上においてユーザ位置を取得し参加者の位置を正確に記録できるので、簡易な操作で発言の正確な発言の検索が可能になる記録装置を提供できる。
【００１５】
また、請求項３にかかる発明は、請求項１または２に記載の記録装置において、前記ユーザ位置取得手段は、すでに取得された前記ユーザの位置データを変更するユーザ位置変更取得手段と、前記ユーザの位置データを変更する時刻を取得するユーザ位置変更時刻取得手段と、を備えたことを特徴とする。
【００１６】
この請求項３の発明によれば、請求項１または２に記載の記録装置の作用に加えて、ユーザ位置取得手段は、すでに取得されたユーザの位置データを変更するユーザ位置変更取得手段と、ユーザの位置データを変更する時刻を取得するユーザ位置変更時刻取得手段と、を備えたことによって、記録中にユーザの位置が時間的に変化しても追跡して記録できるので、発言者の正確な特定と発言の検索が可能となる記録装置を提供できる。
【００１７】
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の記録装置において、前記音源位置データと前記ユーザ位置データとを対応付ける対応付け手段を、更に備えたことを特徴とする。
【００１８】
この請求項４の発明によれば、請求項１〜３のいずれか１つに記載の発明の作用に加えて、音源位置データとユーザ位置データとを対応付ける対応付け手段を更に備えることによって、ユーザである発言者が音源と対応付けられて発言者と発言が対応付けられて記録されるので、再生時に発言者の発言が迅速に検索できるデータとして記録可能な記録装置を提供できる。
【００１９】
また、請求項５にかかる発明は、音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録し、記録されたデータから所望のデータを検索する記録検索装置であって、ユーザを認証するユーザ認証手段と、前記ユーザ認証手段によるユーザ認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、前記ユーザの指定を入力するユーザ指定手段と、取得された前記音声データのうち、前記ユーザ指定手段によって指定されたユーザの発言区間だけを選択するユーザ発言区間選択手段と、を備えたことを特徴とする記録検索装置である。
【００２０】
この請求項５の発明によれば、音源の音声をデータとして取得する音声取得手段および音源の位置情報をデータとして取得する音源位置取得手段を有し、取得した音声データおよび音源位置データを記録し、記録されたデータから所望のデータを検索する記録検索装置であって、ユーザを認証するユーザ認証手段と、ユーザ認証手段によるユーザ認証動作に基づいてユーザの位置データを取得するユーザ位置取得手段と、ユーザの指定を入力するユーザ指定手段と、取得された音声データのうち、ユーザ指定手段によって指定されたユーザの発言区間だけを選択するユーザ発言区間選択手段とを備えたことによって、認証のためだけの固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき、記録後には会議の参加者であるユーザを指定することによってその発言を確実に検索できるので、正確な発言者による発言の検索が可能な低コストの記録検索装置を提供できる。
【００２１】
また、請求項６にかかる発明は、請求項５に記載の記録検索装置において、前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、前記ユーザ位置取得手段は、前記画像取得手段によって取得された画像上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする。
【００２２】
この請求項６の発明によれば、請求項５の作用に加えて、音源およびユーザを含む情景を画像データとして取得する画像取得手段を更に備え、ユーザ位置取得手段は、画像取得手段によって取得された画像上でユーザの位置を取得するユーザ画像位置取得手段を備えたことによって、画像上での位置データの取得という簡易な操作によってユーザ位置を取得できるので、ユーザの発言区間を正確に記録し検索することができる記録検索装置を提供できる。
【００２３】
また、請求項７にかかる発明は、音源の音声をデータとして取得し、前記音源の位置情報をデータとして取得して、前記音源の音声および音源の位置のデータを記録する記録方法であって、ユーザを認証するユーザ認証ステップと、前記ユーザ認証ステップにおけるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得ステップと、を含むことを特徴とする記録方法である。
【００２４】
この請求項７の発明によれば、音源の音声と位置情報をデータとして取得してそれらのデータを記録する記録方法であって、ユーザを認証し、そのユーザ認証動作に基づいて位置データを取得することによって、ユーザ認証と同時に確実にその位置データを取得できるので、簡易な操作で確実にユーザの位置を記録できるので、ユーザを確実に検索できるデータを記録可能な記録方法を提供できる。
【００２５】
また、請求項８にかかる発明は、請求項７に記載の記録方法において、前記ユーザ位置取得ステップより前に、前記音源およびユーザを含む情景を画像データとして取得し前記ユーザの端末に画像表示させる画像表示ステップを、更に含み、前記ユーザ位置取得ステップは、前記ユーザ位置データとして、前記ユーザの端末に表示された前記画像上で、前記画像サイズに基づいた相対的な位置データを取得することを特徴とする。
【００２６】
この請求項８の発明によれば、請求項７に記載の記録方法の作用に加えて、音源およびユーザを含む情景を画像データとして取得しユーザの端末に画像表示させ、ユーザの端末に表示された画像上で、画像サイズに基づいた相対的なユーザの位置データを取得することによって、画像上での位置入力という簡易な操作で、しかも、用途や状況に応じて表示画面サイズを自由に変更できるので、利便性の高い音声検索が可能なデータを記録できる記録方法を提供できる。
【００２７】
また、請求項９にかかる発明は、請求項７または８に記載された方法をコンピュータに実行させるプログラムであるので、請求項７または８に記載された方法をコンピュータに実行させることができる。
【００２８】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる記録装置、記録方法、記録プログラム、および記録検索装置の好適な実施の形態を詳細に説明する。
【００２９】
（１．記録検索装置のネットワーク構成）
図１は、本発明の実施の形態による記録検索装置のネットワーク構成図である。実施の形態による記録検索装置は、ビデオカメラ１、マイクロホンアレイ２、ビデオカメラ１およびマイクロホンアレイ２が接続されて音声・動画を記録する記録装置３、および会議参加者であるユーザが各自会議の場に持ち込むユーザ計算機（以下ユーザＰＣと略する）４が、ネットワーク５で接続されて構成される。
【００３０】
図２は、実施の形態による記録検索装置が用いる記録装置３のハードウェア構成図である。ここで用いる記録装置３は、中央演算装置（ＣＰＵ）１１、ランダムアクセスメモリ（ＲＡＭ）１２、ハードディスク１３、キーボード１４、モニタ１５がシステムバス２０で相互に接続された一般的な計算機である（記録ＰＣ）。しかし、本実施の形態における記録装置は一般的な計算機で構成しなくても良い。
【００３１】
記録装置３には、２つのマイクロホン１７および１８が、音声インタフェース１６を介してシステムバス２０に接続されている。マイクロホン１７および１８は、図１のマイクロホンアレイ２を構成する。また同様に、ビデオカメラ１がビデオインタフェース１９を介してシステムバス２０に接続されている。これらマイクロホン１７と１８，およびビデオカメラ１がシステムバス２０と接続されることによって、それぞれ音声データおよび画像データはハードディスク１３に取り込まれ、格納される。ここで画像データは動画データが好適であるが、必ずしも動画データである必要はなく、状況によっては複数の静止画データであっても良い。また、システムバス２０は、ネットワークインタフェース２１を介してネットワーク５に接続され、外部と通信できる。
【００３２】
記録装置３は、音声動画データを記録する記録部３１（後述）を動作させ、音声動画データを記録してハードディスク１３に格納する。また記録装置３は、ユーザＰＣ４で実行するユーザの位置を入力するユーザ位置入力部３３（後述）の動作に対応して、参加者であるユーザの位置データを取得し、ハードディスク１３に格納する。また、記録装置３は、記録されたデータを配信部３２よってユーザＰＣ４に配信させ、ユーザＰＣ４である計算機端末は再生部３４を動作させその記録を再生する。これら各部の動作については後述する。
【００３３】
ここで、マイクロホン１７、１８、および記録部３１は、本発明における音声取得手段を構成する。ビデオカメラ１および記録部３１は、本発明における画像取得手段を構成する。
【００３４】
図３は、実施の形態による記録装置３に接続されたビデオカメラ１とマイクロホンアレイ２との模式的斜視図である。２本以上のマイクロホン１７および１８への音声入力データによって、各時刻での音源の方向が検出できる。ビデオカメラ１は光学系を備えたレンズ２６を有する。レンズ２６は、音源の向きに回転するようにしても良い。
【００３５】
音源方向の検出には、例えば、特開２０００−１２５２７４号公報に開示された技術を用いる。ここでマイクロホン１７および１８とビデオカメラ１とが固定されている場合、マイクロホン１７および１８から判定される音源方向と、ビデオカメラ１で撮影される画像上の横方向位置とは、あらかじめ対応付けておくことができる。
【００３６】
図４は、本実施の形態による記録検索装置に用いるユーザＰＣ４のハードウェア構成図である。ここでユーザＰＣ４は、中央演算装置（ＣＰＵ）４１、ランダムアクセスメモリ（ＲＡＭ）４２、ハードディスク４３、キーボード４４、モニタ４５、そしてマウス４６がシステムバス４８で相互に接続された一般的な計算機である。ユーザＰＣ４は、小型のいわゆるノートパソコンであっても良い。システムバス４８は、またネットワークインタフェース４７を介して外部のネットワーク５に接続されて、ユーザＰＣ４はネットワーク５を介して記録装置３と通信する。
【００３７】
ユーザＰＣ４では一般的なオペレーティングシステム、例えばマイクロソフト社製ウインドウズを動作させる。このオペレーティングシステム上のアプリケーションプログラムを実行することにより、ユーザＰＣ４はユーザの位置を入力する後述のユーザ位置入力部３３、および再生部３４を動作させることができる。このユーザＰＣ４は、会議中に資料参照などのために他のプログラムの実行にも利用できる。ユーザＰＣ４としてはプログラムに互換性があれば、いわゆる携帯情報端末（ＰＤＡ）を用いることができる。上記各部の動作については後述する。
【００３８】
（２．記録検索装置の機能的構成）
図５は、本発明の実施の形態による記録検索装置の機能的構成を示すブロック図である。この中で記録検索装置の中の記録装置３は、記録部３１、および配信部３２を動作させる。しかし、配信部３２は、必ずしも記録装置３が行うとは限らず、他に配信サーバを立てて実行しても良い。
【００３９】
ユーザＰＣ４はユーザ位置入力部３３、および再生部３４を動作させる。しかし、再生部３４は必ずしもユーザＰＣ４が行うとは限らず、他に再生装置あるいは再生のためのクライアントを立てて実行しても良い。
【００４０】
ここで、上記動作を行う記録部３１など各部は、その機能的名称を冠されて記録ＰＣ３やユーザＰＣ４に格納されたコンピュータプログラムとして、例えば記録プログラムとして構成可能であるが、そのような方式に限定されるものではない。また、記録された各種データの格納先はハードディスク１３および４３であるが、あるいは他の記憶媒体に格納されても良い。
【００４１】
（２．１記録部）
記録部３１は、音声入力部５１、動画入力部５２、ユーザ位置取得部５３、音源方向推定部５４、音声・音源方向記録部５５，ビデオ圧縮部５６、ビデオ送信部５７、ビデオ記録部５８、ユーザ位置記録部５９、およびリスト記録部６０から構成される。また、音源・位置対応部６１および対応付け記録部６２を備えても良い。
【００４２】
音声入力部５１は、記録装置３の音声インタフェース１６を介して、２つのマイクロホン１７および１８からの２チャンネル音声データを入力する。動画入力部５２は、ビデオインタフェース１９を介して、ビデオカメラ１からの動画データを入力する。音声および動画データはハードディスク１３に格納される。
【００４３】
ユーザ位置取得部５３は、ユーザＰＣ４と通信してユーザＰＣ４から送られてくるユーザ名、パスワード、位置データを、取得して登録する。そして、あらかじめユーザ名とパスワードが記録されたパスワードリストをハードディスク１３から読み込み、ユーザＰＣ４から送信されてきて取得したデータの内容がパスワードリストに含まれた内容と一致すればユーザ認証の成功を、また一致しなければ失敗と判定して、それぞれユーザＰＣ４に返送する。
【００４４】
ただしこの場合、厳しく閲覧を制限しない運用を行うならば、パスワードは設定しなくても良い。また、ユーザ名が記録リストに存在しなければ、新たなユーザとしてユーザリストに加えてユーザリストファイル７２を書き換えるように構成することも可能である。ここで、ユーザ位置取得部５３は、本発明のユーザ認証手段を構成する。
【００４５】
会議などに参加するユーザは、その場所に設置されているユーザＰＣ４を使うか、あるいはユーザが持ち込むユーザＰＣ４を通信ラインに接続する。そして、ユーザＰＣ４からユーザ認証のための入力を行うと同時に、ユーザの参加位置を設定入力して、記録装置３に送信する。ここでユーザとは、会議等に参加して発言する参加者のことである。ユーザにはその他にも、記録検索装置を用いて会議などを記録する記録者としてのユーザ、および会議の記録を閲覧する閲覧者としてのユーザがある。ここで、ユーザの位置を取得するユーザ位置取得部５３はまた、本発明のユーザ位置取得手段を構成する。
【００４６】
音源方向推定部５４は、従来技術と同様に、２チャンネルの音声データから音源方向を推定する。例えば０．１秒毎にチャンネル間の相互の相関性を計算し、相関が最大となる時間差を到達時間差として求め、２つのマイクロホン１７および１８の間の距離からその音源方向を推定する。この動作により、０．１秒毎の方向（角度）データを出力する。しかし、音声が一定レベル未満の場合は、音源方向推定部５４は、無音であると判断して無音データを出力する。ここで、マイクロホン１７、１８、および音源方向推定部５４は、本発明の音源位置取得手段を構成する。
【００４７】
音源方向記録部５５は、音源方向推定部５４で求めた各時間の音源の方向データを、話者即ち会議等の参加者のうちの発言者の位置として記録し、ハードディスク１３に格納する。時間の計時は、計算機に一般的に備えられているタイマを用いることができる。
【００４８】
話者位置の記録は、例えば、ビデオカメラで撮影されて表示画面上に表示された画像上の相対位置として記録する。即ち、画像上の左端を０、右端を１とし、また、無音および画面範囲外の方向を−１で表す。図６は、実施の形態による記録装置の記録した音源方向記録データの１例である。表から時間が時間１，２，および３へ経過するにつれて話者の位置は、０．１、０．１２、および０．８へと移動したことを表している。
【００４９】
ビデオ圧縮部５６は、動画入力部５２により入力した動画データと音声入力部が入力した音声データを圧縮し、記録データおよび送信データを生成する。圧縮方式としては、例えば周知のＭＰＥＧ１圧縮アルゴリズムを利用することができる。
【００５０】
ビデオ送信部５７は、記録装置３のユーザ位置取得部５３からの要求を受け、ユーザＰＣ４に対して、現在撮影中のビデオデータを送信して、ユーザＰＣ４のモニタ４５上にユーザの位置を表示する。この時の送信は、記録した後の再生のための送信ではなく、会議の進行中の画像の送信である。送信には、例えば周知のＲＴＳＰプロトコルを利用することができる。なお、ここでの送信データは、参加者の位置入力に利用されるので、音声データは必ずしも必要ではなく、音声の記録データとは別に動画あるいは画像データだけを送信するようにしても良い。
【００５１】
ビデオ記録部５８は、ビデオ圧縮部５６によって生成された音声あるいは画像の圧縮データを、記録装置３のハードディスク１３に音声画像ファイル７３として格納する。また、ハードディスク１３には、音声画像記録の開始時刻および終了時刻も記録し格納する。
【００５２】
ユーザ位置記録部５９は、ユーザ位置取得部５３によって取得されたユーザ位置データと、その入力時刻をユーザ位置記録ファイル７４としてハードディスク１３に記録する。ここで、ユーザ位置とはその会議に参加する参加者の位置のことである。また、時刻は秒単位、位置は画面の相対位置とする。
【００５３】
図７は、実施の形態による記録検索装置で記録されるユーザ位置データを示す１例である。図７では、記録開始後３秒目に、ユーザ「ａｏｋｉ」が「０．１」の位置に登録され、次に５秒目にユーザ「ｍｕｒａ」が「０．８」の位置に登録され、６００秒目にユーザ「ａｏｋｉ」が「０．５」の位置に移動した場合を示している。
【００５４】
リスト記録部６０は、ユーザ位置取得部５３で取得したユーザ名を、記録装置３のハードディスク１３のユーザリストファイル７２に追加記載する。ただし記録前にリストを検索し、一度記録されたユーザ名は追加しない。ユーザリストファイル７２は、この会議に参加したユーザが記録され、後述の配信部３２が閲覧許可を判定する際に利用できる。
【００５５】
ここで記録装置３には、音源・位置対応付け部６１と対応付け記録部６２を設けることができる。この音源・位置対応付け部６１と対応付け記録部６２を設けることによって、音声および／または画像を記録する段階で、ユーザと話者とが対応付けられて記録することができるので、再生段階で対応付ける必要がなくなる。ただし、以下詳述するように再生段階で、ユーザと話者を対応付けて検索する方式も可能である。音源・位置対応付け部６１は、音源方向推定部５４によって得られた音源方向の位置データと、ユーザ位置取得部５３によって得られたユーザの位置とを対応付ける。この対応付けによって発言位置を推定されたユーザ即ち発言者と、会議参加者としてのユーザとが対応付けられてその発言が話者を特定しながら記録できるので、記録を閲覧する際に、ユーザを指定することにより話者が簡単に検索され、ユーザ発言が迅速に検索可能となる。あるいはまたこの場合、再生部３４（後述）においてユーザ区間選択手段が不必要となる。対応付け記録部６２は、音源・位置対応付け部６１によって対応付けられた発言者と参加者の対応付けを、記録装置３のハードディスク１３内に格納する。ここで、音源・位置対応付け部６１は、本発明の対応付け手段を構成する。
【００５６】
（２．２配信部）
配信部３２は記録装置３によって動作され、記録されたデータが、ユーザＰＣ４に配信される。配信後、記録データはユーザＰＣ４によって再生され閲覧される。配信部３２は、例えば特開２００２−２５１３９３号公報の段落番号００２０〜００２３に記載された技術を用いる。つまり、ユーザＰＣ４の再生部３４と通信してユーザ名とパスワードを受信し、記録されたユーザリスト、およびパスワードリストと照合してユーザ認証し、リストに記録されたユーザだけに記録データを送信する。ただし本実施の形態ではビデオデータ以外に、音源位置データ、ユーザ位置データをも送信する。また、配信部３２は、記録データをコピーするなどして、記録装置３以外の記録データを読み取り可能な計算機で実行しても良い。
【００５７】
（２．３ユーザ位置入力部）
ユーザ位置入力部３３は、記録部３１の記録実行中に、ユーザＰＣ４上で実行されて、ユーザＰＣ４のユーザ認証入力データおよびユーザ位置入力データが、記録装置３の記録部３１に送信される。図８は、実施の形態によるユーザＰＣ４のユーザ位置入力部の動作フロー図である。図９は、ユーザＰＣ４におけるユーザ位置入力時の表示画面の１例であり、（ａ）は、入力のためにユーザＰＣ４に送信されてきたユーザ位置画像であり、（ｂ）は、ユーザ位置入力のためのダイアログ画面であり、そして（ｃ）はユーザ認証後にユーザＰＣ４に送信されたユーザ名ラベルがマークされたユーザ位置画像である。
【００５８】
図８を参照しながらユーザＰＣ４における会議の参加者であるユーザの位置入力とユーザの認証動作を説明する。ユーザＰＣ４においてユーザ位置入力部３３が動作を開始すると、記録装置３側の記録部３１と通信を開始し、記録装置３に対してビデオデータ送信を要求する。そして、記録装置３からユーザＰＣ４へとビデオ表示画像が送信され、ビデオ表示が開始する（ステップＳ８０１）。ユーザＰＣ４が受信したビデオデータは例えば、図９（ａ）のように画面表示される。これ以後、動作終了時までユーザＰＣ４のモニタ画面はビデオデータの受信と表示を継続する。
【００５９】
ユーザＰＣ４のマウスボタンの状態が監視され、ボタンが押下されるのを待つ（ステップＳ８０２のＮ）。ボタンが押下されれば（ステップＳ８０２のＹ）、ボタンが押下されたときのマウスカーソル位置が指定されて取得される（ステップＳ８０３）。その時のマウスカーソル位置がビデオ表示画面内であれば、位置指定と判断し（ステップＳ８０３のＹ）、ユーザ名入力ステップへ進む。そして、図９の（ｂ）に示されたダイアログがユーザＰＣ４の画面に表示され、ユーザＰＣ４は、ユーザによって入力されるユーザ名、パスワードをキーボードから読み取り、メモリ（不図示）上に記録する（ステップＳ８０４）。パスワードを利用しない場合は入力しなくても良い。
【００６０】
次に、入力されたユーザ名（パスワード）と、マウスクリック位置を記録装置３へ送信する（ステップＳ８０５）。マウスクリック位置は、ビデオ画面内において相対位置とする。そうすることによって、ビデオ画面の大きさを変化させても相対的な画像位置が表示される。
【００６１】
記録装置３からの認証成功情報が送信されて、ユーザＰＣ４が受信すれば（ステップＳ８０６のＹ）、図９の（ｃ）に示されるようにビデオ表示画面のマウスクリックされた横方向位置に、ユーザ名ラベルが表示される（ステップＳ８０７）。ここでユーザ名ラベルによって、ユーザ画像においてユーザが識別されて位置が指定された。
【００６２】
ここで、位置指定を指定するステップＳ８０３において、ボタンが押下されたときのマウスカーソル位置がユーザ名ラベル内であれば（ステップＳ８０３のＮ）、位置移動の判定（ステップＳ８０８）へと進み、マーク移動ステップへ進む。
【００６３】
マウスボタンが離されるまで（ステップＳ８０９のＮ）、マウス位置を取得し、その横方向位置に従いユーザ名ラベルを移動する（ステップＳ８１０）。マウスボタンが離されれば（ステップＳ８０９のＹ）、その位置と、メモリ上に記憶されたユーザ名、およびパスワードを、位置指定時と同様に、記録装置３へ送信する（ステップＳ８０５）。ボタン押下されたときのマウスカーソル位置が終了ボタン上であれば（ステップＳ８０８のＮ）、停止かどうかを判断し（ステップＳ８１１）、停止の場合は（ステップＳ８１１のＹ）動作を終了する。
【００６４】
こうして本実施の形態では、ユーザ認証動作に基づいてユーザ位置データが取得される。この方式によって簡易な操作で確実にユーザの位置が認証と同時に認証に基づいて能率良く取得でき、それによりユーザごとの音声記録が正確となり、それ故ユーザごとの発言の検索も正確となる。なお、本実施の形態では、ユーザがユーザ名とパスワードを入力することにより認証を実現したが、ユーザＰＣ４でのユーザ名やネットワークアドレスを利用したり、認証サーバを利用するなど、別の方法を用いてもよい。
【００６５】
（２．４再生部）
再生部３４は、記録されたデータを、ユーザＰＣ４（また他のＰＣ）で再生するために実行する。これにより再生装置となり、再生中に検索動作を行うと検索装置となる。そして、記録装置を兼ねれば記録検索装置である。
【００６６】
再生部３４は、基本的には通常のビデオ再生部と同様に、ユーザＰＣ４においてモニタ画面上でのマウスクリックを読み取り、再生ボタンが押されるとビデオ再生を開始し、停止ボタンが押されると再生を停止する。またビデオ表示画面は、ウインドウサイズに応じて変化できるものとする。つまり、ユーザがマウスドラッグによってウインドウのサイズを変化させた場合には、その縦横サイズを取得し、ボタンなどの表示に必要な領域を除いた部分に収まるように、ビデオ表示画面サイズを変更する。
【００６７】
実施の形態による再生部３４は、起動後、キーボードからユーザ名とパスワードを入力し、配信部３２と通信してユーザ認証した後、ビデオデータの他に、音源方向データ、ユーザ位置データを読み込み、特定の話者の発言区間だけを再生する機能を持つ。その際、会議などへの参加者であるユーザと、発言者である音源方向は記録時に音声・位置対応付け部６１によって対応付けられている場合は、ユーザ（発言者）を指定するだけで、その発言者に対応する音源からの発言が検索され、特定のユーザ（発言者）だけを取り出して再生することが可能になる。即ち、特定発言者の発言区間のみを検索して再生することが可能となる。
【００６８】
（２．４．１再生時のユーザ指定モード）
一方、記録時にユーザと発言者の発言とが対応付けられて記録されない一般的な場合は、再生部３４において、発言者の発言とユーザとの対応付けを行う。再生部３４の再生は、通常とユーザ指定との動作モードが選択可能である。通常モードとは、発言者（ユーザ）を指定することなく再生するモードであり、ユーザ指定モードとは、その会議の記録の中で特定のユーザを指定しそのユーザの発言だけを検索しながら再生するモードである。再生部はメモリ（不図示）を指定しその中にモード記憶域を持ち、指定する値は「通常（０）」「ユーザ指定（１）」の２種類をとる。ここでメモリはユーザＰＣ４のハードディスク４３であっても良い。また、メモリ中に指定ユーザ名記憶域を持ち、ユーザ指定モードの場合、ユーザ名を記憶する。再生部３４における指定モードが、本発明のユーザ指定手段を構成する。ここでメモリは、ユーザＰＣ４の有するハードディスク４３を用いても良い。
【００６９】
図１０は、実施の形態による記録検索装置の再生部３４によって再生した画面の１例を示す図である。ここで例えば、ユーザＰＣ４の画面上に表示されたユーザ（発言者）の画像の上部にマークされたａｏｋｉ、またはｍｕｒａのラベルをクリックすることによって、それぞれａｏｋｉまたはｍｕｒａのラベルを付されたユーザの発言のみが選択されて、再生される。
【００７０】
上記２種類の動作モードは、ユーザ名ラベルをマウスクリックすることで切り替える。つまり再生部３４は、マウスボタンを監視し、クリック位置が後述のユーザ名ラベル表示位置である場合、そのラベルに表示されるユーザ名を指定ユーザ名として記憶し、モード記憶域に「ユーザ指定（１）」を書き込む。さらにクリックされたラベルの表示色を反転してユーザ指定モードであることを画面表示する。また、クリック位置がすでに指定されたユーザ名のラベルである場合、モード記憶域に「通常（０）」を書き込み通常モードに復帰する。
【００７１】
（２．４．２再生時のタイマ割り込み処理）
図１１は、実施の形態による記録検索装置における再生部３４のタイマ割り込み処理部６３の動作を示すフロー図である。この実施の形態では、一定時間（例えば１秒）毎のタイマを設定してタイマ割り込みを発生させ、一定時間毎に割り込み処理ルーチンを実行する。割り込みにより、検索のための操作を入力する。
【００７２】
図１１を参照しながらタイマ割り込み部６３の動作を説明する。タイマ割り込み処理においては先ず現在のビデオ表示時刻を取得し、ユーザ位置データから、現在有効なユーザ名とユーザ位置とを検索する。そして、有効ユーザデータがあれば、図１０に示すようなビデオ表示画面上部のそれぞれの対応位置にユーザ名ラベルを表示する（ステップＳ１１０１）。ユーザ名と位置は設定後、変更または終了まで有効と判断する。例えば図７の場合は、ユーザ「ａｏｋｉ」は１秒から６００秒まで位置「０．１」、６００秒以降は位置「０．５」で、またユーザ「ｍｕｒａ」は５秒以降に位置「０．８」で有効であると判定する。
【００７３】
次に、現在の表示モードがユーザ指定モードであるかどうかを判定し（ステップＳ１１０２）、ユーザ指定モードであれば（ステップＳ１１０２のＹ）、さらに処理を進める。通常モードであれば（ステップＳ１１０２のＮ）、割り込み処理ルーチンを終了する。
【００７４】
指定ユーザ名、現在時刻、有効ユーザ位置、および音源位置データから、現在が指定ユーザの発話区間か否かを判定する（ステップＳ１１０３）。この判定によって、ユーザと発言者とが対応付けて同一であるか否かが認識される。ある時刻での音源位置と指定ユーザの位置の差の絶対値が所定の閾値、例えば０．１以内であれば、その時刻の発話者を指定ユーザと判定する（ステップＳ１１０３のＹ）。そして、指定ユーザ発話区間であれば、割り込み処理ルーチンを終了する。
【００７５】
そうでなくて、現在の発話ユーザが指定ユーザではないと判定された場合（ステップＳ１１０３のＮ）、指定ユーザ名、現在時刻、有効ユーザ位置、および音源位置データから、現在表示時刻以降で、最初の指定ユーザ発話時刻を検索する（ステップＳ１１０４）。
【００７６】
そして、ビデオ表示時刻を検索された発話時刻へ移動する（ステップＳ１１０５）。図１０には、ビデオ表示画面だけを示したが、再生時刻を示すスライドバーや、従来技術同様に、発言の様子を示す、時刻と方向を縦横軸にとったタイムチャートなどを表示しても良い。ここで、上記の再生部３４におけるタイマ割り込み部６３が本発明におけるユーザ発言区間選択手段を構成する。
【００７７】
また本実施の形態では、話者別の再生区間の選択をユーザＰＣ４上の再生部３４で実現したが、再生区間の検索は配信部３２側で実行し、指定区間だけのビデオデータを送信する構成も可能である。
【００７８】
（３．ユーザによる操作例）
図１２は、実施の形態による記録検索装置のユーザ位置入力部の動作を示すフロー図である。今、記録検索装置の動作を、会議参加者であるユーザから見た使用を図１２を参照しながら説明する。先ず、会議開始時に、記録装置３を用いて記録を担当するユーザ（記録者）は記録装置３のキーボード１４を操作して、記録部３１を開始する。記録部３１は記録装置３に接続されたビデオカメラ１、マイクロホンアレイ２から音声動画データを取り込み記録し、ユーザＰＣ４に送信する（ステップＳ１２０１）。
【００７９】
各参加者は、各自のユーザＰＣ４上で、ユーザ位置入力部３３を動作させる。ユーザ位置入力部３３は起動後、図９（ａ）のように、記録装置３で現在撮影中の画像を表示する（ステップＳ１２５１）。ここで各ユーザは撮影画像中で、自分自身の写っている位置をマウスクリックして図９（ｂ）のユーザの識別情報入力ダイアログを表示し、キーボードから、ユーザ名と（必要ならば）パスワードを入力する。ユーザ位置入力部３３は、ユーザ名、パスワードと画面上の位置情報を記録装置３に送信する（ステップＳ１２５２）。送信されたユーザ名とパスワードを記録部３１が受信し（ステップＳ１２０２）、認証されると（ステップＳ１２０３のＹ）、ユーザ名をユーザＰＣ４に送信し（ステップＳ１２０４）、図９（ｃ）のように画面上の対応位置にユーザ名が表示される（ステップＳ１２５３）。
【００８０】
会議の席上実際にユーザが移動した場合（ステップＳ１２５４のＹ）、画面上の自分の位置もずれるので、図９（ｃ）のユーザ名表示部分を参加者であるユーザはマウスでドラッグし、ユーザ位置入力部３３は移動された位置を送信し（ステップＳ１２５５）、記録部３１のユーザ位置取得部５３はその位置を取得し、ユーザ位置記録部５９はその新しい位置（変更位置）と移動時刻を記録する（ステップＳ１２０５）。ここで、ユーザ位置取得部５３およびユーザ位置記録部５９は本発明のユーザ位置変更取得手段を構成し、ユーザ位置取得部５３、タイマ（不図示）、およびユーザ位置記録部５９は本発明のユーザ位置変更時刻取得手段を構成する。
【００８１】
こうして、発言者が移動したとしてもその発言者が移動した位置を発言者自らの入力によって確実に入力できるので、発言者を誤って認識するという従来例の欠点を改良することができる。また、一人のユーザが多数のユーザの位置を入力するという従来例の煩雑さも改良される。ただし、ユーザが発言しながら移動するときなどは、マイクロホン１７および１８によって、移動した位置を追跡できるので、その場合は自動的に追跡して位置変更を行うように構成しても良い。
【００８２】
以上のように、位置記録のためにユーザ（参加者）が行う操作は、最初の認証時の自分自身の位置入力（マウスクリック）、および移動した場合には位置移動入力（ドラッグ）だけで良く、参加者全員分の位置を入力する必要はない。そのため、参加者全員の位置を全時間の経過にわたって指定するという繁雑な作業を避けることができる。
【００８３】
ここで、ユーザＰＣ４が通常の計算機である場合は、会議中に参加者は、そのユーザＰＣ４を資料参照やメモの記録など他の目的に利用することができる。
【００８４】
ここで、ユーザ位置入力部３３の送信するユーザ位置の表示は、ビデオ表示画面幅を基準とした相対位置が好ましい。そうすることによって、表示画面のサイズを自由に変更してもそれに応じて相対的な位置が表示される利点がある。例えば、他のアプリケーションを利用中は、ウインドウサイズを小さくして画面の隅に表示することができる。
【００８５】
（４．ユーザ指定モードによる再生例）
図１３は、実施の形態による記録検索装置において、ユーザ指定モードで再生する動作を示すフロー図である。ユーザ指定モードによる再生によって、特定のユーザ、即ち参加者を指定して検索し、その参加者の発言のみを再生することが可能となる。図１３を参照しながらユーザ指定モードによる再生動作を説明する。会議終了後、記録されたデータを再生するために会議参加者は、ユーザＰＣ４または再生装置で再生部３４を起動する。ユーザＰＣ４あるいは再生装置は再生部３４を起動し、ネットワーク５を介して記録装置３と通信し、ユーザ名パスワードを入力し送信する（ステップＳ１３５１）。記録装置３はユーザ名パスワードを受信し（ステップＳ１３０１）、ユーザ認証を行う（ステップＳ１３０２）。認証できない場合はユーザＰＣ４に不認証を送信し（ステップＳ１３０２のＮ）、それを受信したユーザＰＣ４はエラー受信の処理を行う（ステップＳ１３５２）。認証された場合（ステップＳ１３０２のＹ）は、音声動画データ、発言方向データ、参加者位置データを読み込みユーザＰＣ４に送信する（ステップＳ１３０３）。それらのデータをユーザＰＣ４は受信し図１０で示したように、それらのデータに基づく動画と各ユーザ名を対応する位置に表示する（ステップＳ１３５３）。
【００８６】
ユーザ位置入力の操作については一人のユーザが自分一人についてだけの入力操作であったが、再生時には記録部３１で記録された参加者全員のユーザ名が表示される。ユーザが図１０で示されたようなユーザ名表示ラベルを選択してマウスクリックすると、表示は、ユーザ指定モードになり、指定されたユーザについての情報が記録装置３に送信され（ステップＳ１３５４）、記録装置３はユーザの指定入力を受信して（ステップＳ１３０４）、その発言した区間だけ記録されたビデオを送信し（ステップＳ１３０５）、ユーザＰＣ４は受信して再生する。
【００８７】
ここで、参加者の位置情報は会議の参加者各自が人手で入力したデータであり、画像認識や音声認識など不確実な技術によるものではないので、正確な発言の区間切り出しが実現可能である。特に最初に位置情報を入力するときはその場でユーザ認証を行うときであるので、確実に位置を指定できる。さらに特にユーザ認証に基づいてユーザ位置入力を行うならば、認証と同時に操作するので、能率的で確実な操作となる。
【００８８】
なお、この実施形態による記録装置、および記録検索装置で実行される記録部、および記録検索部は、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８９】
また、本実施形態の記録部、および記録検索部を、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供および配布するように構成しても良い。
【００９０】
【発明の効果】
請求項１にかかる発明は、ユーザ認証のためだけの各ユーザに固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき認証と同時にユーザの位置を取得して記録後には確実に発言者を特定できるので、発言者による発言を正確に検索可能な記録を採ることが出来る低コストの記録装置を提供できるという効果を奏する。
【００９１】
また、請求項２にかかる発明は、請求項１に記載の記録装置の効果に加えて、画像データ上においてユーザ位置を取得し参加者の位置を正確に記録できるので、簡易な操作で発言の正確な発言の検索が可能になる記録装置を提供できるという効果を奏する。
【００９２】
また、請求項３にかかる発明は、請求項１または２に記載の記録装置の効果に加えて、記録中にユーザの位置が時間的に変化しても追跡して記録できるので、発言者の正確な特定と発言の検索が可能となる記録装置を提供できるという効果を奏する。
【００９３】
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の発明の効果に加えて、ユーザである発言者が音源と対応付けられて発言者と発言が対応付けられて記録されるので、再生時に発言者の発言が迅速に検索できるデータとして記録可能な記録装置を提供できるという効果を奏する。
【００９４】
また、請求項５にかかる発明は、認証のためだけの固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき、記録後には会議の参加者であるユーザを指定することによってその発言を確実に検索できるので、コストを抑えて正確な発言の検索が可能な記録検索装置を提供できるという効果を奏する。
【００９５】
また、請求項６にかかる発明は、請求項５に記載の記録検索装置の効果に加えて、画像上での位置データの取得という簡易な操作によってユーザ位置を取得できるので、ユーザの発言区間を正確に記録し検索することができる記録検索装置を提供できるという効果を奏する。
【００９６】
また、請求項７にかかる発明は、ユーザを認証してその認証動作に基づいて位置データを取得することによって、簡易な操作で確実にユーザの位置を記録できるので、ユーザを確実に検索できるデータを記録可能な記録方法を提供できるという効果を奏する。
【００９７】
また、請求項８にかかる発明は、請求項７に記載の記録方法の効果に加えて、ユーザの端末に音源およびユーザを含む情景を画像データとして表示させてユーザに認証と位置データの入力を行わせる、しかも、用途や状況に応じて表示画面サイズを自由に変更することができるので、簡易な操作で確実にユーザ位置を記録でき、利便性の高い音声検索が可能なデータを記録できる記録方法を提供できるという効果を奏する。
【００９８】
また、請求項９にかかる発明は、請求項７または８に記載された方法をコンピュータに実行させることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態による記録検索装置のネットワーク構成図である。
【図２】実施の形態による記録検索装置が用いる記録装置のハードウェア構成図である。
【図３】実施の形態による記録装置に接続されたマイクロホンアレイとビデオカメラの模式的斜視図である。
【図４】実施の形態による記録検索装置に用いるユーザＰＣのハードウェア構成図である。
【図５】実施の形態による記録検索装置の機能的構成を示すブロック図である。
【図６】実施の形態による記録装置の記録した音源方向記録データの１例を示す図である。
【図７】実施の形態による記録装置で記録されるユーザ位置データを示す１例を示す図である。
【図８】実施の形態による記録装置のユーザＰＣのユーザ位置入力部の動作フロー図である。
【図９】実施の形態による記録検索装置のユーザ位置入力に関する表示画面の１例を示す図であり、（ａ）は、入力のためにユーザＰＣに送信されたユーザ位置画像であり、（ｂ）は、ユーザＰＣ４におけるユーザ位置入力のためのダイアログ画面であり、そして（ｃ）はユーザ認証後にユーザＰＣに送信されたユーザ名ラベルがマークされたユーザ位置画像である。
【図１０】実施の形態による記録検索装置の再生部によって再生した画面の１例を示す図である。
【図１１】実施の形態による記録検索装置における再生部のタイマ割り込み処理部の動作を示すフロー図である。
【図１２】実施の形態による記録検索装置のユーザ位置入力部の動作を示すフロー図である。
【図１３】実施の形態による記録検索装置において、ユーザ指定モードで再生する動作を示すフロー図である。
【符号の説明】
１ ビデオカメラ
２ マイクロホンアレイ
３ 記録装置（記録ＰＣ）
４ ユーザ計算機（ユーザＰＣ）
５ ネットワーク
１１、４１ 中央演算装置（ＣＰＵ）
１２、４２ ランダムアクセスメモリ（ＲＡＭ）
１３、４３ ハードディスク
１４、４４ キーボード
１５、４５ モニタ
１６ 音声インタフェース
１７、１８ マイクロホン
１９ ビデオインタフェース
２０、４８ システムバス
２１、４７ ネットワークインタフェース
２６ レンズ
３１ 記録部
３２ 配信部
３３ ユーザ位置入力部
３４ 再生部
５１ 音声入力部
５２ 動画入力部
５３ ユーザ位置取得部
５４ 音源方向推定部
５５ 音声・音源方向記録部
５６ ビデオ圧縮部
５７ ビデオ送信部
５８ ビデオ記録部
５９ ユーザ位置記録部
６０ リスト記録部
６１ 音源・位置対応付け部
６２ 対応付け記録部
６３ タイマ割り込み処理部
７２ ユーザリストファイル
７３ 音声画像ファイル
７４ ユーザ位置記録ファイル
【発明の属する技術分野】
この発明は、画像の記録、特にビデオによる撮影を補助として用いて音声を記録する記録装置、記録方法、記録プログラム、および記録検索装置に関し、特にその音源や発言者を区別しながら音声を再生することができる記録装置、記録方法、記録プログラム、および記録検索装置に関する。
【０００２】
【従来の技術】
会議室などで、その会議の参加者の発言する発言内容や発表する演出の模様を音声や動画を記録し、会議内容のレビューや議事録作成などを支援する必要性が高まっている。その場合特に、記録された長時間の音声情報、あるいは動画像を含むビデオ情報の中で、見たい区間を簡単に検索できる装置および方法の必要性が高まっている。そして、そのための技術が各種提案されている。
【０００３】
例えば、特開２０００−１２５２７４号公報の発明は、マイクロホンアレイを利用して音声の到達時間差から音源の方向を推定し、発言者各人の発言を区別して記録する技術である。そして、マイクロホンアレイの近傍にビデオカメラを配設し、発言ごとに判定される音源方向にビデオカメラを振り向け、その方向の画像を表示することにより、音声の検索を容易にしている（特許文献１参照）。
【０００４】
また、特開２００２−２４７４８９号公報の発明は、マイクアレイにより音源方向を推定するとともに全体の画像を記録し、その画像上で音源方向に対応する位置と名前を入力し、発言と名前を関連付けする方式を開示している（特許文献２参照）。
【０００５】
さらに、特開２００２−２５１３９３号公報の発明は、音声および動画の記録と同時に会議参加者がそれぞれ参加する自分自身を登録し、登録された参加者だけに記録情報の閲覧が許可されるように制限する技術を開示している。ここでは登録方法として、参加者が各自磁気カードを持ち、カードリーダに通すことにより登録している。また、ビデオカメラ、マイク、およびカードリーダを供えた端末装置を参加者の分だけ複数用意し、参加者別の音声および動画を記録する方法が記載されている（特許文献３参照）。
【０００６】
【特許文献１】
特開２０００−１２５２７４号公報（４〜７頁、図１〜４）
【特許文献２】
特開２００２−２４７４８９号公報（５〜８頁、図１，９，１２，１４１５）
【特許文献３】
特開２００２−２５１３９３号公報（４〜７頁、図１〜４，６〜８）
【０００７】
【発明が解決しようとする課題】
上述の特開２０００−１２５２７４号公報の発明によると、表示された画像を人間が観察することによって発言者を判断することによって、会議内容に索引付けを行うシステムである。しかしながら、システムに用いられる装置自体は音源方向とその画像を取得するだけであり、発せられた各発言が誰のものかは認識していない。それ故、同一発言人が例えば移動したような場合においては、別の人間と判断してしまうこともあり得る。そのため、特定方向からの発言を集めることは可能であったとしても、その発言の発言者が必ずしも同一であるとは限らず、誤って記録してしまうという欠点があった。同号公報の発明の［００６１］には、人間が移動する場合には、「ビデオパターン認識及び／又は発言者の音声識別技術を利用することによって」追跡（タイムラインを併合）できるという記載もあるが、同［０００３］にはビデオパターン認識、音声認識技術の信頼性は不十分であると記載しており、これらの記載から同号公報の発明では十分に高精度の追跡は困難と考えられる。
【０００８】
そのような点を解決しようとした上述の特開２００２−２４７４８９号公報の発明では、画像上での音源方向に対応する位置と名前を入力して、発言と名前を関連付けることができるとした。しかし、同号公報の発明では、音声画像の記録とは別に、ユーザが位置と名前を入力する必要があるので、ユーザが、特に一人のユーザが参加者全員の位置と名前を入力する場合などは、入力操作が非常に煩雑になるという欠点があった。
【０００９】
また、特開２００２−２５１３９３号公報の発明では、個人別の参加登録を行って記録として残すためには、参加者一人につきそのための一台の端末が必要となるために、コストがかかるという欠点があった。
【００１０】
本発明は、上記の問題点に鑑みてなされ、その目的は、音声やビデオによる記録において、ユーザである参加者が参加登録するための固有の端末機器を不要とし、参加者の発言を確実に特定して記録中に追跡し、記録後には容易に発言者を指定してその発言を検索できる記録装置、記録方法、その方法を実行するプログラム、および記録検索装置を提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、請求項１にかかる発明は、音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録する記録装置であって、ユーザを認証するユーザ認証手段と、前記ユーザ認証手段によるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、を備えたことを特徴とする記録装置である。
【００１２】
この請求項１の発明によれば、音源の音声をデータとして取得する音声取得手段および音源の位置情報をデータとして取得する音源位置取得手段を有し、取得した音声データおよび音源位置データを記録する記録装置であって、ユーザを認証するユーザ認証手段と、そのユーザの認証動作に基づいてユーザの位置データを取得するユーザ位置取得手段と、を備えたことによって、ユーザ認証のためだけの各ユーザに固有の端末が不要で、ユーザの認証動作に基づいてその位置データを能率良く正確に取得でき、記録後には確実に発言者を特定できるので、発言者による発言を正確に検索可能な記録を採ることが出来る低コストの記録装置を提供できる。
【００１３】
また、請求項２にかかる発明は、請求項１に記載の記録装置において、前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、前記ユーザ位置取得手段は、前記画像取得手段によって取得した画像データ上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする。
【００１４】
この請求項２の発明によれば、請求項１に記載の記録装置の作用に加えて、音源およびユーザを含む情景を画像データとして取得する画像取得手段を更に備えて、ユーザ位置取得手段は画像取得手段によって取得した画像データ上でユーザの位置を取得するユーザ画像位置取得手段を備えることによって、画像データ上においてユーザ位置を取得し参加者の位置を正確に記録できるので、簡易な操作で発言の正確な発言の検索が可能になる記録装置を提供できる。
【００１５】
また、請求項３にかかる発明は、請求項１または２に記載の記録装置において、前記ユーザ位置取得手段は、すでに取得された前記ユーザの位置データを変更するユーザ位置変更取得手段と、前記ユーザの位置データを変更する時刻を取得するユーザ位置変更時刻取得手段と、を備えたことを特徴とする。
【００１６】
この請求項３の発明によれば、請求項１または２に記載の記録装置の作用に加えて、ユーザ位置取得手段は、すでに取得されたユーザの位置データを変更するユーザ位置変更取得手段と、ユーザの位置データを変更する時刻を取得するユーザ位置変更時刻取得手段と、を備えたことによって、記録中にユーザの位置が時間的に変化しても追跡して記録できるので、発言者の正確な特定と発言の検索が可能となる記録装置を提供できる。
【００１７】
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の記録装置において、前記音源位置データと前記ユーザ位置データとを対応付ける対応付け手段を、更に備えたことを特徴とする。
【００１８】
この請求項４の発明によれば、請求項１〜３のいずれか１つに記載の発明の作用に加えて、音源位置データとユーザ位置データとを対応付ける対応付け手段を更に備えることによって、ユーザである発言者が音源と対応付けられて発言者と発言が対応付けられて記録されるので、再生時に発言者の発言が迅速に検索できるデータとして記録可能な記録装置を提供できる。
【００１９】
また、請求項５にかかる発明は、音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録し、記録されたデータから所望のデータを検索する記録検索装置であって、ユーザを認証するユーザ認証手段と、前記ユーザ認証手段によるユーザ認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、前記ユーザの指定を入力するユーザ指定手段と、取得された前記音声データのうち、前記ユーザ指定手段によって指定されたユーザの発言区間だけを選択するユーザ発言区間選択手段と、を備えたことを特徴とする記録検索装置である。
【００２０】
この請求項５の発明によれば、音源の音声をデータとして取得する音声取得手段および音源の位置情報をデータとして取得する音源位置取得手段を有し、取得した音声データおよび音源位置データを記録し、記録されたデータから所望のデータを検索する記録検索装置であって、ユーザを認証するユーザ認証手段と、ユーザ認証手段によるユーザ認証動作に基づいてユーザの位置データを取得するユーザ位置取得手段と、ユーザの指定を入力するユーザ指定手段と、取得された音声データのうち、ユーザ指定手段によって指定されたユーザの発言区間だけを選択するユーザ発言区間選択手段とを備えたことによって、認証のためだけの固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき、記録後には会議の参加者であるユーザを指定することによってその発言を確実に検索できるので、正確な発言者による発言の検索が可能な低コストの記録検索装置を提供できる。
【００２１】
また、請求項６にかかる発明は、請求項５に記載の記録検索装置において、前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、前記ユーザ位置取得手段は、前記画像取得手段によって取得された画像上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする。
【００２２】
この請求項６の発明によれば、請求項５の作用に加えて、音源およびユーザを含む情景を画像データとして取得する画像取得手段を更に備え、ユーザ位置取得手段は、画像取得手段によって取得された画像上でユーザの位置を取得するユーザ画像位置取得手段を備えたことによって、画像上での位置データの取得という簡易な操作によってユーザ位置を取得できるので、ユーザの発言区間を正確に記録し検索することができる記録検索装置を提供できる。
【００２３】
また、請求項７にかかる発明は、音源の音声をデータとして取得し、前記音源の位置情報をデータとして取得して、前記音源の音声および音源の位置のデータを記録する記録方法であって、ユーザを認証するユーザ認証ステップと、前記ユーザ認証ステップにおけるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得ステップと、を含むことを特徴とする記録方法である。
【００２４】
この請求項７の発明によれば、音源の音声と位置情報をデータとして取得してそれらのデータを記録する記録方法であって、ユーザを認証し、そのユーザ認証動作に基づいて位置データを取得することによって、ユーザ認証と同時に確実にその位置データを取得できるので、簡易な操作で確実にユーザの位置を記録できるので、ユーザを確実に検索できるデータを記録可能な記録方法を提供できる。
【００２５】
また、請求項８にかかる発明は、請求項７に記載の記録方法において、前記ユーザ位置取得ステップより前に、前記音源およびユーザを含む情景を画像データとして取得し前記ユーザの端末に画像表示させる画像表示ステップを、更に含み、前記ユーザ位置取得ステップは、前記ユーザ位置データとして、前記ユーザの端末に表示された前記画像上で、前記画像サイズに基づいた相対的な位置データを取得することを特徴とする。
【００２６】
この請求項８の発明によれば、請求項７に記載の記録方法の作用に加えて、音源およびユーザを含む情景を画像データとして取得しユーザの端末に画像表示させ、ユーザの端末に表示された画像上で、画像サイズに基づいた相対的なユーザの位置データを取得することによって、画像上での位置入力という簡易な操作で、しかも、用途や状況に応じて表示画面サイズを自由に変更できるので、利便性の高い音声検索が可能なデータを記録できる記録方法を提供できる。
【００２７】
また、請求項９にかかる発明は、請求項７または８に記載された方法をコンピュータに実行させるプログラムであるので、請求項７または８に記載された方法をコンピュータに実行させることができる。
【００２８】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる記録装置、記録方法、記録プログラム、および記録検索装置の好適な実施の形態を詳細に説明する。
【００２９】
（１．記録検索装置のネットワーク構成）
図１は、本発明の実施の形態による記録検索装置のネットワーク構成図である。実施の形態による記録検索装置は、ビデオカメラ１、マイクロホンアレイ２、ビデオカメラ１およびマイクロホンアレイ２が接続されて音声・動画を記録する記録装置３、および会議参加者であるユーザが各自会議の場に持ち込むユーザ計算機（以下ユーザＰＣと略する）４が、ネットワーク５で接続されて構成される。
【００３０】
図２は、実施の形態による記録検索装置が用いる記録装置３のハードウェア構成図である。ここで用いる記録装置３は、中央演算装置（ＣＰＵ）１１、ランダムアクセスメモリ（ＲＡＭ）１２、ハードディスク１３、キーボード１４、モニタ１５がシステムバス２０で相互に接続された一般的な計算機である（記録ＰＣ）。しかし、本実施の形態における記録装置は一般的な計算機で構成しなくても良い。
【００３１】
記録装置３には、２つのマイクロホン１７および１８が、音声インタフェース１６を介してシステムバス２０に接続されている。マイクロホン１７および１８は、図１のマイクロホンアレイ２を構成する。また同様に、ビデオカメラ１がビデオインタフェース１９を介してシステムバス２０に接続されている。これらマイクロホン１７と１８，およびビデオカメラ１がシステムバス２０と接続されることによって、それぞれ音声データおよび画像データはハードディスク１３に取り込まれ、格納される。ここで画像データは動画データが好適であるが、必ずしも動画データである必要はなく、状況によっては複数の静止画データであっても良い。また、システムバス２０は、ネットワークインタフェース２１を介してネットワーク５に接続され、外部と通信できる。
【００３２】
記録装置３は、音声動画データを記録する記録部３１（後述）を動作させ、音声動画データを記録してハードディスク１３に格納する。また記録装置３は、ユーザＰＣ４で実行するユーザの位置を入力するユーザ位置入力部３３（後述）の動作に対応して、参加者であるユーザの位置データを取得し、ハードディスク１３に格納する。また、記録装置３は、記録されたデータを配信部３２よってユーザＰＣ４に配信させ、ユーザＰＣ４である計算機端末は再生部３４を動作させその記録を再生する。これら各部の動作については後述する。
【００３３】
ここで、マイクロホン１７、１８、および記録部３１は、本発明における音声取得手段を構成する。ビデオカメラ１および記録部３１は、本発明における画像取得手段を構成する。
【００３４】
図３は、実施の形態による記録装置３に接続されたビデオカメラ１とマイクロホンアレイ２との模式的斜視図である。２本以上のマイクロホン１７および１８への音声入力データによって、各時刻での音源の方向が検出できる。ビデオカメラ１は光学系を備えたレンズ２６を有する。レンズ２６は、音源の向きに回転するようにしても良い。
【００３５】
音源方向の検出には、例えば、特開２０００−１２５２７４号公報に開示された技術を用いる。ここでマイクロホン１７および１８とビデオカメラ１とが固定されている場合、マイクロホン１７および１８から判定される音源方向と、ビデオカメラ１で撮影される画像上の横方向位置とは、あらかじめ対応付けておくことができる。
【００３６】
図４は、本実施の形態による記録検索装置に用いるユーザＰＣ４のハードウェア構成図である。ここでユーザＰＣ４は、中央演算装置（ＣＰＵ）４１、ランダムアクセスメモリ（ＲＡＭ）４２、ハードディスク４３、キーボード４４、モニタ４５、そしてマウス４６がシステムバス４８で相互に接続された一般的な計算機である。ユーザＰＣ４は、小型のいわゆるノートパソコンであっても良い。システムバス４８は、またネットワークインタフェース４７を介して外部のネットワーク５に接続されて、ユーザＰＣ４はネットワーク５を介して記録装置３と通信する。
【００３７】
ユーザＰＣ４では一般的なオペレーティングシステム、例えばマイクロソフト社製ウインドウズを動作させる。このオペレーティングシステム上のアプリケーションプログラムを実行することにより、ユーザＰＣ４はユーザの位置を入力する後述のユーザ位置入力部３３、および再生部３４を動作させることができる。このユーザＰＣ４は、会議中に資料参照などのために他のプログラムの実行にも利用できる。ユーザＰＣ４としてはプログラムに互換性があれば、いわゆる携帯情報端末（ＰＤＡ）を用いることができる。上記各部の動作については後述する。
【００３８】
（２．記録検索装置の機能的構成）
図５は、本発明の実施の形態による記録検索装置の機能的構成を示すブロック図である。この中で記録検索装置の中の記録装置３は、記録部３１、および配信部３２を動作させる。しかし、配信部３２は、必ずしも記録装置３が行うとは限らず、他に配信サーバを立てて実行しても良い。
【００３９】
ユーザＰＣ４はユーザ位置入力部３３、および再生部３４を動作させる。しかし、再生部３４は必ずしもユーザＰＣ４が行うとは限らず、他に再生装置あるいは再生のためのクライアントを立てて実行しても良い。
【００４０】
ここで、上記動作を行う記録部３１など各部は、その機能的名称を冠されて記録ＰＣ３やユーザＰＣ４に格納されたコンピュータプログラムとして、例えば記録プログラムとして構成可能であるが、そのような方式に限定されるものではない。また、記録された各種データの格納先はハードディスク１３および４３であるが、あるいは他の記憶媒体に格納されても良い。
【００４１】
（２．１記録部）
記録部３１は、音声入力部５１、動画入力部５２、ユーザ位置取得部５３、音源方向推定部５４、音声・音源方向記録部５５，ビデオ圧縮部５６、ビデオ送信部５７、ビデオ記録部５８、ユーザ位置記録部５９、およびリスト記録部６０から構成される。また、音源・位置対応部６１および対応付け記録部６２を備えても良い。
【００４２】
音声入力部５１は、記録装置３の音声インタフェース１６を介して、２つのマイクロホン１７および１８からの２チャンネル音声データを入力する。動画入力部５２は、ビデオインタフェース１９を介して、ビデオカメラ１からの動画データを入力する。音声および動画データはハードディスク１３に格納される。
【００４３】
ユーザ位置取得部５３は、ユーザＰＣ４と通信してユーザＰＣ４から送られてくるユーザ名、パスワード、位置データを、取得して登録する。そして、あらかじめユーザ名とパスワードが記録されたパスワードリストをハードディスク１３から読み込み、ユーザＰＣ４から送信されてきて取得したデータの内容がパスワードリストに含まれた内容と一致すればユーザ認証の成功を、また一致しなければ失敗と判定して、それぞれユーザＰＣ４に返送する。
【００４４】
ただしこの場合、厳しく閲覧を制限しない運用を行うならば、パスワードは設定しなくても良い。また、ユーザ名が記録リストに存在しなければ、新たなユーザとしてユーザリストに加えてユーザリストファイル７２を書き換えるように構成することも可能である。ここで、ユーザ位置取得部５３は、本発明のユーザ認証手段を構成する。
【００４５】
会議などに参加するユーザは、その場所に設置されているユーザＰＣ４を使うか、あるいはユーザが持ち込むユーザＰＣ４を通信ラインに接続する。そして、ユーザＰＣ４からユーザ認証のための入力を行うと同時に、ユーザの参加位置を設定入力して、記録装置３に送信する。ここでユーザとは、会議等に参加して発言する参加者のことである。ユーザにはその他にも、記録検索装置を用いて会議などを記録する記録者としてのユーザ、および会議の記録を閲覧する閲覧者としてのユーザがある。ここで、ユーザの位置を取得するユーザ位置取得部５３はまた、本発明のユーザ位置取得手段を構成する。
【００４６】
音源方向推定部５４は、従来技術と同様に、２チャンネルの音声データから音源方向を推定する。例えば０．１秒毎にチャンネル間の相互の相関性を計算し、相関が最大となる時間差を到達時間差として求め、２つのマイクロホン１７および１８の間の距離からその音源方向を推定する。この動作により、０．１秒毎の方向（角度）データを出力する。しかし、音声が一定レベル未満の場合は、音源方向推定部５４は、無音であると判断して無音データを出力する。ここで、マイクロホン１７、１８、および音源方向推定部５４は、本発明の音源位置取得手段を構成する。
【００４７】
音源方向記録部５５は、音源方向推定部５４で求めた各時間の音源の方向データを、話者即ち会議等の参加者のうちの発言者の位置として記録し、ハードディスク１３に格納する。時間の計時は、計算機に一般的に備えられているタイマを用いることができる。
【００４８】
話者位置の記録は、例えば、ビデオカメラで撮影されて表示画面上に表示された画像上の相対位置として記録する。即ち、画像上の左端を０、右端を１とし、また、無音および画面範囲外の方向を−１で表す。図６は、実施の形態による記録装置の記録した音源方向記録データの１例である。表から時間が時間１，２，および３へ経過するにつれて話者の位置は、０．１、０．１２、および０．８へと移動したことを表している。
【００４９】
ビデオ圧縮部５６は、動画入力部５２により入力した動画データと音声入力部が入力した音声データを圧縮し、記録データおよび送信データを生成する。圧縮方式としては、例えば周知のＭＰＥＧ１圧縮アルゴリズムを利用することができる。
【００５０】
ビデオ送信部５７は、記録装置３のユーザ位置取得部５３からの要求を受け、ユーザＰＣ４に対して、現在撮影中のビデオデータを送信して、ユーザＰＣ４のモニタ４５上にユーザの位置を表示する。この時の送信は、記録した後の再生のための送信ではなく、会議の進行中の画像の送信である。送信には、例えば周知のＲＴＳＰプロトコルを利用することができる。なお、ここでの送信データは、参加者の位置入力に利用されるので、音声データは必ずしも必要ではなく、音声の記録データとは別に動画あるいは画像データだけを送信するようにしても良い。
【００５１】
ビデオ記録部５８は、ビデオ圧縮部５６によって生成された音声あるいは画像の圧縮データを、記録装置３のハードディスク１３に音声画像ファイル７３として格納する。また、ハードディスク１３には、音声画像記録の開始時刻および終了時刻も記録し格納する。
【００５２】
ユーザ位置記録部５９は、ユーザ位置取得部５３によって取得されたユーザ位置データと、その入力時刻をユーザ位置記録ファイル７４としてハードディスク１３に記録する。ここで、ユーザ位置とはその会議に参加する参加者の位置のことである。また、時刻は秒単位、位置は画面の相対位置とする。
【００５３】
図７は、実施の形態による記録検索装置で記録されるユーザ位置データを示す１例である。図７では、記録開始後３秒目に、ユーザ「ａｏｋｉ」が「０．１」の位置に登録され、次に５秒目にユーザ「ｍｕｒａ」が「０．８」の位置に登録され、６００秒目にユーザ「ａｏｋｉ」が「０．５」の位置に移動した場合を示している。
【００５４】
リスト記録部６０は、ユーザ位置取得部５３で取得したユーザ名を、記録装置３のハードディスク１３のユーザリストファイル７２に追加記載する。ただし記録前にリストを検索し、一度記録されたユーザ名は追加しない。ユーザリストファイル７２は、この会議に参加したユーザが記録され、後述の配信部３２が閲覧許可を判定する際に利用できる。
【００５５】
ここで記録装置３には、音源・位置対応付け部６１と対応付け記録部６２を設けることができる。この音源・位置対応付け部６１と対応付け記録部６２を設けることによって、音声および／または画像を記録する段階で、ユーザと話者とが対応付けられて記録することができるので、再生段階で対応付ける必要がなくなる。ただし、以下詳述するように再生段階で、ユーザと話者を対応付けて検索する方式も可能である。音源・位置対応付け部６１は、音源方向推定部５４によって得られた音源方向の位置データと、ユーザ位置取得部５３によって得られたユーザの位置とを対応付ける。この対応付けによって発言位置を推定されたユーザ即ち発言者と、会議参加者としてのユーザとが対応付けられてその発言が話者を特定しながら記録できるので、記録を閲覧する際に、ユーザを指定することにより話者が簡単に検索され、ユーザ発言が迅速に検索可能となる。あるいはまたこの場合、再生部３４（後述）においてユーザ区間選択手段が不必要となる。対応付け記録部６２は、音源・位置対応付け部６１によって対応付けられた発言者と参加者の対応付けを、記録装置３のハードディスク１３内に格納する。ここで、音源・位置対応付け部６１は、本発明の対応付け手段を構成する。
【００５６】
（２．２配信部）
配信部３２は記録装置３によって動作され、記録されたデータが、ユーザＰＣ４に配信される。配信後、記録データはユーザＰＣ４によって再生され閲覧される。配信部３２は、例えば特開２００２−２５１３９３号公報の段落番号００２０〜００２３に記載された技術を用いる。つまり、ユーザＰＣ４の再生部３４と通信してユーザ名とパスワードを受信し、記録されたユーザリスト、およびパスワードリストと照合してユーザ認証し、リストに記録されたユーザだけに記録データを送信する。ただし本実施の形態ではビデオデータ以外に、音源位置データ、ユーザ位置データをも送信する。また、配信部３２は、記録データをコピーするなどして、記録装置３以外の記録データを読み取り可能な計算機で実行しても良い。
【００５７】
（２．３ユーザ位置入力部）
ユーザ位置入力部３３は、記録部３１の記録実行中に、ユーザＰＣ４上で実行されて、ユーザＰＣ４のユーザ認証入力データおよびユーザ位置入力データが、記録装置３の記録部３１に送信される。図８は、実施の形態によるユーザＰＣ４のユーザ位置入力部の動作フロー図である。図９は、ユーザＰＣ４におけるユーザ位置入力時の表示画面の１例であり、（ａ）は、入力のためにユーザＰＣ４に送信されてきたユーザ位置画像であり、（ｂ）は、ユーザ位置入力のためのダイアログ画面であり、そして（ｃ）はユーザ認証後にユーザＰＣ４に送信されたユーザ名ラベルがマークされたユーザ位置画像である。
【００５８】
図８を参照しながらユーザＰＣ４における会議の参加者であるユーザの位置入力とユーザの認証動作を説明する。ユーザＰＣ４においてユーザ位置入力部３３が動作を開始すると、記録装置３側の記録部３１と通信を開始し、記録装置３に対してビデオデータ送信を要求する。そして、記録装置３からユーザＰＣ４へとビデオ表示画像が送信され、ビデオ表示が開始する（ステップＳ８０１）。ユーザＰＣ４が受信したビデオデータは例えば、図９（ａ）のように画面表示される。これ以後、動作終了時までユーザＰＣ４のモニタ画面はビデオデータの受信と表示を継続する。
【００５９】
ユーザＰＣ４のマウスボタンの状態が監視され、ボタンが押下されるのを待つ（ステップＳ８０２のＮ）。ボタンが押下されれば（ステップＳ８０２のＹ）、ボタンが押下されたときのマウスカーソル位置が指定されて取得される（ステップＳ８０３）。その時のマウスカーソル位置がビデオ表示画面内であれば、位置指定と判断し（ステップＳ８０３のＹ）、ユーザ名入力ステップへ進む。そして、図９の（ｂ）に示されたダイアログがユーザＰＣ４の画面に表示され、ユーザＰＣ４は、ユーザによって入力されるユーザ名、パスワードをキーボードから読み取り、メモリ（不図示）上に記録する（ステップＳ８０４）。パスワードを利用しない場合は入力しなくても良い。
【００６０】
次に、入力されたユーザ名（パスワード）と、マウスクリック位置を記録装置３へ送信する（ステップＳ８０５）。マウスクリック位置は、ビデオ画面内において相対位置とする。そうすることによって、ビデオ画面の大きさを変化させても相対的な画像位置が表示される。
【００６１】
記録装置３からの認証成功情報が送信されて、ユーザＰＣ４が受信すれば（ステップＳ８０６のＹ）、図９の（ｃ）に示されるようにビデオ表示画面のマウスクリックされた横方向位置に、ユーザ名ラベルが表示される（ステップＳ８０７）。ここでユーザ名ラベルによって、ユーザ画像においてユーザが識別されて位置が指定された。
【００６２】
ここで、位置指定を指定するステップＳ８０３において、ボタンが押下されたときのマウスカーソル位置がユーザ名ラベル内であれば（ステップＳ８０３のＮ）、位置移動の判定（ステップＳ８０８）へと進み、マーク移動ステップへ進む。
【００６３】
マウスボタンが離されるまで（ステップＳ８０９のＮ）、マウス位置を取得し、その横方向位置に従いユーザ名ラベルを移動する（ステップＳ８１０）。マウスボタンが離されれば（ステップＳ８０９のＹ）、その位置と、メモリ上に記憶されたユーザ名、およびパスワードを、位置指定時と同様に、記録装置３へ送信する（ステップＳ８０５）。ボタン押下されたときのマウスカーソル位置が終了ボタン上であれば（ステップＳ８０８のＮ）、停止かどうかを判断し（ステップＳ８１１）、停止の場合は（ステップＳ８１１のＹ）動作を終了する。
【００６４】
こうして本実施の形態では、ユーザ認証動作に基づいてユーザ位置データが取得される。この方式によって簡易な操作で確実にユーザの位置が認証と同時に認証に基づいて能率良く取得でき、それによりユーザごとの音声記録が正確となり、それ故ユーザごとの発言の検索も正確となる。なお、本実施の形態では、ユーザがユーザ名とパスワードを入力することにより認証を実現したが、ユーザＰＣ４でのユーザ名やネットワークアドレスを利用したり、認証サーバを利用するなど、別の方法を用いてもよい。
【００６５】
（２．４再生部）
再生部３４は、記録されたデータを、ユーザＰＣ４（また他のＰＣ）で再生するために実行する。これにより再生装置となり、再生中に検索動作を行うと検索装置となる。そして、記録装置を兼ねれば記録検索装置である。
【００６６】
再生部３４は、基本的には通常のビデオ再生部と同様に、ユーザＰＣ４においてモニタ画面上でのマウスクリックを読み取り、再生ボタンが押されるとビデオ再生を開始し、停止ボタンが押されると再生を停止する。またビデオ表示画面は、ウインドウサイズに応じて変化できるものとする。つまり、ユーザがマウスドラッグによってウインドウのサイズを変化させた場合には、その縦横サイズを取得し、ボタンなどの表示に必要な領域を除いた部分に収まるように、ビデオ表示画面サイズを変更する。
【００６７】
実施の形態による再生部３４は、起動後、キーボードからユーザ名とパスワードを入力し、配信部３２と通信してユーザ認証した後、ビデオデータの他に、音源方向データ、ユーザ位置データを読み込み、特定の話者の発言区間だけを再生する機能を持つ。その際、会議などへの参加者であるユーザと、発言者である音源方向は記録時に音声・位置対応付け部６１によって対応付けられている場合は、ユーザ（発言者）を指定するだけで、その発言者に対応する音源からの発言が検索され、特定のユーザ（発言者）だけを取り出して再生することが可能になる。即ち、特定発言者の発言区間のみを検索して再生することが可能となる。
【００６８】
（２．４．１再生時のユーザ指定モード）
一方、記録時にユーザと発言者の発言とが対応付けられて記録されない一般的な場合は、再生部３４において、発言者の発言とユーザとの対応付けを行う。再生部３４の再生は、通常とユーザ指定との動作モードが選択可能である。通常モードとは、発言者（ユーザ）を指定することなく再生するモードであり、ユーザ指定モードとは、その会議の記録の中で特定のユーザを指定しそのユーザの発言だけを検索しながら再生するモードである。再生部はメモリ（不図示）を指定しその中にモード記憶域を持ち、指定する値は「通常（０）」「ユーザ指定（１）」の２種類をとる。ここでメモリはユーザＰＣ４のハードディスク４３であっても良い。また、メモリ中に指定ユーザ名記憶域を持ち、ユーザ指定モードの場合、ユーザ名を記憶する。再生部３４における指定モードが、本発明のユーザ指定手段を構成する。ここでメモリは、ユーザＰＣ４の有するハードディスク４３を用いても良い。
【００６９】
図１０は、実施の形態による記録検索装置の再生部３４によって再生した画面の１例を示す図である。ここで例えば、ユーザＰＣ４の画面上に表示されたユーザ（発言者）の画像の上部にマークされたａｏｋｉ、またはｍｕｒａのラベルをクリックすることによって、それぞれａｏｋｉまたはｍｕｒａのラベルを付されたユーザの発言のみが選択されて、再生される。
【００７０】
上記２種類の動作モードは、ユーザ名ラベルをマウスクリックすることで切り替える。つまり再生部３４は、マウスボタンを監視し、クリック位置が後述のユーザ名ラベル表示位置である場合、そのラベルに表示されるユーザ名を指定ユーザ名として記憶し、モード記憶域に「ユーザ指定（１）」を書き込む。さらにクリックされたラベルの表示色を反転してユーザ指定モードであることを画面表示する。また、クリック位置がすでに指定されたユーザ名のラベルである場合、モード記憶域に「通常（０）」を書き込み通常モードに復帰する。
【００７１】
（２．４．２再生時のタイマ割り込み処理）
図１１は、実施の形態による記録検索装置における再生部３４のタイマ割り込み処理部６３の動作を示すフロー図である。この実施の形態では、一定時間（例えば１秒）毎のタイマを設定してタイマ割り込みを発生させ、一定時間毎に割り込み処理ルーチンを実行する。割り込みにより、検索のための操作を入力する。
【００７２】
図１１を参照しながらタイマ割り込み部６３の動作を説明する。タイマ割り込み処理においては先ず現在のビデオ表示時刻を取得し、ユーザ位置データから、現在有効なユーザ名とユーザ位置とを検索する。そして、有効ユーザデータがあれば、図１０に示すようなビデオ表示画面上部のそれぞれの対応位置にユーザ名ラベルを表示する（ステップＳ１１０１）。ユーザ名と位置は設定後、変更または終了まで有効と判断する。例えば図７の場合は、ユーザ「ａｏｋｉ」は１秒から６００秒まで位置「０．１」、６００秒以降は位置「０．５」で、またユーザ「ｍｕｒａ」は５秒以降に位置「０．８」で有効であると判定する。
【００７３】
次に、現在の表示モードがユーザ指定モードであるかどうかを判定し（ステップＳ１１０２）、ユーザ指定モードであれば（ステップＳ１１０２のＹ）、さらに処理を進める。通常モードであれば（ステップＳ１１０２のＮ）、割り込み処理ルーチンを終了する。
【００７４】
指定ユーザ名、現在時刻、有効ユーザ位置、および音源位置データから、現在が指定ユーザの発話区間か否かを判定する（ステップＳ１１０３）。この判定によって、ユーザと発言者とが対応付けて同一であるか否かが認識される。ある時刻での音源位置と指定ユーザの位置の差の絶対値が所定の閾値、例えば０．１以内であれば、その時刻の発話者を指定ユーザと判定する（ステップＳ１１０３のＹ）。そして、指定ユーザ発話区間であれば、割り込み処理ルーチンを終了する。
【００７５】
そうでなくて、現在の発話ユーザが指定ユーザではないと判定された場合（ステップＳ１１０３のＮ）、指定ユーザ名、現在時刻、有効ユーザ位置、および音源位置データから、現在表示時刻以降で、最初の指定ユーザ発話時刻を検索する（ステップＳ１１０４）。
【００７６】
そして、ビデオ表示時刻を検索された発話時刻へ移動する（ステップＳ１１０５）。図１０には、ビデオ表示画面だけを示したが、再生時刻を示すスライドバーや、従来技術同様に、発言の様子を示す、時刻と方向を縦横軸にとったタイムチャートなどを表示しても良い。ここで、上記の再生部３４におけるタイマ割り込み部６３が本発明におけるユーザ発言区間選択手段を構成する。
【００７７】
また本実施の形態では、話者別の再生区間の選択をユーザＰＣ４上の再生部３４で実現したが、再生区間の検索は配信部３２側で実行し、指定区間だけのビデオデータを送信する構成も可能である。
【００７８】
（３．ユーザによる操作例）
図１２は、実施の形態による記録検索装置のユーザ位置入力部の動作を示すフロー図である。今、記録検索装置の動作を、会議参加者であるユーザから見た使用を図１２を参照しながら説明する。先ず、会議開始時に、記録装置３を用いて記録を担当するユーザ（記録者）は記録装置３のキーボード１４を操作して、記録部３１を開始する。記録部３１は記録装置３に接続されたビデオカメラ１、マイクロホンアレイ２から音声動画データを取り込み記録し、ユーザＰＣ４に送信する（ステップＳ１２０１）。
【００７９】
各参加者は、各自のユーザＰＣ４上で、ユーザ位置入力部３３を動作させる。ユーザ位置入力部３３は起動後、図９（ａ）のように、記録装置３で現在撮影中の画像を表示する（ステップＳ１２５１）。ここで各ユーザは撮影画像中で、自分自身の写っている位置をマウスクリックして図９（ｂ）のユーザの識別情報入力ダイアログを表示し、キーボードから、ユーザ名と（必要ならば）パスワードを入力する。ユーザ位置入力部３３は、ユーザ名、パスワードと画面上の位置情報を記録装置３に送信する（ステップＳ１２５２）。送信されたユーザ名とパスワードを記録部３１が受信し（ステップＳ１２０２）、認証されると（ステップＳ１２０３のＹ）、ユーザ名をユーザＰＣ４に送信し（ステップＳ１２０４）、図９（ｃ）のように画面上の対応位置にユーザ名が表示される（ステップＳ１２５３）。
【００８０】
会議の席上実際にユーザが移動した場合（ステップＳ１２５４のＹ）、画面上の自分の位置もずれるので、図９（ｃ）のユーザ名表示部分を参加者であるユーザはマウスでドラッグし、ユーザ位置入力部３３は移動された位置を送信し（ステップＳ１２５５）、記録部３１のユーザ位置取得部５３はその位置を取得し、ユーザ位置記録部５９はその新しい位置（変更位置）と移動時刻を記録する（ステップＳ１２０５）。ここで、ユーザ位置取得部５３およびユーザ位置記録部５９は本発明のユーザ位置変更取得手段を構成し、ユーザ位置取得部５３、タイマ（不図示）、およびユーザ位置記録部５９は本発明のユーザ位置変更時刻取得手段を構成する。
【００８１】
こうして、発言者が移動したとしてもその発言者が移動した位置を発言者自らの入力によって確実に入力できるので、発言者を誤って認識するという従来例の欠点を改良することができる。また、一人のユーザが多数のユーザの位置を入力するという従来例の煩雑さも改良される。ただし、ユーザが発言しながら移動するときなどは、マイクロホン１７および１８によって、移動した位置を追跡できるので、その場合は自動的に追跡して位置変更を行うように構成しても良い。
【００８２】
以上のように、位置記録のためにユーザ（参加者）が行う操作は、最初の認証時の自分自身の位置入力（マウスクリック）、および移動した場合には位置移動入力（ドラッグ）だけで良く、参加者全員分の位置を入力する必要はない。そのため、参加者全員の位置を全時間の経過にわたって指定するという繁雑な作業を避けることができる。
【００８３】
ここで、ユーザＰＣ４が通常の計算機である場合は、会議中に参加者は、そのユーザＰＣ４を資料参照やメモの記録など他の目的に利用することができる。
【００８４】
ここで、ユーザ位置入力部３３の送信するユーザ位置の表示は、ビデオ表示画面幅を基準とした相対位置が好ましい。そうすることによって、表示画面のサイズを自由に変更してもそれに応じて相対的な位置が表示される利点がある。例えば、他のアプリケーションを利用中は、ウインドウサイズを小さくして画面の隅に表示することができる。
【００８５】
（４．ユーザ指定モードによる再生例）
図１３は、実施の形態による記録検索装置において、ユーザ指定モードで再生する動作を示すフロー図である。ユーザ指定モードによる再生によって、特定のユーザ、即ち参加者を指定して検索し、その参加者の発言のみを再生することが可能となる。図１３を参照しながらユーザ指定モードによる再生動作を説明する。会議終了後、記録されたデータを再生するために会議参加者は、ユーザＰＣ４または再生装置で再生部３４を起動する。ユーザＰＣ４あるいは再生装置は再生部３４を起動し、ネットワーク５を介して記録装置３と通信し、ユーザ名パスワードを入力し送信する（ステップＳ１３５１）。記録装置３はユーザ名パスワードを受信し（ステップＳ１３０１）、ユーザ認証を行う（ステップＳ１３０２）。認証できない場合はユーザＰＣ４に不認証を送信し（ステップＳ１３０２のＮ）、それを受信したユーザＰＣ４はエラー受信の処理を行う（ステップＳ１３５２）。認証された場合（ステップＳ１３０２のＹ）は、音声動画データ、発言方向データ、参加者位置データを読み込みユーザＰＣ４に送信する（ステップＳ１３０３）。それらのデータをユーザＰＣ４は受信し図１０で示したように、それらのデータに基づく動画と各ユーザ名を対応する位置に表示する（ステップＳ１３５３）。
【００８６】
ユーザ位置入力の操作については一人のユーザが自分一人についてだけの入力操作であったが、再生時には記録部３１で記録された参加者全員のユーザ名が表示される。ユーザが図１０で示されたようなユーザ名表示ラベルを選択してマウスクリックすると、表示は、ユーザ指定モードになり、指定されたユーザについての情報が記録装置３に送信され（ステップＳ１３５４）、記録装置３はユーザの指定入力を受信して（ステップＳ１３０４）、その発言した区間だけ記録されたビデオを送信し（ステップＳ１３０５）、ユーザＰＣ４は受信して再生する。
【００８７】
ここで、参加者の位置情報は会議の参加者各自が人手で入力したデータであり、画像認識や音声認識など不確実な技術によるものではないので、正確な発言の区間切り出しが実現可能である。特に最初に位置情報を入力するときはその場でユーザ認証を行うときであるので、確実に位置を指定できる。さらに特にユーザ認証に基づいてユーザ位置入力を行うならば、認証と同時に操作するので、能率的で確実な操作となる。
【００８８】
なお、この実施形態による記録装置、および記録検索装置で実行される記録部、および記録検索部は、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８９】
また、本実施形態の記録部、および記録検索部を、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供および配布するように構成しても良い。
【００９０】
【発明の効果】
請求項１にかかる発明は、ユーザ認証のためだけの各ユーザに固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき認証と同時にユーザの位置を取得して記録後には確実に発言者を特定できるので、発言者による発言を正確に検索可能な記録を採ることが出来る低コストの記録装置を提供できるという効果を奏する。
【００９１】
また、請求項２にかかる発明は、請求項１に記載の記録装置の効果に加えて、画像データ上においてユーザ位置を取得し参加者の位置を正確に記録できるので、簡易な操作で発言の正確な発言の検索が可能になる記録装置を提供できるという効果を奏する。
【００９２】
また、請求項３にかかる発明は、請求項１または２に記載の記録装置の効果に加えて、記録中にユーザの位置が時間的に変化しても追跡して記録できるので、発言者の正確な特定と発言の検索が可能となる記録装置を提供できるという効果を奏する。
【００９３】
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の発明の効果に加えて、ユーザである発言者が音源と対応付けられて発言者と発言が対応付けられて記録されるので、再生時に発言者の発言が迅速に検索できるデータとして記録可能な記録装置を提供できるという効果を奏する。
【００９４】
また、請求項５にかかる発明は、認証のためだけの固有の端末が不要で、ユーザの認証動作に基づいてユーザ位置データを能率良く正確に取得でき、記録後には会議の参加者であるユーザを指定することによってその発言を確実に検索できるので、コストを抑えて正確な発言の検索が可能な記録検索装置を提供できるという効果を奏する。
【００９５】
また、請求項６にかかる発明は、請求項５に記載の記録検索装置の効果に加えて、画像上での位置データの取得という簡易な操作によってユーザ位置を取得できるので、ユーザの発言区間を正確に記録し検索することができる記録検索装置を提供できるという効果を奏する。
【００９６】
また、請求項７にかかる発明は、ユーザを認証してその認証動作に基づいて位置データを取得することによって、簡易な操作で確実にユーザの位置を記録できるので、ユーザを確実に検索できるデータを記録可能な記録方法を提供できるという効果を奏する。
【００９７】
また、請求項８にかかる発明は、請求項７に記載の記録方法の効果に加えて、ユーザの端末に音源およびユーザを含む情景を画像データとして表示させてユーザに認証と位置データの入力を行わせる、しかも、用途や状況に応じて表示画面サイズを自由に変更することができるので、簡易な操作で確実にユーザ位置を記録でき、利便性の高い音声検索が可能なデータを記録できる記録方法を提供できるという効果を奏する。
【００９８】
また、請求項９にかかる発明は、請求項７または８に記載された方法をコンピュータに実行させることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態による記録検索装置のネットワーク構成図である。
【図２】実施の形態による記録検索装置が用いる記録装置のハードウェア構成図である。
【図３】実施の形態による記録装置に接続されたマイクロホンアレイとビデオカメラの模式的斜視図である。
【図４】実施の形態による記録検索装置に用いるユーザＰＣのハードウェア構成図である。
【図５】実施の形態による記録検索装置の機能的構成を示すブロック図である。
【図６】実施の形態による記録装置の記録した音源方向記録データの１例を示す図である。
【図７】実施の形態による記録装置で記録されるユーザ位置データを示す１例を示す図である。
【図８】実施の形態による記録装置のユーザＰＣのユーザ位置入力部の動作フロー図である。
【図９】実施の形態による記録検索装置のユーザ位置入力に関する表示画面の１例を示す図であり、（ａ）は、入力のためにユーザＰＣに送信されたユーザ位置画像であり、（ｂ）は、ユーザＰＣ４におけるユーザ位置入力のためのダイアログ画面であり、そして（ｃ）はユーザ認証後にユーザＰＣに送信されたユーザ名ラベルがマークされたユーザ位置画像である。
【図１０】実施の形態による記録検索装置の再生部によって再生した画面の１例を示す図である。
【図１１】実施の形態による記録検索装置における再生部のタイマ割り込み処理部の動作を示すフロー図である。
【図１２】実施の形態による記録検索装置のユーザ位置入力部の動作を示すフロー図である。
【図１３】実施の形態による記録検索装置において、ユーザ指定モードで再生する動作を示すフロー図である。
【符号の説明】
１ ビデオカメラ
２ マイクロホンアレイ
３ 記録装置（記録ＰＣ）
４ ユーザ計算機（ユーザＰＣ）
５ ネットワーク
１１、４１ 中央演算装置（ＣＰＵ）
１２、４２ ランダムアクセスメモリ（ＲＡＭ）
１３、４３ ハードディスク
１４、４４ キーボード
１５、４５ モニタ
１６ 音声インタフェース
１７、１８ マイクロホン
１９ ビデオインタフェース
２０、４８ システムバス
２１、４７ ネットワークインタフェース
２６ レンズ
３１ 記録部
３２ 配信部
３３ ユーザ位置入力部
３４ 再生部
５１ 音声入力部
５２ 動画入力部
５３ ユーザ位置取得部
５４ 音源方向推定部
５５ 音声・音源方向記録部
５６ ビデオ圧縮部
５７ ビデオ送信部
５８ ビデオ記録部
５９ ユーザ位置記録部
６０ リスト記録部
６１ 音源・位置対応付け部
６２ 対応付け記録部
６３ タイマ割り込み処理部
７２ ユーザリストファイル
７３ 音声画像ファイル
７４ ユーザ位置記録ファイル
Claims (9)
- 音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録する記録装置であって、
ユーザを認証するユーザ認証手段と、
前記ユーザ認証手段によるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、
を備えたことを特徴とする記録装置。 - 前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、
前記ユーザ位置取得手段は、前記画像取得手段によって取得した画像データ上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする請求項１に記載の記録装置。 - 前記ユーザ位置取得手段は、すでに取得された前記ユーザの位置データを変更するユーザ位置変更取得手段と、前記ユーザの位置データを変更する時刻を取得するユーザ位置変更時刻取得手段と、を備えたことを特徴とする請求項１または２に記載の記録装置。
- 前記音源位置データと前記ユーザ位置データとを対応付ける対応付け手段を、更に備えたことを特徴とする請求項１〜３のいずれか１つに記載の記録装置。
- 音源の音声をデータとして取得する音声取得手段および前記音源の位置情報をデータとして取得する音源位置取得手段を有し、前記音声取得手段によって取得したデータおよび前記音源位置取得手段によって取得したデータを記録し、記録されたデータから所望のデータを検索する記録検索装置であって、
ユーザを認証するユーザ認証手段と、
前記ユーザ認証手段によるユーザ認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得手段と、
前記ユーザの指定を入力するユーザ指定手段と、
取得された前記音声データのうち、前記ユーザ指定手段によって指定されたユーザの発言区間だけを選択するユーザ発言区間選択手段と、
を備えたことを特徴とする記録検索装置。 - 前記音源およびユーザを含む情景を画像データとして取得する画像取得手段を、更に備え、
前記ユーザ位置取得手段は、前記画像取得手段によって取得された画像上で前記ユーザの位置を取得するユーザ画像位置取得手段を備えたことを特徴とする請求項５に記載の記録検索装置。 - 音源の音声をデータとして取得し、前記音源の位置情報をデータとして取得して、前記音源の音声および音源の位置のデータを記録する記録方法であって、
ユーザを認証するユーザ認証ステップと、
前記ユーザ認証ステップにおけるユーザの認証動作に基づいて前記ユーザの位置データを取得するユーザ位置取得ステップと、
を含むことを特徴とする記録方法。 - 前記ユーザ位置取得ステップより前に、前記音源およびユーザを含む情景を画像データとして取得し前記ユーザの端末に画像表示させる画像表示ステップを、更に含み、
前記ユーザ位置取得ステップは、前記ユーザ位置データとして、前記ユーザの端末に表示された前記画像上で、前記画像サイズに基づいた相対的な位置データを取得することを特徴とする請求項７に記載の記録方法。 - 請求項７または８に記載された方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002377255A JP4015018B2 (ja) | 2002-12-26 | 2002-12-26 | 記録装置、記録方法及び記録プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002377255A JP4015018B2 (ja) | 2002-12-26 | 2002-12-26 | 記録装置、記録方法及び記録プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004208188A true JP2004208188A (ja) | 2004-07-22 |
| JP4015018B2 JP4015018B2 (ja) | 2007-11-28 |
Family
ID=32814479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002377255A Expired - Fee Related JP4015018B2 (ja) | 2002-12-26 | 2002-12-26 | 記録装置、記録方法及び記録プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015018B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074448A (ja) * | 2005-09-07 | 2007-03-22 | National Institute Of Advanced Industrial & Technology | テーブルトップコミュニティシステム |
| JP2008104118A (ja) * | 2006-10-20 | 2008-05-01 | Softbank Mobile Corp | 通信端末、通信方法、および通信プログラム |
| US7898566B2 (en) | 2005-08-22 | 2011-03-01 | Canon Kabushiki Kaisha | Video processing apparatus and object identifying method |
| KR101166612B1 (ko) * | 2009-08-19 | 2012-07-18 | 엘지전자 주식회사 | 단말기에서의 음원 처리 방법 및 이를 적용한 단말기 |
| JP2015510299A (ja) * | 2011-12-20 | 2015-04-02 | クアルコム，インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
| US9094645B2 (en) | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
-
2002
- 2002-12-26 JP JP2002377255A patent/JP4015018B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7898566B2 (en) | 2005-08-22 | 2011-03-01 | Canon Kabushiki Kaisha | Video processing apparatus and object identifying method |
| JP2007074448A (ja) * | 2005-09-07 | 2007-03-22 | National Institute Of Advanced Industrial & Technology | テーブルトップコミュニティシステム |
| JP4543157B2 (ja) * | 2005-09-07 | 2010-09-15 | 独立行政法人産業技術総合研究所 | テーブルトップコミュニティシステム |
| JP2008104118A (ja) * | 2006-10-20 | 2008-05-01 | Softbank Mobile Corp | 通信端末、通信方法、および通信プログラム |
| US9094645B2 (en) | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
| KR101166612B1 (ko) * | 2009-08-19 | 2012-07-18 | 엘지전자 주식회사 | 단말기에서의 음원 처리 방법 및 이를 적용한 단말기 |
| JP2015510299A (ja) * | 2011-12-20 | 2015-04-02 | クアルコム，インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
| JP2017022728A (ja) * | 2011-12-20 | 2017-01-26 | クアルコム，インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4015018B2 (ja) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4175390B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| KR101238586B1 (ko) | 녹화된 미팅 타임라인에서 사용하기 위한 자동 얼굴 추출 | |
| JP5145937B2 (ja) | 再生開始位置制御付きコンテンツ再生方法および装置 | |
| US20160255401A1 (en) | Providing recommendations based upon environmental sensing | |
| US20050182627A1 (en) | Audio signal processing apparatus and audio signal processing method | |
| JP5197276B2 (ja) | 情報提示装置および情報提示方法 | |
| JP2009140010A (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
| CN104092936A (zh) | 自动对焦方法及装置 | |
| JP2007006473A (ja) | ディジタル情報を注釈するためのシステム、方法及び該方法を実行させる命令を記憶する記憶媒体 | |
| JP2005341015A (ja) | 議事録作成支援機能を有するテレビ会議システム | |
| JP2006085440A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| JP4999589B2 (ja) | 画像処理装置及び方法 | |
| KR101123370B1 (ko) | 휴대단말용 객체기반 콘텐츠 제공방법 및 장치 | |
| JP2017129720A (ja) | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム | |
| WO2016152200A1 (ja) | 情報処理システムおよび情報処理方法 | |
| US11941048B2 (en) | Tagging an image with audio-related metadata | |
| US20100329505A1 (en) | Image processing apparatus and method for processing image | |
| JP2004208188A (ja) | 記録装置、記録方法、記録プログラム、および記録検索装置 | |
| JP2012178028A (ja) | アルバム作成装置、アルバム作成装置の制御方法、及びプログラム | |
| JP7230803B2 (ja) | 情報処理装置および情報処理方法 | |
| JP2005222111A (ja) | Ａｖ機器の携帯端末、ａｖ機器及びサーバー装置 | |
| JP2015207258A (ja) | 情報出力装置、情報出力方法及びプログラム、情報提供装置、情報提供方法及びプログラム | |
| JP4649944B2 (ja) | 動画像処理装置、動画像処理方法およびプログラム | |
| JP2008102538A (ja) | 記憶再生装置及び記憶再生装置の制御方法 | |
| JP5195291B2 (ja) | 対応付けデータベース構築方法、物体情報認識方法、物体情報認識システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |